Кластеры

Итак, что же такое кластер?

Кластер (cluster) – это объединение между собой двух и более серверов в единую систему, которые функционируют как единое целое. Кластеры создаются для достижения высокой надежности хранения данных, обеспечения высокой доступности информационного сервиса, распределения нагрузки на сервисы.

В кластерной системе две части – программная (ОС и кластерное ПО) и аппаратная («железная» часть).

Компьютеры и сетевые сегменты, составляющие кластер, собираются как с применением специальных «кластерных» аппаратных компонентов, так и без них. С точки зрения пользователей кластер выглядит как один сервер.

Кластеры применяются для решения самых разных задач.

- Надежность и высокую готовность данных обеспечивает High-Availability Cluster system (HA-Cluster)

- Там, где необходимо обеспечить масштабируемость сервисов, например, в случае множество обслуживающих веб-сайт серверов, применяются Massive Parallel Processing Cluster (MPP-Clusters).

- для обеспечения высокой производительности вычислений используются High Performance Computing Clusters (HPC-Clusters).

- Также для обеспечения высокой доступности информационного сервиса и/или для распределения нагрузки на сервисы используется механизм Load Balancing

Несмотря на то, что целью создания высокодоступных кластеров является повышение именно доступности данных и приложений, кластерные системы по сравнению с несколькими, находящимися в холодном резерве на всякий случай серверами, имеют и некоторые дополнительные преимущества:

- улучшенная производительность благодаря принципиальной возможности использовать все узлы кластера для обслуживания клиентов;

- улучшенная масштабируемость благодаря принципиальной возможности как модернизации узлов, так и увеличения количества узлов в кластере;

- улучшенная управляемость благодаря наличию средств централизованного управления вычислительным комплексом.

Как сказано выше, кластерные технологии, помимо определенных аппаратных довесков, требуют особой поддержки и на программном уровне. В общем случае, для некоторых типов приложений можно обойтись и без дополнительной аппаратуры. В предельном случае кластер может быть построен из нескольких серверов, связанных между собой по ЛВС. Несмотря на наличие разделяемого ресурса общего коммуникационного канала между узлами системы такая схема называется архитектурой без разделения ресурсов (Shared Nothing Architecture).

Примером кластерного ПО, которое может быть использовано с архитектурой без разделения ресурсов (но не только с ней), является MS Load Balansing Server Network Load Balancing в составе MS Windows 2000 Advansed Server. ПО предназначено для балансировки входящего TCP/IP-трафика и может быть использовано для повышения доступности и масштабируемости IP-приложений.

При использовании приложений, которые занимаются модификацией данных, возникает проблема синхронизации копий, расположенных на разных серверах. Для решения этой задачи помимо обычных сетевых средств, которых не всегда может быть достаточно, или же для разгрузки TCP/IP-стека могут использоваться специализированные средства межсерверного взаимодействия. В качестве примера можно привести технологии Compaq ServerNet или Hewlett-Packard Advansed Server Cluster (ASC).

Что касается последней, термин Advansed Server Cluster по смыслу соответствует терминам Server или System Area Network и используется аббревиатура ASC, главным образом, для повышения ее узнаваемости и предотвращения путаницы с SAN Storage Area Network.

Данная архитектура занимает промежуточное положение (но не в ценовом диапазоне) между архитектурой без разделения ресурсов и архитектурой с общими (разделяемыми) жесткими дисками (Shared Disk Architecture).

 Классификация кластеров по способам преодоления сбоя

Способы преодоления сбоя для кластера определяются не только особенностями его реализации, но и тем, каким образом кластер сконфигурирован. То есть один и тот же кластер может быть по-разному настроен.

В 2-узловом кластере, один узел которого в нормальном режиме не занимается обслуживанием запросов клиентов, могут быть использованы:

 1. Несимметричная схема (Iddle Standby простаивающий резерв). Владельцем группы ресурсов является активный узел с более высоким приоритетом. При сбое и восстановлении работоспособности приоритетного узла происходит передача ресурсов к резервному узлу и обратно.

Достоинства. Вычислительная мощность узлов может быть различной.

Недостатки. Один из узлов простаивает. При восстановлении работоспособности более приоритетного узла из-за обратной передачи ресурсов клиенты получают кратковременный отказ в обслуживании.

 2. Симметричная схема (Rotating Standby ротация резерва). Владельцем группы ресурсов оказывается узел, который первым становится активным.

Достоинства. При восстановлении работоспособности более приоритетного узла из-за обратной передачи ресурсов клиенты не получают отказов в обслуживании.

Недостатки. Один из узлов простаивает. В отличие от симметричной схемы вычислительная мощность обеих узлов должна быть примерно одинаковой или достаточной для владения группой ресурсов.

Для 2-узлового кластера, все активные узлы которого занимаются обслуживанием запросов клиентов:

1.Несимметричная схема (Simple Takeover простой подхват). Одному из узлов с более высоким приоритетом (главному узлу) принадлежат наиболее важные группы ресурсов. Другому узлу принадлежат менее критичные приложения. При выходе из строя главного узла приоритетные группы ресурсов передаются другому узлу. При этом выполнение некритичных приложений может быть остановлено. При восстановлении работоспособности главного узла происходит обратная передача ресурсов и восстановление работоспособности некритичных приложений.

Достоинства и недостатки аналогичны схеме Простаивающий резерв. Ни один узел не простаивает.

2. Симметричная схема.

- Статическое распределение нагрузки (Mutual Takeover встречный подхват). Оба узла равноправны и могут быть использованы для выполнения собственных ресурсов и ресурсов другого узла.

Достоинства. При восстановлении работоспособности одного из узлов клиенты не получают отказов в обслуживании из-за обратной передачи ресурсов. Ни один из узлов не простаивает.

Недостатки. Вычислительная мощность каждого узла должна обеспечивать приемлемую производительность при владении ресурсами обеих узлов одновременно.

- Параллельное выполнение (Concerrent Access одновременный доступ). Оба узла выполняют одно и то же приложение. При выходе из строя одного из узлов кратковременный отказ в обслуживании могут получить не все пользователи данного ресурса, а только клиенты, которые были подключены к вышедшему из строя серверу. Такая схема требует поддержки на уровне приложения (например, Oracle Parallel Server, IBM DB2 Universal Database Enterprise Extended Edition и Informix Extended Parallel Server), а также предъявляет повышенные требования к пропускной способности межсерверного взаимодействия.

В кластерах, имеющих более 2-х узлов, способы преодоления сбоя, так или иначе, основаны на комбинации способов, названных выше. Наличие 3-х и более работоспособных узлов позволяет сформировать для каждой группы ресурсов некоторый список с указанием одного или нескольких резервных узлов кластера в порядке предпочтения. Такая схема позволяет администраторам создавать группы ресурсов, устойчивых к нескольким отказам, а также управлять распределением групп ресурсов между работающими узлами кластера.

Особенности кластерной архитектуры с разделяемыми жесткими дисками

Наиболее доступным и широко используемым интерфейсом для создания кластеров с разделяемыми жесткими дисками является сегодня интерфейс SCSI (Small Computer System Interface). Могут быть использованы стандартные подключения к SCSI-шине с использованием PCI-адаптеров (подключения с несколькими инициаторами, многохостовые подключения) и подключения к SCSI-устройствам по волоконно-оптическому каналу по протоколу FCP (Fibre Chanell Protocol for SCSI).

Так или иначе, все сравнительно доступные кластерные архитектуры используют алгоритм индивидуального доступа к данным. Он определяет способ управления локальными и общими устройствами и ресурсами кластера. В кластере с индивидуальным доступом каждый сервер владеет собственными локальными устройствами. Устройства, общие для кластера, такие как общий дисковый массив или среда подключения, в каждый конкретный момент находятся в собственности и под управлением только одного сервера.

Модель с индивидуальным доступом облегчает управление дисковыми устройствами и стандартными приложениями, не требует специальных кабельных соединений или специальных приложений и позволяет использовать обычные сетевые ОС. Хотя некоторые изменения все-таки нужны. В общем случае, это:

- способность динамического создания и удаления сетевых имен и адресов;

- механизм, обеспечивающий закрытие открытых файлов при отсоединении дисков;

- обеспечение подсистемой ввода/вывода общего доступа к дискам и наборам томов для нескольких узлов кластера.

Следует отметить, что SCSI не идеально приспособлен для создания кластеров. Например, для включения и выключения питания одного из узлов кластера (или физического его отсоединения), в то время как другой узел продолжает нормально функционировать. Для успешной работы широкое распространение получили специальные устройства, которые можно назвать терминирующими переключателями.

Устройства подобного типа при выключении питания на одном из серверов (возможно, вследствие серьезной аппаратной неисправности) изолируют SCSI-сегмент этого сервера от остатков кластера. В то же время переключатель начинает работать как терминатор, функции которого до сбоя выполнял SCSI-адаптер сервера. При включении сервера терминирующий переключатель определяет его присутствие и восстанавливает соединение между кластером и вновь прибывшим участником.

Алгоритм его работы достаточно прост. Для нормального функционирования SCSI-терминаторов на несколько разъемов SCSI-шины должно быть подано напряжение, так называемые линии TermPower. (Теоретически это должно делать только одно из устройств. Практически ничего плохого не произойдет, если этим займутся все: тогда можно не беспокоиться, вынимая один из жестких дисков, не был ли он тем самым, единственным.) Если TermPower теряется, переключатель инициирует сброс шины и физически разъединяет шину на 2 сегмента. При появлении TermPower переключатель после некоторого тайм-аута соединяет оба сегмента. Причем если во время задержки TermPower снова пропадает, таймер задержки запускается снова.

Общие впечатления от кластерных решений на основе обычного SCSI неоднозначны. С одной стороны простота и дешевизна конструкции. С другой стороны огромное количество проблем, причиной которых может стать элементарная неаккуратность. Неосмотрительность, начиная от выбора комплектующих и заканчивая настройкой и тестированием, может привести не только к созданию неработоспособной системы (наверное, наилучший вариант), но и к тому, что количество и длительность простоев кластерной системы из 2-х серверов будет выше, чем у каждого из серверов по отдельности. Впрочем, все это так же справедливо и для кластеров на основе технологии FibreChanell, которая в настоящее время выглядит все более перспективной.

 По материалам cайта газеты "Компьютер-Информ"

 

В последние годы в литературе по вычислительной технике все чаще употребляется термин "системы высокой готовности" (High Availability Systems). Все типы систем высокой готовности имеют общую цель - минимизацию времени простоя. Имеется два типа времени простоя компьютера: плановое и неплановое. Минимизация каждого из них требует различной стратегии и технологии. Плановое время простоя обычно включает время, принятое руководством, для проведения работ по модернизации системы и для ее обслуживания. Неплановое время простоя является результатом отказа системы или компонента. Хотя системы высокой готовности возможно больше ассоциируются с минимизацией неплановых простоев, они оказываются также полезными для уменьшения планового времени простоя.

Существует несколько типов систем высокой готовности, отличающиеся своими функциональными возможностями и стоимостью. Следует отметить, что высокая готовность не дается бесплатно. Стоимость систем высокой готовности на много превышает стоимость обычных систем. Вероятно поэтому наибольшее распространение в мире получили кластерные системы, благодаря тому, что они обеспечивают достаточно высокий уровень готовности систем при относительно низких затратах. Термин "кластеризация" на сегодня в компьютерной промышленности имеет много различных значений. Строгое определение могло бы звучать так: "реализация объединения машин, представляющегося единым целым для операционной системы, системного программного обеспечения, прикладных программ и пользователей". Машины, кластеризованные вместе таким способом могут при отказе одного процессора очень быстро перераспределить работу на другие процессоры внутри кластера. Это, возможно, наиболее важная задача многих поставщиков систем высокой готовности.

Пример организации кластера:

 

Первой концепцию кластерной системы анонсировала компания DEC, определив ее как группу объединенных между собой вычислительных машин, представляющих собой единый узел обработки информации. По существу VAX-кластер представляет собой слабосвязанную многомашинную систему с общей внешней памятью, обеспечивающую единый механизм управления и администрирования. В настоящее время на смену VAX-кластерам приходят UNIX-кластеры. При этом VAX-кластеры предлагают проверенный набор решений, который устанавливает критерии для оценки подобных систем.

VAX-кластер обладает следующими свойствами:

Разделение ресурсов. Компьютеры VAX в кластере могут разделять доступ к общим ленточным и дисковым накопителям. Все компьютеры VAX в кластере могут обращаться к отдельным файлам данных как к локальным.

Высокая готовность. Если происходит отказ одного из VAX-компьютеров, задания его пользователей автоматически могут быть перенесены на другой компьютер кластера. Если в системе имеется несколько контроллеров внешних накопителей и один из них отказывает, другие контроллеры автоматически подхватывают его работу.

Высокая пропускная способность. Ряд прикладных систем могут пользоваться возможностью параллельного выполнения заданий на нескольких компьютерах кластера.

Удобство обслуживания системы. Общие базы данных могут обслуживаться с единственного места. Прикладные программы могут инсталлироваться только однажды на общих дисках кластера и разделяться между всеми компьютерами кластера.

Расширяемость. Увеличение вычислительной мощности кластера достигается подключением к нему дополнительных VAX-компьютеров. Дополнительные накопители на магнитных дисках и магнитных лентах становятся доступными для всех компьютеров, входящих в кластер.

Работа любой кластерной системы определяется двумя главными компонентами: высокоскоростным механизмом связи процессоров между собой и системным программным обеспечением, которое обеспечивает клиентам прозрачный доступ к системному сервису.