Кластер что это в компьютере

Что такое сектор диска (кластер)

Этой заметкой я хочу ответить на вопросы «что такое сектор» и «что такое кластер», в чем их отличие и для чего сектора и кластеры нужны.

Для этого нам нужно будет разобраться с принципами хранения информации, и давайте поговорим о самых основах.

Для хранения данных все носители информации имеют специальную разметку. Давайте рассмотрим упрощенную схему подобной разметки на примере жесткого диска.

Жесткий диск имеет несколько «блинов» (дисков), на магнитную поверхность которых и записываются данные (смотрите рисунок выше).

Каждый блин имеет круглую форму и разметка такого блина выглядит так:

Каждый диск разбит на треки (дорожки), а каждая дорожка поделена на сектора. Это конечно, очень упрощенная схема, но она дает представление о том, что такое сектор.

Сектор – это минимальная пронумерованная область диска, в которой могут храниться данные. Обычно размер одного сектора составляет 512 байт.

Для нормальной работы операционной системы на жестком диске создается файловая система. Файловая система использует сектора для хранения файлов, но из-за некоторых ограничений и особенностей различных файловых систем, сектора носителя информации обычно объединяются файловой системой в кластеры. Это означает, что кластер является минимальной областью файловой системы, предназначенной для хранения информации и он может состоять как из одного, так и из нескольких секторов.

Чтобы проиллюстрировать вышесказанное приведу картинку из Википедии:

На этом рисунке замечательным образом продемонстрирована структура диска. Буквой «А» обозначена дорожка, буквой «В» — геометрический сектор диска, а буквой «С» — сектор дорожки. Далее из рисунка видно, что кластер «D» может занимать несколько секторов дорожки (кластер выделен на рисунке зеленым).

В различных файловых системах кластер мог иметь размеры от 512 байт (один сектор) до 64 кбайт (128 секторов). В наиболее популярной в настоящее время файловой системе NTFS размер кластера можно установить от 512 байт, до 4096 байт (8 секторов).

Размером кластера можно управлять в некоторых пределах — его можно задать при форматировании носителя информации.

Компьютерный кластер - Computer cluster

Вычислительный кластер представляет собой набор свободно или плотно соединенных компьютеров , которые работают вместе с тем , что во многих аспектах, их можно рассматривать как единую систему. В отличие от сетевых компьютеров , в компьютерных кластерах каждый узел настроен на выполнение одной и той же задачи, управляемой и планируемой программным обеспечением.

Компоненты кластера обычно соединяются друг с другом через быстрые локальные сети , при этом на каждом узле (компьютере, используемом в качестве сервера) работает собственный экземпляр операционной системы . В большинстве случаев все узлы используют одно и то же оборудование и одну и ту же операционную систему, хотя в некоторых конфигурациях (например, с использованием ресурсов кластерных приложений с открытым исходным кодом (OSCAR)) на каждом компьютере могут использоваться разные операционные системы или разное оборудование.

Кластеры обычно развертываются для повышения производительности и доступности по сравнению с одним компьютером, при этом обычно они гораздо более рентабельны, чем отдельные компьютеры с сопоставимой скоростью или доступностью.

Компьютерные кластеры возникли в результате конвергенции ряда вычислительных тенденций, включая доступность недорогих микропроцессоров, высокоскоростных сетей и программного обеспечения для высокопроизводительных распределенных вычислений . Они имеют широкий диапазон применимости и развертывания, начиная от кластеров для малого бизнеса с несколькими узлами и заканчивая одними из самых быстрых суперкомпьютеров в мире, таких как Sequoia от IBM . До появления кластеров использовались одноблочные отказоустойчивые мэйнфреймы с модульной избыточностью ; но более низкая начальная стоимость кластеров и повышенная скорость сетевой структуры способствовали внедрению кластеров. В отличие от высоконадежных мэйнфреймов кластеры дешевле масштабировать, но они также имеют повышенную сложность в обработке ошибок, поскольку в кластерах режимы ошибок не непрозрачны для запущенных программ.

Базовые концепты

Стремление получить большую вычислительную мощность и надежность за счет объединения ряда недорогих коммерческих готовых компьютеров привело к появлению множества архитектур и конфигураций.

Подход компьютерной кластеризации обычно (но не всегда) соединяет ряд легко доступных вычислительных узлов (например, персональных компьютеров, используемых в качестве серверов) через быструю локальную сеть . Действия вычислительных узлов управляются «промежуточным программным обеспечением кластеризации», программным уровнем, который располагается поверх узлов и позволяет пользователям рассматривать кластер как в целом один связанный вычислительный блок, например, через концепцию единого образа системы .

Кластеризация компьютеров основана на централизованном подходе к управлению, который делает узлы доступными как согласованные общие серверы. Он отличается от других подходов, таких как одноранговые или грид-вычисления, которые также используют много узлов, но имеют гораздо более распределенный характер .

Компьютерный кластер может быть простой двухузловой системой, которая просто соединяет два персональных компьютера, или может быть очень быстрым суперкомпьютером . Базовый подход к созданию кластера - это кластер Беовульфа, который может быть построен с использованием нескольких персональных компьютеров, чтобы создать экономичную альтернативу традиционным высокопроизводительным вычислениям . Первым проектом, продемонстрировавшим жизнеспособность концепции, был 133-узловой компьютер Stone Soupercomputer . Разработчики использовали Linux , инструментарий Parallel Virtual Machine и библиотеку интерфейса передачи сообщений для достижения высокой производительности при относительно низкой стоимости.

Хотя кластер может состоять всего из нескольких персональных компьютеров, соединенных простой сетью, кластерная архитектура также может использоваться для достижения очень высокого уровня производительности. В TOP500 полугодовая список организации из 500 самых быстрых суперкомпьютеров часто включает в себя множество кластеров, например , быстрый машина в мире в 2011 году на K компьютер , который имеет распределенную память , кластерная архитектура.

История

Грег Пфистер заявил, что кластеры были изобретены не каким-либо конкретным поставщиком, а клиентами, которые не могли разместить всю свою работу на одном компьютере или нуждались в резервной копии. Пфистер считает, что это время примерно в 1960-х годах. Формальная инженерная основа кластерных вычислений как средства выполнения параллельной работы любого рода была изобретена Джином Амдалом из IBM , который в 1967 году опубликовал основополагающую статью о параллельной обработке: закон Амдала .

История ранних компьютерных кластеров более или менее напрямую связана с историей ранних сетей, поскольку одной из основных мотиваций развития сети было соединение вычислительных ресурсов, создание де-факто компьютерного кластера.

Первой производственной системой, сконструированной в виде кластера, была Burroughs B5700 в середине 1960-х годов. Это позволило подключить до четырех компьютеров, каждый с одним или двумя процессорами, к общей дисковой подсистеме хранения данных для распределения рабочей нагрузки. В отличие от стандартных многопроцессорных систем, каждый компьютер можно было перезапустить без нарушения общей работы.

Первым коммерческим продуктом для слабосвязанной кластеризации была система «Компьютер с подключенными ресурсами» (ARC) корпорации Datapoint , разработанная в 1977 году и использующая ARCnet в качестве интерфейса кластера. Кластеризация как таковая не получила широкого распространения до тех пор, пока Digital Equipment Corporation не выпустила в 1984 году свой продукт VAXcluster для операционной системы VAX / VMS (теперь называемой OpenVMS). Продукты ARC и VAXcluster поддерживают не только параллельные вычисления, но также совместно используемые файловые системы и периферийные устройства. Идея заключалась в том, чтобы предоставить преимущества параллельной обработки при сохранении надежности и уникальности данных. Двумя другими примечательными ранними коммерческими кластерами были Tandem Himalayan (продукт с высокой доступностью примерно 1994 г.) и IBM S / 390 Parallel Sysplex (также примерно 1994 г., в основном для использования в бизнесе).

В те же сроки, когда компьютерные кластеры использовали параллелизм вне компьютера в товарной сети, суперкомпьютеры начали использовать их на одном компьютере. После успеха CDC 6600 в 1964 году, в 1976 году был выпущен Cray 1 , который представил внутренний параллелизм посредством векторной обработки . В то время как ранние суперкомпьютеры исключали кластеры и полагались на разделяемую память , со временем некоторые из самых быстрых суперкомпьютеров (например, компьютер K ) полагались на кластерные архитектуры.

Атрибуты кластеров

Компьютерные кластеры могут быть настроены для различных целей, начиная от общих бизнес-потребностей, таких как поддержка веб-сервисов, до научных вычислений, требующих больших вычислительных ресурсов. В любом случае кластер может использовать подход высокой доступности . Обратите внимание, что описанные ниже атрибуты не являются исключительными, и «компьютерный кластер» также может использовать подход высокой доступности и т. Д.

« Нагрузка балансировки » кластеры конфигурации , в которых кластер-узлы делят вычислительную нагрузку , чтобы обеспечить лучшую общую производительность. Например, кластер веб-серверов может назначать разные запросы разным узлам, поэтому общее время ответа будет оптимизировано. Однако подходы к балансировке нагрузки могут значительно различаться между приложениями, например, высокопроизводительный кластер, используемый для научных вычислений, будет балансировать нагрузку с помощью различных алгоритмов из кластера веб-сервера, который может просто использовать простой метод циклического перебора , назначая каждый новый запрос. к другому узлу.

Компьютерные кластеры используются для целей с интенсивными вычислениями, а не для обработки операций, ориентированных на ввод-вывод, таких как веб-службы или базы данных. Например, компьютерный кластер может поддерживать вычислительное моделирование автомобильных аварий или погодных условий. Компьютерные кластеры с очень сильной связью предназначены для работы, которая может приближаться к « суперкомпьютерам ».

« Кластеры высокой доступности » (также известные как отказоустойчивые кластеры или кластеры высокой доступности ) улучшают доступность кластерного подхода. Они работают, имея резервные узлы , которые затем используются для обслуживания при выходе из строя компонентов системы. Реализации кластера высокой доступности пытаются использовать избыточность компонентов кластера для устранения единых точек отказа . Существуют коммерческие реализации кластеров высокой доступности для многих операционных систем. Проект Linux-HA - это один из широко используемых пакетов HA для бесплатного программного обеспечения для операционной системы Linux .

Льготы

Кластеры в первую очередь разрабатываются с учетом производительности, но установка основана на многих других факторах. Отказоустойчивость ( способность системы продолжать работу с неисправным узлом ) обеспечивает масштабируемость , а в ситуациях высокой производительности - низкую частоту процедур обслуживания, консолидацию ресурсов (например, RAID ) и централизованное управление. Преимущества включают возможность восстановления данных в случае аварии и обеспечение параллельной обработки данных и высокую производительность обработки.

С точки зрения масштабируемости кластеры обеспечивают это возможностью добавлять узлы по горизонтали. Это означает, что к кластеру можно добавить больше компьютеров для повышения его производительности, избыточности и отказоустойчивости. Это может быть недорогое решение для более производительного кластера по сравнению с масштабированием одного узла в кластере. Это свойство компьютерных кластеров может позволить выполнять большие вычислительные нагрузки большему количеству менее производительных компьютеров.

При добавлении нового узла в кластер надежность увеличивается, поскольку нет необходимости отключать весь кластер. Один узел может быть отключен для обслуживания, а остальная часть кластера берет на себя нагрузку этого отдельного узла.

Если у вас есть большое количество компьютеров, сгруппированных вместе, это позволяет использовать распределенные файловые системы и RAID , которые могут повысить надежность и скорость кластера.

Дизайн и комплектация

Одна из проблем при проектировании кластера - насколько сильно могут быть связаны отдельные узлы. Например, одно компьютерное задание может потребовать частого обмена данными между узлами: это означает, что кластер использует выделенную сеть, плотно расположен и, вероятно, имеет однородные узлы. Другой крайностью является ситуация, когда компьютерная работа использует один или несколько узлов и не требует или почти не требует межузловой связи, что приближается к грид-вычислениям .

В кластере Беовульфа прикладные программы никогда не видят вычислительные узлы (также называемые подчиненными компьютерами), а взаимодействуют только с «Мастером», который является конкретным компьютером, выполняющим планирование и управление подчиненными устройствами. В типичной реализации Мастер имеет два сетевых интерфейса, один из которых обменивается данными с частной сетью Беовульфа для ведомых устройств, а другой - с сетью общего назначения организации. Подчиненные компьютеры обычно имеют собственную версию той же операционной системы, а также локальную память и дисковое пространство. Однако частная подчиненная сеть может также иметь большой и совместно используемый файловый сервер, на котором хранятся глобальные постоянные данные, к которым подчиненные устройства могут обращаться по мере необходимости.

144-узловой кластер DEGIMA специального назначения настроен на выполнение астрофизических симуляций N-тел с использованием параллельного древовидного кода Multiple-Walk, а не для научных вычислений общего назначения.

Из-за увеличения вычислительной мощности каждого поколения игровых консолей появилось новое применение, когда они были перепрофилированы в кластеры высокопроизводительных вычислений (HPC). Некоторые примеры игровых консолей кластеров Sony PlayStation кластеры и Microsoft Xbox кластеры. Другой пример потребительского игрового продукта - персональная суперкомпьютерная рабочая станция Nvidia Tesla , в которой используется несколько процессорных микросхем графического ускорителя. Помимо игровых консолей, вместо них можно использовать и высококачественные видеокарты. Использование видеокарт (или, скорее, их графических процессоров) для выполнения вычислений в сетке намного более экономично, чем использование процессоров, хотя и менее точное. Однако при использовании значений с двойной точностью они становятся такими же точными для работы, как и ЦП, и по-прежнему намного дешевле (стоимость покупки).

Компьютерные кластеры исторически работали на отдельных физических компьютерах с одной и той же операционной системой . С появлением виртуализации узлы кластера могут работать на отдельных физических компьютерах с разными операционными системами, которые показаны выше с виртуальным слоем, чтобы выглядеть одинаково. Кластер также может быть виртуализирован в различных конфигурациях по мере обслуживания; пример реализации - Xen в качестве диспетчера виртуализации с Linux-HA .

Обмен данными и коммуникация

Обмен данными

Как компьютерные кластеры появились в 1980-х годах, так и суперкомпьютеры . Одним из элементов, которые отличали эти три класса в то время, было то, что первые суперкомпьютеры полагались на разделяемую память . На сегодняшний день кластеры обычно не используют физически разделяемую память, хотя многие архитектуры суперкомпьютеров также отказались от нее.

Однако использование кластерной файловой системы необходимо в современных компьютерных кластерах. Примеры включают IBM General Parallel File System , Microsoft Cluster Shared Volumes или Oracle Cluster File System .

Передача сообщений и общение

Два широко используемых подхода для связи между узлами кластера - это MPI ( интерфейс передачи сообщений ) и PVM ( параллельная виртуальная машина ).

PVM был разработан в Национальной лаборатории Ок-Ридж примерно в 1989 году, до того, как появился MPI. PVM должен быть установлен непосредственно на каждом узле кластера и предоставляет набор программных библиотек, которые изображают узел как «параллельную виртуальную машину». PVM предоставляет среду выполнения для передачи сообщений, управления задачами и ресурсами, а также уведомления об ошибках. PVM может использоваться пользовательскими программами, написанными на C, C ++, Fortran и т. Д.

MPI возник в начале 1990-х в результате дискуссий между 40 организациями. Первоначальные усилия были поддержаны ARPA и Национальным научным фондом . Вместо того, чтобы начинать заново, при разработке MPI использовались различные функции, доступные в коммерческих системах того времени. Затем спецификации MPI привели к конкретным реализациям. Реализации MPI обычно используют TCP / IP и сокетные соединения. MPI теперь является широко доступной коммуникационной моделью, которая позволяет писать параллельные программы на таких языках, как C , Fortran , Python и т. Д. Таким образом, в отличие от PVM, который обеспечивает конкретную реализацию, MPI - это спецификация, реализованная в таких системах, как MPICH. и откройте MPI .

Управление кластером

Одной из проблем при использовании компьютерного кластера является стоимость его администрирования, которая иногда может быть такой же высокой, как стоимость администрирования N независимых машин, если в кластере N узлов. В некоторых случаях это дает преимущества архитектурам с общей памятью с меньшими затратами на администрирование. Это также сделало виртуальные машины популярными благодаря простоте администрирования.

Планирование задач

Когда большому многопользовательскому кластеру требуется доступ к очень большим объемам данных, планирование задач становится проблемой. В гетерогенном кластере CPU-GPU со сложной прикладной средой производительность каждого задания зависит от характеристик базового кластера. Следовательно, сопоставление задач с ядрами ЦП и устройствами с графическим процессором создает серьезные проблемы. Это область постоянных исследований; были предложены и изучены алгоритмы, которые объединяют и расширяют MapReduce и Hadoop .

Управление отказами узлов

Когда узел в кластере выходит из строя, можно использовать такие стратегии, как « ограждение », чтобы остальная часть системы оставалась работоспособной. Ограждение - это процесс изоляции узла или защиты общих ресурсов, когда узел кажется неисправным. Есть два класса методов ограждения; один отключает сам узел, а другой запрещает доступ к таким ресурсам, как общие диски.

Метод STONITH расшифровывается как «Shoot The Other Node In The Head», что означает, что подозреваемый узел отключен или выключен. Например, силовое ограждение использует контроллер мощности для отключения неработающего узла.

Эти ресурсы фехтование подхода Запрещает доступ к ресурсам без отключения узла. Это может включать в себя постоянное ограждение резервирования через SCSI3 , ограждение оптоволоконного канала для отключения порта оптоволоконного канала или ограждение глобального сетевого блочного устройства (GNBD) для отключения доступа к серверу GNBD.

Разработка и администрирование программного обеспечения

Параллельное программирование

Кластеры с балансировкой нагрузки, такие как веб-серверы, используют кластерную архитектуру для поддержки большого числа пользователей, и обычно каждый пользовательский запрос направляется на конкретный узел, обеспечивая параллелизм задач без взаимодействия нескольких узлов, учитывая, что основная цель системы - обеспечение быстрого пользователя. доступ к общим данным. Однако «компьютерные кластеры», которые выполняют сложные вычисления для небольшого числа пользователей, должны использовать преимущества возможностей параллельной обработки кластера и разделять «одни и те же вычисления» между несколькими узлами.

Автоматическое распараллеливание программ остается технической проблемой, но модели параллельного программирования могут использоваться для достижения более высокой степени параллелизма путем одновременного выполнения отдельных частей программы на разных процессорах.

Отладка и мониторинг

Для разработки и отладки параллельных программ в кластере требуются примитивы параллельного языка, а также подходящие инструменты, такие как те, которые обсуждались на форуме High Performance Debugging Forum (HPDF), результатом которого стали спецификации HPD. Затем были разработаны такие инструменты, как TotalView , для отладки параллельных реализаций на компьютерных кластерах, которые используют MPI или PVM для передачи сообщений.

Система Berkeley NOW (Network of Workstations) собирает данные о кластерах и сохраняет их в базе данных, а такая система, как PARMON, разработанная в Индии, позволяет визуально наблюдать и управлять большими кластерами.

Контрольные точки приложения могут использоваться для восстановления заданного состояния системы, когда узел выходит из строя во время долгих многоузловых вычислений. Это важно в больших кластерах, учитывая, что по мере увеличения количества узлов увеличивается вероятность отказа узла при больших вычислительных нагрузках. Контрольная точка может восстановить систему до стабильного состояния, чтобы обработка могла возобновиться без повторного вычисления результатов.

Реализации

Мир GNU / Linux поддерживает различное кластерное программное обеспечение; для кластеризации приложений есть distcc и MPICH . Linux Virtual Server , Linux-HA - кластеры на основе директоров, которые позволяют распределять входящие запросы на сервисы по нескольким узлам кластера. MOSIX , LinuxPMI , Kerrighed , OpenSSI являются полноценными кластерами , интегрированными в ядро , которые обеспечивают для автоматической миграции процесса среди однородных узлов. OpenSSI , openMosix и Kerrighed - это реализации образа одной системы .

Компьютерный кластер Microsoft Windows Server 2003, основанный на платформе Windows Server, предоставляет такие компоненты для высокопроизводительных вычислений, как планировщик заданий, библиотека MSMPI и инструменты управления.

gLite - это набор технологий промежуточного программного обеспечения, созданный проектом Enabling Grids for E-sciencE (EGEE).

slurm также используется для планирования и управления некоторыми из крупнейших кластеров суперкомпьютеров (см. список top500).

Другие подходы

Хотя большинство компьютерных кластеров являются постоянными приспособлениями, были предприняты попытки флешмоб-вычислений для создания недолговечных кластеров для конкретных вычислений. Однако у крупномасштабных добровольных вычислительных систем, таких как системы на основе BOINC , было больше последователей.

Смотрите также

Рекомендации

дальнейшее чтение

• Бейкер, Марк; и другие. (11 января 2001 г.). «Белая книга кластерных вычислений». arXiv : cs / 0004014 .
• Маркус, Эван; Стерн, Хэл (2000-02-14). Чертежи для высокой доступности: проектирование отказоустойчивых распределенных систем . Джон Вили и сыновья. ISBN   978-0-471-35601-1 .
• Пфистер, Грег (1998). В поисках кластеров . Прентис Холл. ISBN   978-0-13-899709-0 .
• Буйя, Раджкумар, изд. (1999). Высокопроизводительные кластерные вычисления: архитектуры и системы . 1 . Нью-Джерси, США: Прентис Холл. ISBN   978-0-13-013784-5 .
• Буйя, Раджкумар, изд. (1999). Высокопроизводительные кластерные вычисления: архитектуры и системы . 2 . Нью-Джерси, США: Прентис Холл. ISBN   978-0-13-013785-2 .

внешние ссылки

5.6. Кластерная архитектура. 5. Архитектуры высокопроизводительных вычислительных систем. Вычислительные системы, сети и телекоммуникации

Кластер представляет собой два или более компьютеров (часто называемых узлами), объединяемые при помощи сетевых технологий на базе шинной архитектуры или коммутатора и предстающие перед пользователями в качестве единого информационно-вычислительного ресурса.

Кластерная архитектура представлена на рис. 5.10.

Рисунок 5.10 – Кластерная архитектура

В качестве узлов кластера могут быть выбраны серверы, рабочие станции и даже обычные персональные компьютеры. Узел характеризуется тем, что на нем работает единственная копия операционной системы.

Элементами кластера являются – один управляющий узел и остальные вычислительные, связанные в локальную сеть.

Управляющий узел – подготовка параллельных программ и данных, взаимодействие с вычислительными узлами через управляющую сеть.

Вычислительные узлы – выполнение параллельной программы, обмен данными через коммуникационную сеть.

Возможности масштабируемости кластеров позволяют многократно увеличивать производительность приложений для большего числа пользователей технологий (Fast/Gigabit Ethernet, Myrinet) на базе шинной архитектуры или коммутатора. Такие суперкомпьютерные системы являются самыми дешевыми, поскольку собираются на базе стандартных комплектующих элементов ("off the shelf"), процессоров, коммутаторов, дисков и внешних устройств.

Кластеры условно можно разделить на классы.

Класс I. Класс машин строится целиком из стандартных деталей, которые продают многие поставщики компьютерных компонентов (низкие цены, простое обслуживание, аппаратные компоненты доступны из различных источников).

Класс II. Система имеет эксклюзивные или не слишком широко распространенные детали. Таким образом, можно достичь очень хорошей производительности, но при более высокой стоимости.

Кластеры могут существовать в различных конфигурациях. Наиболее распространенными типами кластеров являются:

- системы высокой надежности – в случае сбоя какого-либо узла другой узел кластера может взять на себя нагрузку неисправного узла, и пользователи не заметят прерывания в доступе;

- системы для высокопроизводительных вычислений – предназначены для параллельных расчетов. Эти кластеры обычно собраны из большого числа компьютеров. Разработка таких кластеров является сложным процессом, требующим на каждом шаге согласования таких вопросов как инсталляция, эксплуатация и одновременное управление большим числом компьютеров, технические требования параллельного и высокопроизводительного доступа к одному и тому же системному файлу (или файлам) и межпроцессорная связь между узлами, и координация работы в параллельном режиме. Эти проблемы проще всего решаются при обеспечении единого образа операционной системы для всего кластера;

- многопоточные системы – используются для обеспечения единого интерфейса к ряду ресурсов, которые могут со временем произвольно наращиваться (или сокращаться). Типичным примером может служить группа web-серверов.

Отметим, что границы между этими типами кластеров до некоторой степени размыты, и кластер может иметь такие свойства или функции, которые выходят за рамки перечисленных типов. Более того, при конфигурировании большого кластера, используемого как система общего назначения, приходится выделять блоки, выполняющие все перечисленные функции.

В 1994 году Томас Стерлинг (Sterling) и Дон Беккер (Becker) создали 16-узловой кластер из процессоров Intel DX4, соединенных сетью 10 Мбит/с Ethernet с дублированием каналов. Они назвали его "Beowulf" (рис. 5.7 – 5.9) по названию старинной эпической поэмы. Кластер возник в центре NASA Goddard Space Flight Center для поддержки необходимыми вычислительными ресурсами проекта Earth and Space Sciences. Проектно-конструкторские работы быстро превратились в то, что известно сейчас как проект Beowulf.

Проект стал основой общего подхода к построению параллельных кластерных компьютеров, он описывает многопроцессорную архитектуру, которая может с успехом использоваться для параллельных вычислений. Beowulf-кластер, как правило, является системой, состоящей из одного серверного узла (который обычно называется головным), а также одного или нескольких подчиненных (вычислительных) узлов, соединенных посредством стандартной компьютерной сети. Система строится с использованием стандартных аппаратных компонентов, таких как ПК, запускаемые под Linux, стандартные сетевые адаптеры (например, Ethernet) и коммутаторы. Нет особого программного пакета, называемого "Beowulf". Вместо этого имеется несколько кусков программного обеспечения, которые многие пользователи нашли пригодными для построения кластеров Beowulf. Beowulf использует такие программные продукты как операционная система Linux, системы передачи сообщений PVM, MPI, системы управления очередями заданий и другие стандартные продукты. Серверный узел контролирует весь кластер и обслуживает файлы, направляемые к клиентским узлам.

Что такое кластер на жестком диске и на что влияет его размер

Наверняка, многие из нас слышали про кластер на жестком диске. Давайте попробуем разобраться, что это такое, и на что влияет его размер.

Содержание статьи:

Немного теории

Кластером называется минимальная часть пространства на жестком диске, выделяемая системой для хранения там файлов. Используемый в операционной системе диск имеет организацию именно на основании кластера. В подавляющем большинстве случаев общий размер файла несколько меньше суммы размеров кластеров, в которых он хранится на винчестере.

Чтобы было понятнее, рассмотрим пример – если посмотреть в свойствах папки, мы увидим, что фактический размер, занимаемый ей на винчестере, больше реального.

Как это работает

Размер кластера (или, другими словами, размер единицы распределения) обычно задается при форматировании, и на эту величину обычно не обращают внимания, оставляя рекомендованное системой значение.

И если на нашем диске размер кластера будет 4 кБ (рекомендованный Windows), то минимальное физическое пространство, занимаемое файлом, будет равно размеру кластера – 4 кБ.

Два таких файла займут, соответственно, размер 8 кБ и т.д.

То есть, при выбранном большом размере кластера файлы малого объема будут занимать значительное место на диске. Но большой размер кластера имеет и другие преимущества – в частности увеличение производительности работы жесткого диска. При минимальном размере кластера количество неиспользуемого дискового пространства при хранении файлов малого объема будут меньше.

Файловая система

Величина доступного размера кластера зависит от файловой системы на жестком диске. Вы можете ознакомиться с поддерживаемыми размерами для разных файловых систем и версий Windows на официальном сайте Microsoft.

Проверить, какая файловая система у вас вы сможете в окне свойств диска, щелкнув по нему правой кнопкой мышки в Проводнике и выбрав «Свойства» из контекстного меню.

Вместо послесловия

Мы с вами коротко разобрались с кластерами на жестком диске и с влияет их размера на хранение данных. Как видите, универсальный совет об оптимальном размере кластера дать очень сложно – здесь нужно выбрать оптимальное значение в зависимости от конкретных потребностей. Ну а в большинстве случаев наверное стоит оставить значение, предложенное системой.

Эффективные кластерные решения

Для начала следует определить, на кого рассчитана статья, чтобы читатели решили, стоит ли тратить на нее время.

Потребность в написании этой статьи возникла после прочитанного семинара на выставке ENTEREX’2002 в городе Киеве. Именно тогда, в начале 2002-го я увидел, что интерес к теме кластерных систем значительно возрос по сравнению с тем, что наблюдалось всего пару лет назад.

Я не ставил себе целью на семинаре и в этой статье проанализировать варианты решения конкретных прикладных задач на кластерных системах, это отдельная и очень обширная тема. Я ставил себе задачу познакомить читателей с терминологией и средствами построения кластерных систем, а также показать, для каких задач полезен кластеринг. Для полного убеждения сомневающихся в статье приведены конкретные примеры реализации кластерных систем и мои контакты, по которым я готов отвечать по мере возможностей на вопросы, связанные с кластерными технологиями, а также принимать ваши замечания и советы.

Концепция кластерных систем

• LAN — Local Area Network, локальная сеть
• SAN — Storage Area Network, сеть хранения данных

Впервые в классификации вычислительных систем термин "кластер" определила компания Digital Equipment Corporation (DEC).

По определению DEC, кластер — это группа вычислительных машин, которые связаны между собою и функционируют как один узел обработки информации.

Кластер функционирует как единая система, то есть для пользователя или прикладной задачи вся совокупность вычислительной техники выглядит как один компьютер. Именно это и является самым важным при построении кластерной системы.

Первые кластеры компании Digital были построены на машинах VAX. Эти машины уже не производятся, но все еще работают на площадках, где были установлены много лет назад. И наверное самое важное то, что общие принципы, заложенные при их проектировании, остаются основой при построении кластерных систем и сегодня.

К общим требованиям, предъявляемым к кластерным системам, относятся:

1. Высокая готовность
2. Высокое быстродействие
3. Масштабирование
4. Общий доступ к ресурсам
5. Удобство обслуживания

Естественно, что при частных реализациях одни из требований ставятся во главу угла, а другие отходят на второй план. Так, например, при реализации кластера, для которого самым важным является быстродействие, для экономии ресурсов меньше внимания придают высокой готовности.

В общем случае кластер функционирует как мультипроцессорная система, поэтому, важно понимать классификацию таких систем в рамках распределения программно-аппаратных ресурсов.

Рисунок 3. Умеренно связанная мультипроцессорная система

Рисунок 4. Слабо связанная мультипроцессорная система

Обычно на PC платформах, с которыми мне приходится работать, используются реализации кластерной системы в моделях тесно связанной и умеренно связанной мультипроцессорных архитектур.

Разделение на High Avalibility и High Performance системы

В функциональной классификации кластеры можно разделить на "Высокоскоростные" (High Performance, HP), "Системы Высокой Готовности" (High Availability, HA), а также "Смешанные Системы".

Высокоскоростные кластеры используются для задач, которые требуют значительной вычислительной мощности. Классическими областями, в которых используются подобные системы, являются:

• обработка изображений: рендеринг, распознавание образов
• научные исследования: физика, биоинформатика, биохимия, биофизика
• промышленность (геоинформационные задачи, математическое моделирование)

и много других…

Кластеры, которые относятся к системам высокой готовности, используются везде, где стоимость возможного простоя превышает стоимость затрат, необходимых для построения кластерной системы, например:

• биллинговые системы
• банковские операции
• электронная коммерция
• управление предприятием, и т.п….

Смешанные системы объединяют в себе особенности как первых, так и вторых. Позиционируя их, следует отметить, что кластер, который обладает параметрами как High Performance, так и High Availability, обязательно проиграет в быстродействии системе, ориентированной на высокоскоростные вычисления, и в возможном времени простоя системе, ориентированной на работу в режиме высокой готовности.

Проблематика High Performance кластеров

Почти в любой ориентированной на параллельное вычисление задаче невозможно избегнуть необходимости передавать данные от одной подзадачи другой.

Таким образом, быстродействие High Performance кластерной системы определяется быстродействием узлов и связей между ними. Причем влияние скоростных параметров этих связей на общую производительность системы зависит от характера выполняемой задачи. Если задача требует частого обмена данными с подзадачами, тогда быстродействию коммуникационного интерфейса следует уделять максимум внимания. Естественно, чем меньше взаимодействуют части параллельной задачи между собою, тем меньше времени потребуется для ее выполнения. Что диктует определенные требования также и на программирование параллельных задач.

Основные проблемы при необходимости обмена данными между подзадачами возникают в связи с тем, что быстродействие передачи данных между центральным процессором и оперативной памятью узла значительно превышает скоростные характеристики систем межкомпьютерного взаимодействия. Кроме того, сильно сказывается на изменении функционирования системы, по сравнению с привычными нам SMP системами, разница в быстродействии кэш памяти процессоров и межузловых коммуникаций.

Быстродействие интерфейсов характеризуется двумя параметрами: пропускной способностью непрерывного потока даных и максимальным количеством самых маленьких пакетов, которые можно передать за единицу времени. Варианты реализаций коммуникационных интерфейсов мы рассмотрим в разделе «Средства реализации High Performance кластеров».

Проблематика High Availability кластерных систем

Сегодня в мире распространены несколько типов систем высокой готовности. Среди них кластерная система является воплощением технологий, которые обеспечивают высокий уровень отказоустойчивости при самой низкой стоимости. Отказоустойчивость кластера обеспечивается дублированием всех жизненно важных компонент. Максимально отказоустойчивая система должна не иметь ни единой точки, то есть активного элемента, отказ которого может привести к потере функциональности системы. Такую характеристику как правило называют — NSPF (No Single Point of Failure, — англ., отсутствие единой точки отказа).

При построении систем высокой готовности, главная цель — обеспечить минимальное время простоя.

Для того, чтобы система обладала высокими показатели готовности, необходимо:

• чтобы ее компоненты были максимально надежными
• чтобы она была отказоустойчивая, желательно, чтобы не имела точек отказов
• а также важно, чтобы она была удобна в обслуживании и разрешала проводить замену компонент без останова

Пренебрежение любым из указанных параметров, может привести к потере функциональности системы.

Давайте коротко пройдемся по всем трём пунктам.

Что касается обеспечения максимальной надежности, то она осуществляется путем использования электронных компонент высокой и сверхвысокой интеграции, поддержания нормальных режимов работы, в том числе тепловых.

Отказоустойчивость обеспечивается путем использования специализированных компонент (ECC, Chip Kill модули памяти, отказоустойчивые блоки питания, и т.п.), а также с помощью технологий кластеризации. Благодаря кластеризации достигается такая схема функционирования, когда при отказе одного из компьютеров задачи перераспределяются между другими узлами кластера, которые функционируют исправно. Причем одной из важнейших задач производителей кластерного программного обеспечения является обеспечение минимального времени восстановления системы в случае сбоя, так как отказоустойчивость системы нужна именно для минимизации так называемого внепланового простоя.

Много кто забывает, что удобство в обслуживании, которое служит уменьшению плановых простоев (например, замены вышедшего из строя оборудования) является одним из важнейших параметров систем высокой готовности. И если система не разрешает заменять компоненты без выключения всего комплекса, то ее коэффициент готовности уменьшается.

Смешанные архитектуры

Сегодня часто можно встретить смешанные кластерные архитектуры, которые одновременно являются как системами высокой готовности, так и высокоскоростными кластерными архитектурами, в которых прикладные задачи распределяются по узлам системы. Наличие отказоустойчивого комплекса, увеличение быстродействия которого осуществляется путем добавления нового узла, считается самым оптимальным решением при построении вычислительной системы. Но сама схема построения таких смешанных кластерных архитектур приводит к необходимости объединения большого количества дорогих компонент для обеспечения высокого быстродействия и резервирования одновременно. И так как в High Performance кластерной системе наиболее дорогим компонентом является система высокоскоростных коммуникаций, ее дублирование приведет к значительным финансовым затратам. Следует отметить, что системы высокой готовности часто используются для OLTP задач, которые оптимально функционируют на симметричных мультипроцессорных системах. Реализации таких кластерных систем часто ограничиваются 2-х узловыми вариантами, ориентированными в первую очередь на обеспечение высокой готовности. Но в последнее время использование недорогих систем количеством более двух в качестве компонент для построения смешанных HA/HP кластерных систем становится популярным решением.

Что подтверждает, в частности, информация агентства The Register, опубликованная на его страничке:

"Председатель корпорации Oracle объявил о том, что в ближайшее время три Unіх сервера, на которых работает основная масса бизнес-приложений компании, будут заменены на блок серверов на базе процессоров Іntеl под управлением ОС Lіnuх. Ларри Эллисон настаивает на том, что введение поддержки кластеров при работе с приложениями и базами данных снижает затраты и повышает отказоустойчивость."

Средства реализации High Performance кластеров

Самыми популярными сегодня коммуникационными технологиями для построения суперкомпьютеров на базе кластерных архитектур являются:

Myrinet, Virtual Interface Architecture (cLAN компании Giganet — одна из первых коммерческих аппаратных реализаций), SCI (Scalable Coherent Interface), QsNet (Quadrics Supercomputers World), Memory Channel (разработка Compaq Computer и Encore Computer Corp), а также хорошо всем известные Fast Ethertnet и Gigabit Ethernet.

Рисунок 9. Время передачи пакета нулевой длинны

Эти диаграммы (Рис. 8 и 9) дают возможность увидеть быстродействие аппаратных реализаций разных технологий, но следует помнить, что на реальных задачах и при использовании разнообразных аппаратных платформ параметры задержки и скорости передачи данных получаются на 20-40%, а иногда на все 100% хуже, чем максимально возможные.

Например, при использовании библиотек MPI для коммуникационных карточек cLAN и Intel Based серверов с шиной PCI, реальная пропускная способность канала составляет 80-100 MByte/sec, задержка — около 20 мксек.

Одной из проблем, которые возникают при использовании скоростных интерфейсов, например, таких как SCI является то, что архитектура PCI не подходит для работы с высокоскоростными устройствами такого типа. Но если перепроектировать PCI Bridge с ориентацией на одно устройство передачи данных, то эта проблема решается. Такие реализации имеют место в решениях некоторых производителей, например, компании SUN Microsystems.

Таким образом, при проектировании высокоскоростных кластерных систем и расчета их быстродействия, следует учитывать потери быстродействия, связанные с обработкой и передачей данных в узлах кластера.

Таблица 1. Сравнение высокоскоростных коммуникационных интерфейсов

^* аппаратура SCI (и программное обеспечение поддержки) допускает построение так называемых MASH топологий без использования коммутаторов

^** нет данных

Одной интересной особенностью коммуникационных интерфейсов, которые обеспечивают низкие задержки, является то, что на их основе можно строить системы с архитектурой NUMA, а также системы, которые на уровне программного обеспечения могут моделировать многопроцессорные SMP системы. Преимуществом такой системы является то, что вы можете использовать стандартные операционные системы и программное обеспечение, ориентированное на использование в SMP решениях, но в связи с высокой, в несколько раз выше по сравнению с SMP задержкой междупроцессорного взаимодействия, быстродействие такой системы будет малопрогнозируемо.

Средства распараллеливания

Существует несколько разных подходов к программированию параллельных вычислительных систем:

• на стандартных широко распространенных языках программирования с использованием коммуникационных библиотек и интерфейсов для организации межпроцессорного взаимодействия (PVM, MPI, HPVM, MPL, OpenMP, ShMem)
• использование специализированных языков параллельного программирования и параллельных расширений (параллельные реализации Fortran и C/C++, ADA, Modula-3)
• использование средств автоматического и полуавтоматического распараллеливания последовательных программ (BERT 77, FORGE, KAP, PIPS, VAST)
• программирование на стандартных языках с использованием параллельных процедур из специализированных библиотек, которые ориентированы на решение задач в конкретных областях, например: линейной алгебры, методов Монте-Карло, генетических алгоритмов, обработки изображений, молекулярной химии, и т.п. (ATLAS, DOUG, GALOPPS, NAMD, ScaLAPACK).

Существует также немало инструментальных средств, которые упрощают проектирование параллельных программ. Например:

• CODE — Графическая система для создания параллельных программ. Параллельная программа изображается в виде графа, вершины которого есть последовательные части программы. Для передачи сообщений используются PVM и MPI библиотеки.
• TRAPPER — Коммерческий продукт немецкой компании Genias. Графическая среда программирования, которая содержит компоненты построения параллельного программного обеспечения.

По опыту пользователей высокоскоростных кластерных систем, наиболее эффективно работают программы, специально написанные с учетом необходимости межпроцессорного взаимодействия. И даже несмотря на то, что программировать на пакетах, которые используют shared memory interface или средства автоматического распараллеливания, значительно удобней, больше всего распространены сегодня библиотеки MPI и PVM.

Учитывая массовою популярность MPI (The Message Passing Interface), хочется немного о нём рассказать.

"Интерфейс передачи сообщений" — это стандарт, который используется для построения параллельных программ и использует модель обмена сообщениями. Существуют реализации MPI для языка C/C++ и Fortran как в бесплатных, так и коммерческих вариантах для большинства распространенных суперкомпьютерных платформ, в том числе High Performance кластерных систем, построенных на узлах с ОС Unix, Linux и Windows. За стандартизацию MPI отвечает MPI Forum (http://www.mpi-forum.org). В новой версии стандарта 2.0 описано большое число новых интересных механизмов и процедур для организации функционирования параллельных программ: динамическое управление процессами, односторонние коммуникации (Put/Get), параллельные I/O. Но к сожалению, пока нет полных готовых реализаций этой версии стандарта, хотя часть из нововведений уже активно используется.

Для оценки функциональности MPI, хочу представить вашему вниманию график зависимости времени вычисления задачи решения систем линейных уравнений в зависимости от количества задействованных процессоров в кластере. Кластер построен на процессорах Intel и системе межузловых соединений SCI (Scalable Coherent Interface). Естественно, задача частная, и не надо понимать полученные результаты как общую модель прогнозирования быстродействия желаемой системы.

На графике отображены две кривые, синяя — линейное ускорение и красная — полученное в результате эксперимента. То есть, в результате использования каждой новой ноды мы получаем ускорение выше, чем линейное. Автор эксперимента утверждает, что такие результаты получаются из-за более эффективного использования кэш памяти, что вполне логично и объяснимо. Если у кого возникнут мысли и идеи по этому поводу, буду благодарен, если вы ими поделитесь (мой e-mail: [email protected]).

Средства реализации High Availability кластеров

High Availability кластеры можно распределить на:

• Shared Nothing Architecture (архитектура без разделения ресурсов)
• Shared Disk Architecture (архитектура с общими дисками)

Архитектура без распределения ресурсов не использует общей системы хранения данных. При ее использовании каждый узел имеет свои дисковые накопители, которые не используются совместно узлами кластерной системы. Фактически, на аппаратном уровне разделяются только коммуникационные каналы.

Архитектура с общими дисками классически используется для построения кластерных систем высокой готовности, ориентированных на обработку больших объемов данных. Такая система состоит из общей системы хранения данных и узлов кластера, которые распределяют доступ к общим данным. При высокой мощности системы хранения данных, при работе с задачами, ориентированными на их обработку, архитектура с общими дисками является более эффективной. В этом случае не нужно держать несколько копий данных и в то же время, при выходе из строя узла, задачи могут быть мгновенно доступны для других узлов.

В случае, если в задаче удается логически разделить данные для того, чтобы запрос из некого подмножества запросов можно было бы обработать с использованиям части данных, то система без разделения ресурсов может оказаться более эффективным решением.

На мой взгяд интересной является возможность построения гетерогенных кластерных систем. Например, программное обеспечение Tivoli Sanergy разрешает строить системы, в которых возможно разделение доступа к данным между гетерогенными узлами. Такое решение может быть очень полезным в системах коллективной обработки видеоинформации или других данных в организации, где на одной платформе просто не существует требуемого спектра решений или же уже существует сформированный парк аппаратных и программных ресурсов, которые нужно использовать более эффективно.

Самыми популярными коммерческими системами сегодня являются двухузловые отказоустойчивые кластеры. Различают Активный-Активный (Active-Active) и Активный-Пассивный (Active-Passive) модели реализации отказоустойчивых кластерных систем в отношении распределения програмных ресурсов.

В модели Активный-Активный мы практически получаем вместе с отказоустойчивым решением — решение высокоскоростное, так как одна задача работает на нескольких серверах одновременно. Такой вариант реализован, например, в Oracle Prallel Server, MS SQL 2000, IBM DB2. То есть, реализация такой модели возможна лишь в случае написания прикладного программного обеспечения с ориентацией на функционирование в кластерном режиме (исключение составляют кластерные системы с разделением оперативной памяти). В модели Активный-Активный возможно масштабирование скорости работы задачи путем добавления нового узла, если конечно программным обеспечением поддерживается необходимое количество нод. Например, Oracle Parallel Server 8.0.5 поддерживает работу на кластере от 2-х до 6-ти узлов.

Очень часто пользователи встречаются с такой проблемой, когда нужно обеспечить отказоустойчивое функционирование уже готовых программных решений. К сожалению, модель Активный-Активный в таком случае не работает. Для подобных ситуаций используется модель, в которой обеспечивается миграция задач, выполнявшихся на узле, вышедшем из строя, на другие узлы. Таким образом, мы получаем реализацию Активный-Пассивный.

Учитывая то, что во многих случаях мы можем разбить одну задачу на несколько распределением зон ответственности, а также то, что в общем случае на предприятии нужно выполнять много разных задач, реализуется так называемая модель кластерной системы псевдо Активный-Активный.

Если вам нужно обеспечить отказоустойчивую работу нескольких программных ресурсов, то достаточно добавить в систему новый узел и запустить на кластере нужные вам задачи, которые в случае отказа этого узла перейдут на выполнение на другом узле. Такая модель реализована в программном обеспечении ReliantHA для ОС Caldera OpenUnix и Unixware, которое поддерживает кластеризацию от 2-х к 4-х узлам, в MSCS (Microsoft Cluster Service) и Linux Failover Cluster модели.

Система коммуникаций в отказоустойчивых кластерных системах может быть построена на таком же оборудовании, как и в высокоскоростных кластерах. Но в случае реализации архитектуры с разделяемым дисковым накопителем, возникает необходимость обеспечения высокоскоростного доступа к общей системе хранения данных. Эта задача имеет сегодня множество вариантов решений.

Если используется простейшая 2-х узловая модель, то доступ к дискам может быть построен через их прямое подключение к общей SCSI шине,

или с помощью автономной дисковой подсистемы со встроенным контролером SCSI to SCSI. В последнем случае диски подключаются ко внутренним независимым каналам дисковой подсистемы.

Вариант с использованием SCSI to SCSI дисковой подсистемы является более масштабируемым, функциональным и отказоустойчивым. Несмотря на то, что появляется еще один мостик между узлом и дисками, скорость такой системы обычно выше, так как мы получаем коммутируемый доступ к накопителю (ситуация похожа на использование концентратора и коммутатора в локальной сети). В отличие от варианта с разделением доступа к дискам на общей SCSI шине, отдельная независимая дисковая подсистема имеет также удобную возможность построения систем без точек отказа и возможность построения многоузловых конфигураций.

В последнее время начинает приобретать популярность новый последовательный интерфейс для протокола SCSI — FC (Fibre Channel). На базе FC строятся так называемые сети хранения данных — SAN (Storage Area Network).

К основным преимуществам Fibre Channel можно отнести практически все его особенности.

• Высокие скорости передачи данных
• Протоколо-независимость (0-3 уровни)
• Большие расстояния между точками
• Низкие задержки при передаче коротких пакетов
• Высокая надежность передачи данных
• Практически неограниченное масштабирование
• Многоточечные топологии

Эти замечательные особенности Fibre Channel получил благодоря тому, что в его проектировании принимали участие специалисты в областях как канальных, так и сетевых интерфейсов, причем им удалось объединить в одном FC интерфейсе положительные черты обоих.

Для понимания значимости FC я приведу сравнительную табличку FC и параллельного SCSI интерфейса.

Таблица 2. Таблица сравнительных характеристик FC и параллельного SCSI интерфейса

Сегодня FC устройства стоят дороже, чем устройства с параллельным SCSI, но разница в цене в последнее время резко уменьшается. Диски и системы хранения данных уже практически равны по стоимости с параллельными SCSI реализациями, значительную разницу в стоимости обеспечивают только FC адаптеры.

Существует еще один очень интересный вариант реализации кластерной архитектуры — кластерная система с разделяемой памятью (в т.ч. оперативной) Shared Memory Cluster. Фактически этот кластер может функционировать как в модели умеренно связанной многопроцессорной системы, так и тесно связанной. Такая система, как уже говорилось в начале статьи, называется NUMA.

Кластер с разделяемой памятью использует программное обеспечение (кластерные сервисы), которое обеспечивает один образ системы (single system image), даже если кластер построен как архитектура без распределения ресурсов, которым его соответственно видит операционная система.

В завершение рассказа о кластерных системах высокой готовности, хочу привести статистику по простоям различных систем.

Приведены усредненные данные, а также данные, взятые из рекламных материалов одной из компаний производителей, поэтому их нужно воспринимать с некоторой долей критичности. Однако общая картина, которую они описывают, является вполне корректной.

Как видим, кластерные системы высокой готовности не являются панацеей при минимизации простоев. Если простой системы является чрезвычайно критичным, тогда следует использовать системы класса Fault Tolerant или Continuous Availability, системы такого класса имеют коэффициент готовности на порядок выше, чем системы класса High Availability.

Примеры проверенных решений

Так как успешность любой технологии доказывается примерами ее практического использования, я хочу показать конкретные варианты реализации нескольких наиболее важных, на мой взгляд, кластерных решений.

Сперва о высокоскоростных кластерах.

Одним из наиболее полезных, на мой взгляд, примеров является то, что первые места, да и вообще большинство мест 18-й редакции списка самых мощных суперкомпьютеров мира занимают системы IBM SP2 и Compaq AlphaServer SC. Обе системы являются массивно-параллельными вычислительными системами (MPP), которые структурно аналогичны High Performance кластерным решениям.

В IBM SP2 в качестве узлов используются машины RS/6000, соединенные коммутатором SP Switch3. Пропускная способность коммутатора — 500MB/s в одном направлении, величина задержки — 2.5 мксек.

Compaq AlphaServer SC. Узлы — 4-х процессорные системы типа Compaq AlphaServer ES45, соединенные с помощью коммуникационного интерфейса QsNet, параметры которого упоминались выше.

В том же суперкомпьютерном списке находятся машины, построенные на обычных Intel платформах и коммутаторах SCI и Myrinet и даже обычном Fast и Gigabit Ethernet. Причем как в первых двух вариантах, так и на высокоскоростных кластерных системах, построенных на рядовом оборудовании, для програмирования используются пакеты MPI.

Ну и напоследок хочется привести красивый пример масштабируемой кластерной системы высокой готовности. Аппаратная модель кластерного решения для отказоустойчивой высокоскоростной обработки базы данных IBM DB/2.

На этом все. Если у кого возникнут вопросы, советы или желание пообщаться — милости просим. Мои координаты вы найдете в конце статьи.

Литература

• "Sizing Up Parallel Architectures", — Greg Pfister, старший технический специалист компании IBM.
• "Возможна ли отказоустойчивость для Windows?", — Наталья Пирогова, материалы издательства «Открытые системы».
• "Использование систем распараллеливания задач в слабосвязанном кластере", — М.Н.Иванов.
• "Отказоустойчивые компьютеры компании Stratus", — Виктор Шнитман, материалы издательства «Открытые системы».
• "Современные высокопроизводительные компьютеры", — В. Шнитман, информационно-аналитические материалы Центра Информационных Технологий.
• "Шаг к сетям хранения данных", информационно-аналитические материалы компании ЮСТАР.
• "Эволюция архитектуры виртуального интерфейса", — Торстен фон Айкен, Вернер Фогельс, материалы издательства «Открытые системы».
• Материалы Лаборатории Параллельных Информационных Технологий "НИВЦ МГУ".
• Материалы Cluster Computing Info Centre.
• Материалы SCI Europe.
• Материалы VI Forum (Virtual Architecture Developers Forum).
• Материалы компании Caldera.
• Материалы компании Dolphinics.
• Материалы компании Emulex.
• Материалы компании KAI Software, a Division of Intel Americas, Inc. (KAI).
• Материалы компании Myricom, Inc.
• Материалы компании Oracle.
• Рекомендации технической поддержки корпорации Intel.

Кластер серверов - что это такое серверный кластер

Кластер серверов (Server Cluster) — это определенное количество серверов, объединенных в группу и образующих единый ресурс. Данное решение позволяет существенно увеличить надежность и производительность системы.

Сгруппированные в локальную сеть несколько компьютеров можно назвать аппаратным кластером, однако, суть данного объединения — повышение стабильности и работоспособности системы за счет единого программного обеспечения под управлением модуля (Cluster Manager).

Общая логика кластера серверов создается на уровне программных протоколов и дает возможность:

• управлять произвольным количеством аппаратных средств с помощью одного программного модуля;
• добавлять и усовершенствовать программные и аппаратные ресурсы, без остановки системы и масштабных архитектурных преобразований;
• обеспечивать бесперебойную работу системы, при выходе из строя одного или нескольких серверов;
• синхронизировать данные между серверами — единицами кластера;
• эффективно распределять клиентские запросы по серверам;
• использовать общую базу данных кластера.

По сути, главной задачей кластера серверов, является исключение простоя системы. В идеале, любой инцидент, связанный с внешним вмешательством или внутренним сбоем в работе ресурса, должен оставаться незамеченным для пользователя.

При проектировании систем с участием серверного кластера необходимо учитывать возможности клиентского программного обеспечения по идентификации кластера и совместной работе с командным модулем (Cluster Manager). В противном случае вероятна ситуация, при которой попытка программы-клиента с помощью модуля получить доступ к данным ресурса через другие сервера может получить отказ (конкретные механизмы в данном случае зависят от возможностей и настроек кластера и клиентского оборудования).

Принято считать, что кластеры серверов делятся на две модели:

• Первая — это использование единого массива хранения информации, что дает возможность более быстрого переподключения при сбое. Однако в случае с объемной базой данных и большим количеством аппаратных единиц в системе, возможно падение производительности.
• Вторая — это модель, при которой серверы независимы, как и их периферия. В случае отказа перераспределение происходит между серверами. Здесь ситуация обратная — трафик в системе более свободен, однако, усложняется и ограничивается пользование общей базой данных.

В обоих случаях, существуют определенные и вполне эффективные инструменты для решения проблем, поэтому выбор конкретной модели кластера неограничен ничем, кроме требований к архитектуре системы.

Смотрите также: Сервер под «1С» в аренду

кластеров в компьютерной организации - GeeksforGeeks

Кластеры в компьютерной организации

Кластер - это набор слабо или тесно связанных компьютеров, работающих вместе как единый вычислительный ресурс, который может создавать иллюзию того, что они одна машина. В компьютерных кластерах каждый узел настроен на выполнение одной и той же задачи, управляемой и производимой программным обеспечением.

Компоненты кластера обычно подключаются друг к другу с использованием быстрых сетей, при этом на каждом узле работает собственный экземпляр операционной системы.В большинстве случаев все узлы используют одно и то же оборудование и одну и ту же операционную систему, хотя в некоторых настройках может использоваться другое оборудование или другая операционная система.

Типы кластеров -
Компьютерные кластеры скомпонованы вместе таким образом, чтобы поддерживать различные цели от бизнес-потребностей общего назначения, таких как поддержка веб-сервисов, до научных расчетов с интенсивными вычислениями. В основном есть три типа кластеров, это:

• Кластер балансировки нагрузки - Кластеру требуется эффективная возможность балансировки нагрузки между доступными компьютерами.В этом случае узлы кластера разделяют вычислительную нагрузку, чтобы повысить общую производительность. Например, высокопроизводительный кластер, используемый для научных расчетов, будет уравновешивать нагрузку от различных алгоритмов кластера веб-серверов, который может просто использовать циклический метод, назначая каждый новый запрос другому узлу. на фермах веб-серверов (веб-фермы).
• Отказоустойчивые кластеры - Функция переключения приложений и ресурсов данных с отказавшей системы на альтернативную систему в кластере называется отказоустойчивым.Эти типы используются для кластеризации базы данных критически важных миссий, почтовых, файловых серверов и серверов приложений
.
• Кластеры высокой доступности - Они также известны как «кластеры высокой доступности». Они предлагают высокую вероятность того, что все ресурсы будут в эксплуатации. Если происходит сбой, например, система выходит из строя или дисковый том потерян, то выполняемые запросы теряются. Любой потерянный запрос при повторной попытке будет обработан другим компьютером в кластере. Этот тип кластера широко используется на веб-серверах, серверах электронной почты, новостей или FTP.

Льготы -

• Абсолютная масштабируемость - можно создавать большие кластеры, превосходящие по мощности даже самые большие автономные машины. В кластере могут быть десятки из многопроцессорных машин.
• Дополнительная масштабируемость - Кластер настроен таким образом, чтобы можно было добавлять новые системы в кластер небольшими приращениями. Кластеры имеют возможность добавлять системы по горизонтали. Это означает, что к кластерам можно добавить больше компьютеров, чтобы улучшить его производительность, избыточность и отказоустойчивость (способность системы продолжать работу при неисправности узла).
• Высокая доступность - Поскольку мы знаем, что каждый узел в кластере является автономным компьютером, отказ одного узла не означает потерю обслуживания. Один узел может быть отключен для обслуживания, а остальные кластеры принимают на себя нагрузку этого отдельного узла.
• Предпочтительное соотношение цена / производительность - Кластеры обычно создаются для повышения производительности и доступности по сравнению с отдельными компьютерами, при этом обычно они намного более рентабельны, чем отдельные компьютеры сопоставимой скорости или доступности.

Вниманию читателя! Не переставай учиться сейчас. Ознакомьтесь со всеми важными концепциями теории CS для собеседований SDE с помощью курса CS Theory Course по доступной для студентов цене и подготовьтесь к работе в отрасли.

Что такое кластерные вычисления? - Определение

• Перейти к основному содержанию
• Перейти к основной боковой панели
• Перейти к дополнительной боковой панели
• Перейти к нижнему колонтитулу

Компьютерные заметки

Библиотека

• • Компьютерная база данных
  43 Компьютерная память 43 Учебное пособие
  • Операционная система
  • Компьютерные сети
  • Программирование на C
  • Программирование на C ++
  • Программирование на Java
  • Программирование на C #
  • Учебное пособие по SQL
  • Management Compiler
  • Management Compiler
  • Management Compiler
  Design
  • Style Sheet
  • JavaScript Tutorial
  • Html Tutorial
  • Wordpress Tutorial
  • Python Tutorial
  • PHP Tutorial
  • JSP Tutorial
  • Angular Tutorial 4
  • Структуры данных
  • Учебное пособие по электронной коммерции
  • Учебное пособие по Visual Basic
  • Учебное пособие по Structs2
  • Цифровая электроника
  • Интернет-термины
  • Учебное пособие по сервлетам

.

Cluster (вычисления) - Простая английская Википедия, бесплатная энциклопедия

Кластер компьютеров в НАСА

В вычислениях кластер состоит из множества отдельных компьютеров, которые работают вместе для решения поставленной задачи. Кластеры могут иметь разные формы: это могут быть целые компьютеры, работающие вместе, или только процессоры. Эти процессоры могут обмениваться данными по быстрой сети, но, например, они используют одни и те же жесткие диски. В зависимости от проблемы ее решение с помощью кластера более дешевых компонентов может быть менее затратным, чем инвестиции в более качественное оборудование, которое стоит дороже.

Грид-вычисления отличаются тем, что отдельные компьютеры работают над отдельными задачами, которые являются частью большой проблемы. Обычно они больше отличаются друг от друга и географически дальше друг от друга, чем кластерные компьютеры.

.

Определение, типы, преимущества и приложения

Ранние вычислительные возможности были хороши для решения простых задач, но у них нет возможности синхронизировать современные технологии и достижения. Сценарии ценообразования, низкая производительность, надежность и некоторые другие причины, по которым невозможно получить доступ для управления огромными данными, а предыдущие вычислительные системы не могут решить сегодняшние ИТ-проблемы. В рамках этого ИТ-отделы внедрили новаторский подход к устранению ограничений единой системы - «кластерные вычисления».Преимущества этой технологии позволили многим организациям внедрить эту технологию в свою деятельность. И сегодня важность этого заставила нас обсудить эти концепции. Давайте разберемся с этой технологией.

Что такое кластерные вычисления?

Кластерные вычисления относятся к тому, что многие компьютеры подключены к сети, и они работают как единое целое. Каждый компьютер, подключенный к сети, называется узлом. Кластерные вычисления предлагают решения для решения сложных проблем, обеспечивая более высокую скорость вычислений и улучшенную целостность данных.Подключенные компьютеры выполняют операции все вместе, создавая впечатление единой системы (виртуальной машины). Этот процесс называется прозрачностью системы. Эта сетевая технология, основанная на принципе распределенных систем, выполняет свои операции. И здесь LAN - это блок подключения. Этот процесс определяется как прозрачность системы. Кластерные вычисления имеют следующие особенности:

• Все подключенные компьютеры относятся к одному типу машин
• Они тесно связаны через выделенные сетевые соединения
• Все компьютеры имеют общий домашний каталог.

Аппаратная конфигурация кластеров различается в зависимости от выбранных сетевых технологий. Кластер подразделяется на открытые и закрытые кластеры, в которых для открытых кластеров всем узлам требуются IP-адреса, и доступ к ним осуществляется только через Интернет или Интернет. Этот тип кластеризации вызывает повышенные проблемы безопасности. А в закрытой кластеризации узлы скрыты за узлом шлюза и обеспечивают повышенную защиту.

Операция кластерных вычислений

Типы кластерных вычислений

Поскольку кластеры широко используются в соответствии со сложностью информации, для управления контентом и ожидаемой скоростью работы.Многие приложения, которые предполагают высокую доступность без сокращения времени простоя, используют сценарии кластерных вычислений. Типы кластерных вычислений:

• Балансировка нагрузки кластера
• Кластеры высокой доступности
• Высокопроизводительные кластеры

Балансировка нагрузки кластера

Кластеры балансировки нагрузки используются в ситуациях расширенного использования сети и Интернета, и эти кластеры выступают в качестве основного фактора.Этот тип метода кластеризации предлагает преимущества увеличения пропускной способности сети и повышения производительности. Здесь все узлы остаются связанными со всем экземпляром, где все объекты узла полностью внимательны к запросам, которые присутствуют в сети. Все узлы не будут работать в одном процессе, тогда как они переадресовывают запросы индивидуально по мере их поступления в зависимости от алгоритма планировщика. Другим важным элементом метода балансировки нагрузки является масштабируемость, когда эта функция достигается, когда каждый сервер полностью задействован.

Наряду с серверами в балансировке нагрузки, которые обладают аналогичной способностью реагировать на запросы клиентов, возникают многие проблемы, поскольку многие запросы могут быть адресованы этими серверами, которые могут вызывать путаницу. Таким образом, балансировка нагрузки создает баланс для пользователей и серверов. Даже балансировка нагрузки распределяет входящие запросы или трафик для своих ресурсов от подключенных компьютеров, которые работают с аналогичными программами и разрабатываются как кластер. Когда происходит сбой узла, запросы снова распределяются по доступным узлам.Этот подход реализован на веб-серверах Linux.

Кластеры высокой доступности

Их также называют отказоустойчивыми кластерами. Компьютеры так часто сталкиваются с проблемами сбоя. Таким образом, высокая доступность соответствует растущей зависимости компьютеров, поскольку компьютеры несут решающую ответственность во многих организациях и приложениях. При таком подходе резервные компьютерные системы используются в случае неисправности любого компонента. Таким образом, при единичной неисправности система кажется полностью надежной, поскольку в сети есть избыточные элементы кластера.За счет реализации кластеров высокой доступности системы могут иметь расширенные функциональные возможности и предоставлять согласованные вычислительные услуги, такие как сложные базы данных, деловые операции, клиентские услуги, такие как электронные веб-сайты и распространение сетевых файлов.

Высокопроизводительные кластеры

Этот сетевой подход использует суперкомпьютеры для решения сложных вычислительных задач. Наряду с управлением приложениями, зависящими от ввода-вывода, такими как веб-сервисы, высокопроизводительные кластеры используются в вычислительных моделях климатических условий и поломок в автомобиле.Компьютерные кластеры с более тесным подключением разработаны для работы, которая может рассматриваться как «суперкомпьютеры».

Высокая доступность + балансировка нагрузки

Это интегрированное решение обеспечивает повышенную производительность без сложных сбоев. Комбинированная производительность двух методов кластеризации обеспечивает идеальное решение для сетевых приложений, а также для интернет-провайдеров. Некоторые из особенностей этого интегрированного метода следующие:

• Повышенные уровни качества обслуживания для обычных сетевых операций
• Предложение широко масштабируемого архитектурного контекста
• Прозрачная ассимиляция для автономных функций и некластеризация вместе в едином виртуальном система

Архитектура кластерных вычислений

• Кластер - это разновидность сети с параллельной / распределенной обработкой, которая спроектирована с набором взаимосвязанных отдельных компьютеров и компьютерных систем, работающих вместе как единая автономная система.
• Узел - Либо однопроцессорная, либо многопроцессорная сеть, имеющая память, функции ввода и вывода и операционную систему.
• Как правило, 2 или более узла подключаются к одной линии, или каждый узел может быть подключен индивидуально через соединение LAN.

Архитектура кластерных вычислений

Преимущества кластерных вычислений

Реализация кластерных вычислений в приложениях дает множество преимуществ. Некоторые из них, которые следует обсудить, следующие:

Экономическая эффективность - Даже мэйнфреймы кажутся чрезвычайно стабильными, кластерные вычисления более реализуются из-за их рентабельности и экономичности.Кроме того, эти системы обеспечивают более высокую производительность, чем у компьютерных сетей мэйнфреймов.

P скорость обработки - вычислительные системы кластера предлагают ту же скорость обработки, что и мэйнфреймы, и скорость также равна скорости суперкомпьютеров.

Расширенная доступность ресурсов - Компьютеры часто выходят из строя, поэтому для устранения этого сбоя доступны кластерные компьютеры с высокой доступностью. Таким образом, когда один узел выходит из строя, другие узлы будут активными и будут функционировать как прокси для отказавшего узла.Это гарантирует повышенную доступность.

Расширяемость - Следующим важным преимуществом кластерных вычислений является улучшенная масштабируемость и расширяемость. По мере того, как они создают возможность для объединения нескольких дополнительных ресурсов или сетей в преобладающую компьютерную систему.

Гибкость - кластерные вычисления можно модернизировать до высшей спецификации или расширить за счет добавления дополнительных узлов (компьютерных систем).

Приложения

Существует множество приложений кластерных вычислений , Немногие из них:

• Кластерные вычисления могут быть реализованы в погодном моделировании
• Стенды для поддержки поломки в автомобиле и ядерного моделирования
• Используется при обработке изображений и в области электромагнетизма
• Идеально подходит для использования в приложениях астрофизики, аэродинамики и интеллектуального анализа данных.
• Помогает решать сложные вычислительные задачи.
• Обеспечивает гибкость для распределения рабочей нагрузки в виде небольших порций данных, что называется сеточными вычислениями.
• Кластерные вычисления могут работать во многих веб-приложениях, таких как безопасность, поисковые системы, серверы баз данных, веб-серверы, прокси и электронная почта.
• Есть приложения для спасения жизни с помощью этого подхода, например, они могут прогнозировать возникновение землетрясений или торнадо.

Различия между кластерными и сетевыми вычислениями

Поскольку мы уже обсуждали концепции кластерных вычислений, теперь у нас будет представление о том, что такое сеточные вычисления?

Грид-вычисления можно описать как сеть, состоящую из разнородных или однородных компьютерных систем, работающих вместе на больших расстояниях для решения задачи, которую было бы довольно сложно выполнить для одного компьютера.

Даже кластерные и сеточные вычисления кажутся почти одинаковыми, между ними существует много различий в производительности, работе и конструкции. Давайте проясним различия между этими вычислительными технологиями.

Архитектура сетевых вычислений

Различия между кластерными вычислениями и сеточными вычислениями включают следующее.

Кластерные вычисления	Грид-вычисления
Подключенные компьютеры должны быть разнородными, что означает, что они должны иметь аналогичные ОС и оборудование.	Подключенные компьютеры могут иметь разные ОС и оборудование. Они могут быть как неоднородными, так и однородными.
Все узлы в этом случае обязуются выполнять аналогичную операцию, и никакие другие операции не могут быть выполнены	Узлы здесь выделяют свои неиспользуемые ресурсы обработки для вычислительной сети grid.
Каждый узел находится так близко к следующему	Узлы могут быть размещены на большом расстоянии друг от друга
Все узлы в сети соединены через высокоскоростное соединение LAN.	Все узлы в сети связаны либо через низкоскоростные шины, либо через Интернет.
Они подключены в формате централизованной сетевой топологии	Узлы подключены в формате распределенной или децентрализованной сетевой топологии
Здесь планирование управляется центральным сервером	Он также может есть сервер, но каждый компьютер работает по-своему.
Вся система управляется централизованным администратором ресурсов	Каждый из компьютеров обрабатывает свои ресурсы независимо
Вся система работает как единое целое	Каждый компьютер является автономным, и каждый может выбрать его в любое время. Потребность в кластерных вычислениях Лицо может быть у каждого d ситуация с низкоскоростными услугами и критичностью контента.Кластерные вычисления позволяют быстрее решить проблему критичности контента и сервисов обработки. Поскольку провайдеры Интернет-услуг стремятся повысить доступность в рамках масштабируемого подхода, кластерные вычисления обеспечат это. И даже эта технология остро нуждается в киноиндустрии, поскольку она требуется для рендеринга графики и мультфильмов с повышенным качеством. Реализация кластера с помощью метода Беовульфа также решает требования статистики, гидродинамики, генетического анализа, астрофизики, экономики, нейронных сетей, инженерии и финансов.Многие организации и ИТ-гиганты внедряют эту технологию для увеличения масштабируемости, скорости обработки, доступности и управления ресурсами по экономичным ценам. Кластерные вычисления предоставляют относительно недорогие, нетрадиционные для больших серверов или мэйнфреймов компьютерные решения. Модернизированные достижения как в аппаратных, так и в программных технологиях, вероятно, позволят кластерным вычислениям стать полностью прогрессивными. Многие предсказывают, что будущее кластерных вычислений также приобретет все большее значение.Узнать больше о подробных концепциях относительно того, что такое кластерные вычисления и как эта технология реализована? FAQ’s 1. Что выполняет кластерный компьютер? Они в основном используются для вычислительных целей. Также управляет веб-службами и базами данных. Они работают при авариях автомобилей и климатических работах. 2. Для чего используется кластер Беовульф? Это своего рода мультикомпьютерная архитектура, которая может быть реализована для параллельных вычислений.Он содержит сервер, компьютерную систему или несколько узлов, подключенных через Ethernet. 3. Каковы основные предпосылки кластеризации? • Для управления масштабируемостью • Обработка различных типов атрибутов • Должна иметь возможность управлять выбросами и шумом • Знание кластеров произвольной формы 4. Как измеряется качество кластера? Качество кластера измеряется его производительностью, способностью обнаруживать скрытые закономерности и мерой сходства, используемой методологией. . Что такое кластерные вычисления? (с иллюстрациями) Кластерные вычисления - это форма вычислений, в которой группа компьютеров связана вместе, так что они могут действовать как единое целое. Есть ряд причин, по которым люди используют кластерные компьютеры для вычислительных задач, начиная от неспособности позволить себе один компьютер с вычислительными возможностями кластера, до желания обеспечить постоянную доступность вычислительной системы. Точная дата разработки этого метода неизвестна, и существуют конкурирующие заявки на получение прав на изобретение, при этом некоторые люди предполагают, что отдельные пользователи, вероятно, разработали его независимо для удовлетворения своих вычислительных потребностей задолго до того, как метод был использован в промышленных условиях. Кластерные вычисления - это форма вычислений, в которой группа компьютеров связана вместе, чтобы они могли работать как единое целое. Одна из распространенных причин использования кластерных вычислений - это желание создать избыточность в компьютерной сети, чтобы гарантировать, что она всегда будет доступна и не откажет.Распространенным применением этой формы вычислений является хостинг веб-сайтов, когда кластер распределяет нагрузку посетителей по массиву машин, чтобы можно было разместить множество посетителей. Этот метод также используется для игровых серверов, используемых большими группами, чтобы избежать задержек и проблем со входом в систему. Балансировка нагрузки используется для управления большим входящим потоком входящих запросов в сети. Кластерные вычисления с высокой доступностью (HA) часто используются таким образом для создания резервной сети, которая будет доступна пользователям в любое время, с защитой от сбоев в случае выхода из строя частей кластера. Кластеры балансировки нагрузки предназначены для обработки большой нагрузки входящих запросов, координируя запросы таким образом, чтобы максимально повысить эффективность и удобство использования. Еще одно приложение используется в больших проектах, требующих высокопроизводительных вычислений. Некоторые вычисления чрезвычайно сложны и требуют использования нескольких компьютеров, которые могут быстро обмениваться данными друг с другом, поскольку изменения в одном из них могут изменить всю систему.Например, моделирование, используемое для проверки теорий в метеорологии, часто выполняется на вычислительных кластерах. Без кластера расчет может быть невозможен или его обработка может занять очень много времени. Кластерные вычисления также можно использовать для распределения рабочей нагрузки в виде множества небольших фрагментов данных, метод, известный как сеточные вычисления.В этом случае один компьютер не может справиться со всей работой, но многие маленькие компьютеры могут. В различных проектах @home этот метод используется для распределения рабочей нагрузки по обработке данных по огромной сети, включающей множество домашних компьютеров, которые выполняют работу, когда они простаивают. .Компьютерный кластер - wikiwand Для более быстрой навигации этот iframe предварительно загружает страницу википедии для Компьютерный кластер . Подключено к: {{:: readMoreArticle.title}} Из Википедии, свободной энциклопедии {{bottomLinkPreText}} {{bottomLinkText}} Эта страница основана на статье в Википедии, написанной участники (читать / редактировать). Текст доступен под Лицензия CC BY-SA 4.0; могут применяться дополнительные условия. Изображения, видео и аудио доступны по соответствующим лицензиям. {{current.index + 1}} из {{items.length}} Спасибо за жалобу на это видео! Пожалуйста, помогите нам решить эту ошибку, написав нам по адресу support @ wikiwand.com Сообщите нам, что вы сделали, что вызвало эту ошибку, какой браузер вы используете и установлены ли у вас какие-либо специальные расширения / надстройки. Спасибо! . Смотрите также Как добавить звук на компьютере Как на компьютере открыть вай фай Как удалить дропбокс с компьютера Как провести диагностику компьютера Как поменять сетевую карту на компьютере Как узнать какие программы запускались на компьютере недавно Запуск программы невозможен так как на компьютере отсутствует Как на компьютере отключить автономный режим Компьютер не работает что делать Как использовать свой компьютер для заработка Как выбирать процессор для компьютера Портал Главная страница Связаться с нами Карта сайта XML Компьютер Windows Macintosh Linux Мобильный Windows Phone Android iPhone Телефон Планшет iPad Android Данный ресурс является фан-сайтом браузера Opera и носит исключительно информативный характер. Здесь вы можете ознакомиться с авторскими обзорами данного браузера на разных платформах. Все права на браузер находятся у Opera Software. Копирование материалов с этого сайта разрешено только с письменного разрешения администрации. © My-Opera.ru - скачать Opera на компьютер и телефон бесплатно.