Transcript Аппаратно-программные решения для ценра обработки и анализа данных ИПА РАН Лаборатория астрономического

Аппаратно-программные решения
для ценра обработки и анализа
данных ИПА РАН
Лаборатория астрономического
программирования
Стэмпковский В.Г.
Содержание
•
•
•
•
•
•
•
•
Введение
Аппаратное обеспечение
Программное обеспечение
Технологии VMware, Inc.
Архитектура ЦОАД
Удаленный доступ
Перспективы развития
Вопросы
Введение
• Центр обработки и анализа данных (ЦОАД) предназначен для
решения пяти основных задач лаборатории космической
геодезии и вращения земли:
–
–
–
–
–
обработка РСДБ-наблюдений
обработка ГНСС-наблюдений
обработка ЛЛС-наблюденийи
прогноз ПВЗ
сбор и публикация наблюдений и результатов обработки
• В качестве аппаратной платформы ЦОАД было выбрано
решение Sun Microsystems, Inc. для малого и среднего бизнеса
– Sun Fire X4600 Server
• Цель доклада – представление стратегии эффективного
использование аппаратного и программного обеспечения
ЦОАД
Аппаратное обеспечение
•
•
•
•
•
Состав аппаратных средств ЦОАД
Sun Fire X4600 Server
Sun Storage Tek 2500 Series Array
Отказоустойчивость дисковых подсистем
Конфигурация аппаратных средств ЦОАД
Состав аппаратных средств ЦОАД
• Аппаратное оснащение ЦАОД состоит
сервера обработки данных и набора
рабочих станций
• В свою очередь сервер обработки данных
состоит из двух компонент, способных
работать автономно: собственно
многопроцессорный сервер Sun Fire X4600
Server и дисковый массив Sun Storage Tek
2500 Series Array
Sun Fire X4600 Server
Sun Fire X4600 Server
• Processor 4 x Dual-Core 2.8 GHz
AMD Opteron x64
• Memory 16 GB DDR2 667
• Mass Storage 135 Gb SAS 10000 rpm
• Optical Drive 1 DVD-ROM
• Network 4 x 10/100/1000 Ethernet
• USB, Serial, PCI, PCI-X
• http:///www.sun.com/servers/x64/x4600/index.xml
Sun Storage Tek 2500 Series Array
Sun Storage Tek 2500 Series Array
Отказоустойчивость дисковых
подсистем
• RAID - Redundant Array of Independent Disks (Избыточный
Массив Независимых Дисков).
• В RAID массив объединяются несколько физических дисков, в
результате чего эти диски управляются одним контроллером и
рассматриваются системой как один массив, то есть, как один
диск. В результате увеличивается либо производительность
массива, либо надёжность по сравнению с одним диском, либо
и то и другое.
• При объединении физических дисков в RAID массив, возможны
различные конфигурации построения массива, в зависимости
от того, по каким принципам контроллер будет работать с
каждым диском. Различают несколько уровней RAID массивов:
0,1,2,3,4,5,6,7,10,30,50
Отказоустойчивость дисковых
подсистем
• RAID 0 даёт пользователю наибольшую
производительность, за которую приходится платить
наименьшей надёжностью массива, даже меньшей, чем
надёжность одного диска.
• RAID 1 наоборот увеличивает надёжность, но не даёт
прироста в производительности и объём массива будет
в два раза ниже, чем суммарный объём всех
винчестеров, входящих в его состав.
• RAID 5 может претендовать на роль универсального
способа по надёжности и использованию объёма
входящих в его состав дисков, но использование этого
способа снижает производительность дисковой
подсистемы.
Отказоустойчивость дисковых
подсистем
•
RAID 5 - Этот тип массива распределяет информацию по нескольким физическим дискам, но
при этом учитывает чётность. Индекс чётности хранится на каждом диске, входящем в массив.
Проверка чётности немного снижает производительность RAID 5 массива в целом, но
значительно увеличивает надёжность по сравнению с другими уровнями RAID. Если в массиве
пятого уровня один из дисков выходит из строя, контроллер восстанавливает массив,
используя индексы чётности, читаемые с других физических дисков.
•
Объём массива RAID пятого уровня зависит от числа физических дисков, объединённых в
логические. Объём индекса чётности в RAID 5 равен объёму одного из физических дисков.
Чем больше винчестеров в массиве, тем меньше будет процентное соотношение объёма
индексных файлов по отношению к объёму всего массива. При использовании четырёх
винчестеров, объединённых в RAID 5, объём массива будет равен сумме объёмов трёх из них,
так как на каждом из винчестеров 25% будет занято индексом чётности.
Конфигурация аппаратных средств
ЦОАД
• Экземпляр дискового массива укомплектован 8-ю
жесткими дисками по 300 GB. Один диск находится
в горячем резерве. На 7-ми основных дисках
сконфигурирован RAID 5.
• Для использования доступно ~ 6 x 300 GB.
• При отказе одного из основных дисков
производится автоматическая подмена резервным.
• Все доступное дисковое пространство массива при
загрузке операционой системы сервера
автоматически монтируется как составная часть его
файловой системы
Программное обеспечение
• Сертифицированные операционные
системы для Sun Fire X4600 Server
• Red Hat Enterprise Linux 4
• Средства разработки программ
в стандартной поставке RHEL 4
• Средства разработки программ
Intel Corporation
Сертифицированные операционные
системы для Sun Fire X4600 Server
•
•
•
•
Sun Fire X4600 M2 Server
Sun Solaris OS
Red Hat Enterprise Linux
SUSE Linux Enterprise
Server
• Microsoft Windows Server
• VMware ESX Server
•
•
•
•
Sun Fire X4600 Server
Sun Solaris OS
Red Hat Enterprise Linux
SUSE Linux Enterprise
Server
• Microsoft Windows Server
• VMware ESX Server
Red Hat Enterprise Linux 4
Средства разработки программ
в стандартной поставке RHEL 4
• GCC - GNU Compilers Collection
включает компиляторы для
C, C++, Objective C, Fortran, Java и др.
• http://gcc.gnu.org
• Объектно-ориентированный API –
библиотеки GTK и Qt (GTK+2.0 и Qt3)
• http:// www.gtk.org
• http://trolltech.com/products
Средства разработки программ
Intel Corporation
• Intel® Compilers for Linux
•
http://www.intel.com/software/products/Flash/compilers/Intel_Compilers.exe
• Intel® C++ Compiler 10.1 for Linux
•
http://www.intel.com/cd/software/products/asmo-na/eng/compilers/277618.htm
• Intel® Fortran Compiler 10.1 for Linux
•
http://www.intel.com/cd/software/products/asmo-na/eng/compilers/282048.htm
• Intel® Math Kernel Library 10.0 Update 4
for Linux
•
http://www.intel.com/cd/software/products/asmo-na/eng/307757.htm
Средства разработки программ
Intel Corporation
Технологии VMware, Inc.
• Концепция виртуальных машин
• Платформа VMware, Inc для виртуализации
ресурсов вычислительных систем
• VMware Workstation
• VMware Server
• VMware ESX Server
• VMware Infrastructure
• VMware Server или VMware ESX Server?
Концепция виртуальных машин
• Под виртуализацией операционных систем понимается
создание виртуальных машин – абстракций, заключающих в
себе собственную виртуальную аппаратно-программную среду,
позволяющую на одной физической платформе установить и
запускать одновременно несколько экземпляров
операционных систем.
• Для чего это нужно?
• Прежде всего, для того, чтобы отделить представление
операционной системы от аппаратуры и разместить несколько
работающих виртуальных серверов на одном физическом с
возможностью быстрой миграции и восстановления
операционных сред.
• Также такой подход обеспечивает максимальную гибкость в
отношении развертывания серверов, поддержания их
жизнеспособности и управления.
Платформа VMware, Inc для виртуализации
ресурсов вычислительных систем
•
VMware предлагает целый набор средств виртуализации:
•
VMware Workstation – платформа, ориентированная на Desktopпользователей и предназначенная для использования разработчиками ПО.
VMware Player – бесплатный «проигрыватель» виртуальных машин,
предназначенный для запуска уже готовых шаблонов виртуальных машин,
выполняющих конкретную задачу,
VMware Server, носивший ранее название VMware GSX Server, направленный
на использование в инфраструктуре малых предприятий для поддержания
виртуальных серверов
VMware Ace – продукт для создания защищенных политиками безопасности
виртуальных машин,
VMware ESX Server – мощная платформа виртуализации для среднего и
крупного бизнеса, ориентированная в первую очередь на поддержание
целостной и масштабируемой IT инфраструктуры,
VMware Virtual Center – мощное средство для управления платформами
виртуализации VMware ESX Server и VMware Server, обладающее широкими
возможностями по консолидации серверов, их настройке и управлению.
•
•
•
•
•
VMware Workstation
• VMware Workstation – Desktop-приложение,
распространяемое на коммерческой основе.
• Незаменимый инструмент для разработчика
программного обеспечения, ведущего
одновременно несколько проектов для
различных платформ (Windows, Linux, Sun
Solaris, Novell Netware, FreeBSD, MS DOS и д.р.)
• При достаточных ресурса один компьютер
пользователя позволяет моделировать
сложную локальную сеть с доменной или иной
структурой.
VMware Workstation
VMware Workstation
VMware Workstation
VMware Workstation
VMware Workstation
VMware Server
• VMware Server – бесплатная
и мощная платформа
виртуализации для малого
бизнеса
• Бесплатный продукт VMware
Server является мощной
платформой виртуализации,
которая может быть запущена
на серверах под управлением
хостовых операционных систем
Windows и Linux.
• Основное предназначение
VMware Server – поддержка
малых и средних виртуальных
инфраструктур небольших
предприятий.
VMware Server
• поддержка нескольких виртуальных серверов на одном физическом
• запуск готовых к использованию виртуальных машин (Virtual
Appliances), выполняющих определенную серверную функцию
• обеспечение высокой доступности виртуальных серверов
(виртуальные машины могут легко переноситься между физическими
серверами)
• создание удобных к восстановлению резервных копий виртуальных
серверов за счет получения мгновенных снимков текущего состояния
системы («снапшотов»)
• широкие возможности по работе с виртуальными машинами:
VMware Server
• VMware Server обладает широкими
возможностями по работе с виртуальными
машинами:
– поддержку любой стандартной архитектуры x86
– поддержку двунаправленного виртуального SMP
(symmetric multi-processing)
– поддержку большого числа хостовых и гостевых
операционных систем
– поддержку 64-битных хостовых и гостевых
операционных систем
– поддержку IntelVT (Intel Virtualization Technology)
VMware ESX Server
•
•
•
VMware ESX Server – платформа
виртуализации корпоративного
класса и средство построения
виртуальной инфраструктуры
предприятия
Среди множества решений для
виртуализации, предлагаемых
компанией VMware, продукт
VMware ESX Server занимает
особое место.
Являясь флагманской разработкой
компании, VMware ESX Server
представляет собой основу для
построения больших виртуальных
инфраструктур, в которые
интегрируются другие продукты
VMware.
VMware ESX Server
• VMware ESX Server является платформой виртуализации класса «Bare
Metal» («голое железо») и устанавливается на «чистый» сервер, не
имеющий операционной системы и другого программного
обеспечения. VMware ESX Server построен на основе операционной
системы Linux Red Hat, в которой инженеры компании VMware
произвели значительные изменения, добавив множество
возможностей для поддержки виртуализации. Такая реализация этой
платформы позволяет максимально эффективно использовать
аппаратные ресурсы серверов и обеспечивать наилучшее
взаимодействие между гостевыми системами и «железом».
• Помимо ESX сервера в виртуальной инфраструктуре предприятия
присутствуют также такие компоненты, как сети хранения данных SAN
(Storage Area Network), системы хранения (Storages),
высокоскоростные соединения (Fibre Channel) и виртуальные сети
(VLAN). Виртуальная инфраструктура на основе VMware ESX Server
позволяет централизованно управлять всеми этими ресурсами и
обеспечивать бесперебойную работу виртуальных серверов.
VMware Infrastructure
VMware Infrastructure
•
•
•
•
•
•
•
•
•
•
•
Собственно ESX Server.
Файловая система VMware VMFS (Virtual Machine File System), оптимизированная для
быстродействия виртуальных машин и обеспечения их высокой доступности.
VMware SMP (Symmetric Multi-Processing) - технология, позволяющая виртуальным машинам
использовать все процессоры хоста, имея при этом несколько виртуальных процессоров.
Virtual Infrastructure Client – мощное средство по удаленному администрированию и настройке
VMware ESX Server, запускаемое на рабочих станциях Windows и имеющее дружественный
интерфейс.
Virtual Center – средство для централизованного управления множеством ESX-серверов.
Virtual Infrastructure Web Access – возможность управления виртуальными машинами из внешней
сети по защищенному каналу.
VMware VMotion – технология, позволяющая осуществлять «живую» миграцию запущенного
виртуального сервера на другой физический сервер, без необходимости выключения виртуальной
машины и обеспечением ее бесперебойной работы во время миграции.
VMware High Availability (HA) – возможность, позволяющая в случае аппаратного или программного
сбоя физического сервера, автоматически перезапустить нужные зеркала виртуальных машин на
другом сервере.
VMware Distributed Resource Scheduler (DRS) – компонент, позволяющий осуществлять
динамическое выделение ресурсов виртуальным машинам.
VMware Consolidated Backup (VCB) – простое и мощное средство для создания резервных копий
виртуальных машин.
VMware Infrastructure SDK – пакет для разработки приложений для виртуальной инфраструктуры
сторонними разработчиками.
VMware Server или VMware ESX Server?
• Виртуальная инфраструктура на основе VMware
Server может быть построена в основном из
серверов, выполняющих повседневные задачи в
организации, для которых не требуется высокая
степень доступности, быстродействия и гибкости.
• VMware ESX Server – это полноценная платформа
для поддержки жизненно важной ITинфраструктуры предприятия в условиях
бесперебойной работы виртуальных серверов и
поддержки их в режиме 24x7x365.
VMware Server или VMware ESX Server?
•
Использование инфраструктуры на основе VMware Server целесообразно для
решения задач:
– поддержка и обслуживание внутренних серверов организации,
– выполнение задач по тестированию отдельных приложений,
– моделирование небольших виртуальных сетей в целях проверки рабочих связок
серверов,
– запуск готовых к использованию шаблонов виртуальных машин, выполняющих роли
внутренних серверов организации,
– получение готовых к быстрой миграции отдельных серверов.
•
VMware ESX Server необходимо использовать при решении следующих задач:
– потоковое тестирование приложений в крупных организациях, занимающихся
разработкой программного обеспечения,
– поддержание внешних серверов организации, обладающих высокой степенью
доступности, гибкости и управляемости,
– моделирование больших виртуальных сетей,
– уменьшение затрат на оборудование, обслуживание и электроэнергию в крупных
организациях и датацентрах.
Архитектура ЦОАД
•
•
•
•
Состав задач ЦОАД и их особенности
Прием и передача внешним данных
IP-адресное пространство
Конфигурация виртуальной машины для
работы под управлением VMware Server
• Доступ к данным и управление
программно-аппаратным комплексом
Состав задач ЦОАД и их особенности
• Основные задачи ЦОАД:
–
–
–
–
–
обработка РСДБ-наблюдений
обработка ГНСС-наблюдений
обработка ЛЛС-наблюденийи
прогноз ПВЗ
сбор и публикация наблюдений и результатов
обработки
• Все задачи решаются в режиме «очень мягкого
реального времени» т.е. по строгому
регламенту в т.ч. суточному, почасовому
Прием и передача внешних данных
• Для приема наблюдений с обсерваторий
осуществляет выделенная виртуальная машина с
операционной системой FreeBSD называемая
коммуникационным сервером
• Коммуникационный сервер осуществляет загрузку
данных с внешних источников по заданному
расписанию с помощью штатного средства WGET
• Все данные размещаются непосредственно на
сервере SUN и доступны всем обработчикам
наблюдений по протоколу SMB (Samba)
• Передача результатов обработки получателям
выполняется копированием на внешний ftp-сервер
IP-адресное пространство
• Адресное пространство ЦОАД (IP-адреса виртуальных
машин и сервера SUN) организовано по принципу
минимальной достаточности т.е. виртуальные машины
могут взаимодействовать друг с другом и с сервером
SUN. Во внешний мир (internet) выход осуществляется
через IP-адрес сервера
• Из локальной сети ИПА доступ к виртуальным машинам
осуществляеся через IP-адрес сервера – с помощью
приложения VMware Server Console
• Для использования Remote Desktop Connection
компьютер пользователя должен иметь
дополнительный локальный IP-адрес вида
10.**.**.**/255.0.0.0, предоставляемый пользователю
администратором ЦОАД
Конфигурация виртуальной машины для
работы под управлением VMware Server
• По результатам опытной эксплуатации VMware
Server были выработаны рекомендации по составу
оборудования типовой виртуальной машины,
работающей под управлением VMware Server:
– виртуальная машина подготавливается с помощью
приложения VMware Workstation 5 или 6, а затем
портируется на сервер SUN
– виртуальная машина имеет версию Workstation 5
– у виртуальной машины должны быть доступны только:
Processor (1-2), HDD (1, <8GB), RAM (<2GB), Monitor (1),
Ethernet (1), Mouse
– все используемые данные должны быть размещены на
сервере SUN и доступны по протоколу SMB
Доступ к данным и управление
программно-аппаратным комплексом
• Управление ЦОАД и его элементами
осуществляется дистанционно с
использованием методов удаленного доступа
• Доступ к базе данных наблюдений и
результатов обработки наблюдений имеют
пользователи виртуальных машин и
зарегистрированные пользователи сервера
SUN по протоколу SMB (Windows Explorer) или
по протоколу SSH (FAR Manager + Plug In,
WinSCP и др.)
Удаленный доступ
• WEB-мониторинг состояния экземпляра
VMware Server
• Удаленный доступ к экземпляру VMware
Server с помощью приложения VMware
Server Console
• Удаленный доступ к экземплярам
виртуальных машин средствами
операционной системы Windows XP
WEB-мониторинг состояния
экземпляра VMware Server
Удаленный доступ к экземпляру VMware
Server с помощью VMware Server Console
Удаленный доступ к экземпляру VMware
Server с помощью VMware Server Console
Удаленный доступ к экземплярам
виртуальных машин средствами
операционной системы Windows XP
Перспективы развития
• Развитие аппаратного обеспечения
(доукомплектация дискового массива и др.)
• Развитие программного обеспечение
приобретением как некоммерческих, так и
коммерческих версий (например, VMware
Workstation)
Вопросы ?
• e-mail: [email protected]