Transcript ppt
Облачные вычисления второго поколения: композитные приложения, интерактивные системы и семантические технологии С.В. Ковальчук, А.В. Бухановский НИИ Наукоемких компьютерных технологий, СПб НИУ ИТМО, Санкт-Петербург Всероссийская конференция «Инфокоммуникационные технологии в научных исследованиях» Таруса – 2012 Специфика проблемы Облачные технологии для высокопроизводительных вычислений в научных исследованиях 1. 2. 3. 4. 5. 6. 2 Гетерогенность вычислительных ресурсов в составе облака и использование ранее созданных сред распределенных вычислений (от «Ломоносова» – до ГридННС). Уникальность и разнообразие прикладных сервисов для науки и образования (диверсификация по предметным областям). Архитектурная привязка прикладных сервисов к вычислительной инфраструктуре (оптимизация под инфраструктуру разработчика). Участие пользователей в создании и развитии новых сервисов и композитных приложений на их основе (самоорганизация состава облака). Виртуальное профессиональное сообщество (устойчивая обратная связь). Поддержка интерактивных сервисов в «реальном» времени (сервисы доступа к оборудованию, визуализации и пр.). Инфокоммуникационные технологии в научных исследованиях Эволюция облачных технологий от виртуализации – к глобальным управляемым средам Cloud Computing Maturity Model – CСMM Консолидация ресурсов Абстракция ресурсов Автоматизация использования ресурсов Технологии I поколения: • Унифицированный доступ к вычислительным и программным ресурсам требуемой конфигурации • Удаленное исполнение типовых приложений • Коллективное хранение и использование сверхбольших объемов данных • Виртуализация (кросс-платформенность и кросс-технологичность) 3 Распространение Развитие сервисов в поддержки облачных сервисов облаках разного уровня Технологии II поколения: • Создание композитных приложений • Интеллектуальная поддержка поиска и применения сервисов • Динамическое управление производительностью сервисов • Гибкая интеграция с системами реального времени Инфокоммуникационные технологии в научных исследованиях Многофункциональная инструментальнотехнологическая платформа CLAVIRE Cloud Applications VIRtual Environment - платформа облачных вычислений второго поколения Предотвращение нагонных наводнений в СанктПетербурге Глобальные системы организации экстренных вычислений Корпоративные системы распределенных вычислений Исследовательское проектирование морских судов и объектов океанотехники Распределенные системы потоковой обработки сверхбольших объемов данных Многопрофильная инструментальнотехнологическая платформа Системы распределенных вычислений в составе ЦОД Поиск и анализа информации о террористических угрозах Коллаборативные предметноориентированные системы распределенных вычислений Моделирование развития вирусной эпидемии и определение эффективных средств противодействия Квантово-механические расчеты и моделирование атомномолекулярных наноразмерных структур и комплексов 5 Инфокоммуникационные технологии в научных исследованиях Архитектура CLAVIRE Реализация концепции iPSE (Intelligent Problem Solving Environment) Абстрактное описание сервисов и приложений в терминах предметной области, и трансляция в исполнимую форму с использованием отчуждаемых знаний 6 Инфокоммуникационные технологии в научных исследованиях Формализм описания пакета Программный модуль – это прикладная программа, предоставляющая интерфейс для вызова и исполнения определенной предметной функциональности. Предлагается перейти к простой модели пакета, основанной на параметрах, за счет использования механизма абстрактных описаний ( ): «пакет преобразует входные параметры в выходные». В рамках распределенной среды пакет можно формально представить: 7 Инфокоммуникационные технологии в научных исследованиях Композитное приложение в виде WF Особенности представления КП Пример Workflow Элементарные блоки – запуски программных модулей; Зависимости двух типов: по данным и по управлению; Использование описания пакетов в качестве основы для проектирования. Модель Workflow – DAG 8 Инфокоммуникационные технологии в научных исследованиях Предметно-ориентированные языки EasyPackage – предметноориентированный язык, основанный на Ruby, для унифицированного описания пакетов в декларативном виде для обеспечения доступа к ним распределенной среде. В описании представлены: EasyFlow – предметно-ориентированный язык для унифицированного описания композитных приложений Особенности языка: Основан на модели DAG; Декларативный (с императивной частью); Общая информация о пакете и параметрах; Компактное представление; Предметные параметры: вход и выход; Использование базовых типов данных. Способ запуска, режимы распараллеливания, модель производительности в виде параметров исполнения; Связи между параметрами, определяющие порядок интерпретации; Элементы языка: Узлы — запуски пакетов; Зависимости; Возможности управления динамическим определением набора параметров; Указание значений параметров; Варьирование параметров; Процедуры проверки корректности поставленной задачи. Пост-обработка. 9 Инфокоммуникационные технологии в научных исследованиях Создание и интерпретация композитного приложения Использование предметно- ориентированного языка позволяет унифицировать описание и автоматизировать запуск композитных приложений Абстрактное описание Workflow (AWF) 10 Исполненный Workflow (CWF) Инфокоммуникационные технологии в научных исследованиях Интерактивные композитные приложения Области применения и задачи Системы реального времени; Системы взаимодействия с пользователем; Системы поддержки принятия решений; Системы визуализации; Управление приложением во время исполнения (computational steering); Получение данных из внешних источников (датчиков). Схема модельного интерактивного КП Принципы интерактивных КП: поддержка WF, исполняющихся долгое время. поддержка механизмов управления извне поведением исполняющихся заданий и их жизненным циклом; поддержка коммуникации между узлами WF во время исполнения. возможность изменения WF во время исполнения за счет сценария WF, а также за счет внешнего управления. 11 Модель интерактивных КП Инфокоммуникационные технологии в научных исследованиях Интеллектуальная поддержка Интеллектуальные технологии – технологии, построенные на знаниях Интеллектуальные технологии предполагают наличие Базы знаний Механизма логического вывода (рассуждений на знаниях) Механизма адаптации (формализации, приобретения и оценки новых знаний) В нашем случае: знания – закономерности использования предметно-ориентированных программных компонентов Базовый способ хранения знаний: онтологическая структура 1) Иерархия уровней абстракции: метаописание абстрактное описание предметная реализация системная реализация 2) Вложенная структура онтологий: каркасное описание классов описание реализации пользовательское расширение 3) Динамическая расширяемость а) на основе правил; б) на основе подключаемых компонентов 14 Инфокоммуникационные технологии в научных исследованиях Онтология – инструмент интеграции Описание Описание инфраструктуры реализации Преобразование данных Оценка данных Коллективная работа Предметная область Информационная поддержка Сессия пользователя 15 Диалог с Правила обработки пользователем сессии Инфокоммуникационные технологии в научных исследованиях Поиск и ранжирование решений Задача поиска седловой точки Задача Задача одной точки Задача оптимизации геометрии Задача одной точки Входные параметры: ► Cистема: файл Выходные параметры: ◄ HF (KS) орбитали ◄ HF (KS) энергия Метод Объяснение вывода Хартри-Фока + CC Хартри-Фока Хартри-Фока Хартри-Фока Входные параметры: ► Базис: 6-31G Входные параметры: ► Базис: MINI Входные параметры: ► Базис: PC3 ORCA Пакет Характеристики системы Количество атомов: 23 Состав атомов: H: 10; O: 6; C: 7 Хартри-Фока + MP2 Хартри-Фока DFT GAMESS MOLPRO ORCA GAMESS Сервис Кластер НИИ НКТ #1 Входные параметры: ► Тип SCF: RHF ► Максимальное число итераций SCF: 300 ► Прямое SCF: Да Грид ННС Время расчета: 20...32 мин Стоимость: 10 ед. ► Надежность: 0,98 ЗАПУСК Точность: 0,6 Редактирование скрипта 16 GAMESS GAMESS Входные параметры: ► Тип SCF: RHF ► Максимальное число итераций SCF: 300 ► Прямое SCF: Да Кластер НИИ НКТ #1 Онтологическое концептуальной иерархии компьютерного моделирования Оценка качества допустимых решений (точность, скорость, надежность) Реализация в виде интерактивного дерева решений Информация о параметрах Грид ННС Время расчета: 1...1,5 ч Стоимость: 30 ед. Надежность: 0,95 Точность: 0,95 ► ЗАПУСК Редактирование скрипта Объяснение вывода Объяснение вывода Дополнительная информация Дополнительная информация Инфокоммуникационные технологии в научных исследованиях Концепция виртуальных моделирующих объектов Виртуальный объект – структурированная композиция моделей, для исследования некоторого объекта реального мира, снабженная графическим интерфейсом для пользовательской настройки процесса моделирования Baltic sea : Sea Mode: forecast ... Bases Наборы данных -могут быть получены из внутренних или внешних для объекта источников - выбор источника: хранилище, внешний сервис, явное задание - проверяется на корректность и доступность Модели - преобразуются в части композитного приложения; - могут быть настроены: выбор ПО и сценария, задание параметров; - могут быть включены или исключены из состава используемых Space FG: Full grid Time ST: Start time AP: Assimilation points FT: Forecast time Ø Ø Базы объекта определяет доступные базы параметров (пространство, время, группа) Object parameters FG/Ø Bathymetry ? Source storage ... FG/FT ОК Aloft wind Source BOOS Scenario: From aloft wind Software: NWW_ITMO ... Workflow... Sea waves Parameters... Статус набора данных - проверен (ОК) - требует настройки (?) - недоступен (Х) FG/FT Scenario: Shallow water Software: Swan Near-water wind Source storage ОК ... FG/FT Parameters... Wave spectrum Source model 17 Параметры объекта доступны всем моделям объекта Near-water wind Workflow... Режим работы объекта - прогноз - статический анализ - оптимизация параметров ОК Базы набора данных Выбираются из баз объекта ... Инфокоммуникационные технологии в научных исследованиях Композиция виртуальных объектов Baltic sea : Sea Mode: forecast ... Bases Space FG: Full grid Time ST: Start time AP: Assimilation points FT: Forecast time Ship #1 : Ship Ø Space Object parameters FP: Force points Time ST: Start time ? Source storage FG/FT ОК Source BOOS Scenario: From aloft wind Software: NWW_ITMO AP/ST storage Source Parameters... ОК Near-water wind Source storage ... Level and currents ... storage ОК ... model Forces application Source ... ОК storage ... Ship behavior Wave selection FG/FT Ø/MT Scenario: Ship behavior Software: ShipX Workflow... Scenario: With assimilation Scenario: Shallow water Software: BSM+Assimilation Software: Swan Workflow... Source ... Parameters... Sea waves Parameters... ОК Ship model FP/MT FG/FT ОК ОК Ø/MT Wave spectrum ... Workflow... Workflow... Ø Ø/Ø Source Near-water wind Источник storage Ø MT: Simulation time Ø/Ø Initial position Level (obs.) ... Object parameters ... Aloft wind analysis Bases Ø FG/Ø Bathymetry Mode: Parameters... Ø/MT Ø/MT Movement Parameters... Source model ОК Resonance Source model ... ОК ... Ø/MT FG/FT FG/FT Water level Source model ОК Source model ... Rocking spectrum ОК Wave spectrum Source model ... ОК ... Ø/Ø FG/FT Spectrum parameterization ОК Currents Source model Recommendations Source Scenario: ... model ОК ... Jonswap Ø/MT Software: FG/FT Wave parameters Spectrum_interp X Workflow... Source 18 model Parameters... Analysis log Source model ОК ... Recommendations Scenario: Situation analysis Software: ShipDSS Workflow... Parameters... ... Инфокоммуникационные технологии в научных исследованиях Классы интерфейсов пользователя Интерфейс консольного / программного доступа – решение для интеграции Проблемно-ориентированный интерфейс – решение типовых задач с поддержкой ввода параметров Система управления workflow – решение исследовательских задач с и построение композитных приложений Интеллектуальный инструктор – поддержка сравнения и выбора типовых решений Виртуальные моделирующие объекты – системный подход к композиции приложений 19 Инфокоммуникационные технологии в научных исследованиях Системы виртуальной реальности 20 Инфокоммуникационные технологии в научных исследованиях Применение платформы CLAVIRE (1/4) Облачный УНК «Компьютерное моделирование в нанотехнологиях» http://hpc-nasis.ifmo.ru 21 Инфокоммуникационные технологии в научных исследованиях Применение платформы CLAVIRE (2/4) Система предотвращения наводнений в Санкт-Петербурге Система поддержки принятия решения – технология экстренных вычислений - Ограничение на время принятия решений - Использование динамической распределенной архитектуры - Автоматизация управления вычислительными ресурсами - Сессионность и приоритеты Средства компьютерного моделирования Актуальные прогнозы Гидрометеорологические модели Измерения уровня моря Модели технических объектов Датчики КЗС Социальные модели Оперативная информация Информационные модели Оценка рисков (автоматическая/ручная) Моделирование сценариев СППР Вычислительная инфраструктура Оператор 22 Группа, принимающая решения Инфокоммуникационные технологии в научных исследованиях Применение платформы CLAVIRE (3/4) Задача моделирования флэшмоб-акций. Исследования критических ситуаций, связанных с террористическими действиями в условиях несанкционированных флешмоб-акций, организованных с использованием социальных сетей Результат работы — статическое определение зон с критическим значением плотности агентов Этапы работы приложения: 1. 2. 3. 4. 5. Генерация комплексной сети; Удаление случайных узлов; Моделирование распространения информации по полученным сетям; Агрегация и подсчет статистических характеристик; Моделирование эвакуации и визуализация в интерактивном режиме; 23 Визуализация во время моделирования Инфокоммуникационные технологии в научных исследованиях Применение платформы CLAVIRE (4/4) Сопряжение с системами виртуальной реальности - Семантическая интеграция объектов трехмерной сцены и виртуальных моделирующих объектов - Использование интерактивных технологий для «погружения» в виртуальную реальность - Применение нейрокомпьютерных интерфейсов для оценки трехмерной сцены 0.2 1.0 0.7 24 Инфокоммуникационные технологии в научных исследованиях Заключение Разработанная платформа CLAVIRE обеспечивает унифицированный доступ к разнородным ресурсам в рамках облачной инфраструктуры, при этом обеспечивая: 25 Работу в рамках формализма workflow с использованием предметно-ориентированных языков Возможность создания интерактивных композитных приложений Динамическое планирование и управление выполнением композитных приложений Высокоуровневую поддержку с использованием семантических технологий Возможности создания и распространения проблемноориентированных коллекций сервисов Доступ с использованием пользовательских интерфейсов различных классов (уровней) Расширенную поддержку систем виртуальной реальности с использованием современных технических решений Инфокоммуникационные технологии в научных исследованиях