Transcript Презентация - Проблемы современных

ТЕХНИКО-ЭКОНОМИЧЕСКИЕ ВОПРОСЫ
РЕГРЕССИОННОГО ФУНКЦИОНАЛЬНОГО И
НАГРУЗОЧНОГО ТЕСИРОВАНИЯ ПРИ
СОПРОВОЖДЕНИИ И ЭКСПЛУАТАЦИИ
АВТОМАТИЗИРОВАННЫХ БАНКОВСКИХ СИСТЕМ
Лысунец Антон Сергеевич,
Главное управление Центрального банка Российской
Федерации по Санкт-Петербургу, [email protected]
Содержание презентации
•
•
•
•
•
•
•
•
•
•
Краткая характеристика АБС
Понятие целостности АБС
Планирование контроля целостности
Проблема и способ решения
Понятие уровня целостности АБС
Уровни целостности на практике
Оптимизация функционального тестирования
Регрессионное нагрузочное тестирование
Оценка эффективности планирования
Итоги работы
Краткая характеристика АБС
•
•
•
•
Visa
MasterCard
American Express
Сберкарт
Краткая характеристика АБС
Платежная система для КО/ОК
• 2 500 000 платежей в день
• 10 000 платежей в минуту в
часы пик
Краткая характеристика АБС
• Исходя из назначения
и особенностей
функционирования,
АБС можно отнести к
сложным банковским
экономическим
системам.
Понятие целостности АБС
• ГОСТ Р ИСО/МЭК 14764-2002 «Информационная
технология.
Сопровождение
программных
средств» - методологическая основа процесса
сопровождения АБС
Цель процесса сопровождения
• Внесение изменений в АБС при сохранении её
целостности
целостность
Функциональная
целостность
Целостность
характеристик
производительности
Понятие целостности АБС
Этапы процесса сопровождения
Анализ
проблем и
изменений
Внесение
изменений
Проверка и
приемка
модификации
Установка в
эксплуатацию
Понятие целостности АБС
• Под целостностью понимается такое
состояние АБС, при котором в ее
программно-аппаратном обеспечении
отсутствуют изменения, способные в
ходе
эксплуатации
привести
к
негативным последствиям
Планирование контроля
целостности
Этап проверки и приемки версии АБС
Планирование
контроля
целостности
Проведение
контроля
целостности
Оценка
эффективности
контроля
целостности
• Ключевая задача - качественное
планирование контроля целостности
Планирование контроля
целостности
Суть планирования заключается в определении:
объемов работ для выполнения контроля
целостности;
стратегии контроля целостности, включающей:
• выбор методов контроля целостности;
• выбор из имеющихся и\или подготовка новых тестов для каждого
метода контроля целостности;
• планирование применения средств автоматизации;
конфигураций испытательных стендов для
проведения контроля целостности;
критериев завершения контроля целостности;
ресурсов, выделяемых для контроля
целостности.
Проблема и способ решения
Статистика по выпуску заданий на изменение АБС
115
114
2010
2011
76
43
51
22
2006
2007
2008
2009
Статистика по заявкам на доработку от пользователей
2527
2021
2210
2025
1996
2010
2011
1226
2006
2007
2008
2009
Проблема и способ решения
Статистика по выпуску версий АБС
92
94
88
87
90
80
2006
2007
2008
2009
2010
2011
на контроль целостности отводится
не более 5-7 дней
Проблема и способ решения
Перечень требований для
тестирования версии АБС
должен удовлетворять
следующим условиям:
в результате проверки требований
из перечня целостность АБС
обеспечивается
проверка всех требований из
перечня имеющимися ресурсами
возможна
Проблема и способ решения
Этапы решения задачи построения перечня требований:
Определение
требований, без которых
обеспечение
целостности
программного средства
не представляется
возможным
Планирование
проведения проверок
требований,
определенных на
первом этапе,
имеющимися ресурсами
Понятие уровня целостности
АБС Матрица РИСКА
Степень
опасности
фатальная
высокая
допустимая
низкая
ежедневная
I
I
II
V
ежемесячная
II
III
IV
V
ежеквартальная
III
IV
V
V
ежегодная
IV
V
V
V
отлотлотбт
Величина
вероятности
Понятие уровня целостности
АБС
Уровень
целостности
I
Требования
к АБС
Уровень
целостности
II
Уровень
целостности
III
Уровни целостности на
практике
i-1
i
i+1
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
Требования к АБС
Требования
уровня
целостности I
Требования
уровня
целостности II
Требования
уровня
целостности III
Оптимизация функционального
тестирования
Применение средств автоматизации
Проблемы автоматизации функциональных тестов
высокая трудоемкость
автоматизации проверки
наиболее критичных
функций АБС
высокая частота
вносимых в АБС
изменений
Оптимизация функционального
тестирования
Регрессионное нагрузочное
тестирование (PHT)
Цель PHT: выявить деградацию характеристик
производительности в модифицированной АБС
Требование к PHT: результаты тестирования должны
быть адекватны результатам, получаемым при
эксплуатации АБС
Регрессионное нагрузочное
тестирование
Проблема адекватности результатов
тест
эксплуатация
i версия
i + 1 версия
i версия
i + 1 версия
i + 2 версия
Регрессионное нагрузочное
тестирование
i-1
i
i+1
+
+
+
+
+
+
+
+
+
+
+
+
+
Требования к АБС
Требования
уровня
целостности I
Требования
уровня
целостности II
+
+
Реализация
плана РНТ всех
уровней
Требования
уровня
целостности III
Оценка эффективности
планирования
Проблема оценки эффективности
i план
i + 1 план
i версия
i версия
i – 1 версия
i – N версия
Ошибка при
эксплуатации
Оценка эффективности
планирования
В основе оценки эффективности лежит сравнение
количества ошибок, выявленных при контроле
целостности, с количеством ошибок, выявленных
при эксплуатации
Для каждой версии АБС данные заносятся в таблицу
№
п/п
кол-во ошибок
в тесте
кол-во ошибок при
эксплуатации
Разница между
2и3
1
2
3
4
Оценка эффективности
планирования
Эффективность оценивается по таблице
№
п/п
1
2
3
4
5
кол-во
ошибок
в тесте
0
кол-во
ошибок при
эксплуатации
0
>0
величина
разницы
динамика
ошибок при
эксплуатации
<0

6
7
8
9
10
11
12
>0
13
0
>0
>0

не меняется
0
динамика
разницы
оценка контроля
целостности


хорошо
плохо
плохо
не ясно
плохо
не меняется
плохо


не меняется


не меняется
хорошо
не ясно
хорошо
хорошо
плохо
не ясно
очко в пользу
Разработчика
Оценка эффективности
планирования
Оценка неясного результата
Соотношение количества
ошибок, выявленных при
контроле целостности к
общему количеству ошибок
для i версии АБС
Соотношение количества
ошибок, выявленных при
контроле целостности и к
общему количеству ошибок
для всех версии АБС
≥
неясно хорошо
Х
<
неясно плохо
Y
Оценка эффективности
планирования
Для каждой версии АБС заполняется таблица
№ версии
АБС
хорошо
плохо
хорошо - плохо
Правила заполнения:
Для каждой версии относительно предыдущей (для первой версии таблица не
заполняется)
оценивается
эффективность
планирования
контроля
целостности. Если результат тестирования версии оценивается как «хорошо»
или «неясно хорошо», то в соответствующем столбце к предыдущему
результату прибавляется 1 (единица), а в столбце «плохо» значение остается
без изменения и наоборот, если «плохо» или «неясно плохо», то в
соответствующем столбце к предыдущему результату прибавляется 1
(единица), а в столбце «хорошо» значение остается без изменения
По столбцу «хорошо - плохо» (хорошо минус плохо) строиться график
динамики эффективности планирования контроля целостности системы.
Увеличение значений по столбцу оси Y говорит о положительной
динамике, уменьшение – об отрицательной.
Оценка эффективности
планирования
График эффективности планирования контроля
целостности
8
7
6
5
4
3
2
1
0
-1
-2
658 659 661 662 663 664 665 667 668 669 670 671 672- 675 676 677 678 679 680 681 682 683 684 685 686 687- 689 690 691
673
688
Итоги работы
Подход применяется в процессе сопровождения и
эксплуатации реальной АБС
Основу разработанного подхода контроля целостности
составляют:
• единый механизм определения как функциональных
требований, так и требований к характеристикам
производительности, проверяемых в конкретной версии
АБС;
• планирование
совместного
функционального
и
регрессионного нагрузочного тестирования;
• методика оценки эффективности планирования контроля
целостности.
В настоящее время при применении подхода выявляется до
98% ошибок, способных существенно повлиять на
работоспособность АБС
Результаты применения подхода позволяют утверждать, что
он положительно влияет на качество эксплуатируемой АБС
Слайд по САНТ
автоматизированно
й подготовки стенда,
необходимый для
упрощения
установки и
контроля
параметров работы
АБС, а также
запуска приложений
системы
хранения результатов
каждого нагрузочного
эксперимента.
автоматизированного
построения графиков
использования
ресурсов
вычислительного
комплекса;
управления
моделями нагрузки,
предназначенный
для создания и
корректировки
наборов тестовых
данных
Система
автоматизир
ованного
нагрузочного
тестирования
автоматизированного
сбора значений
параметров,
характеризующих
работоспособность
УОС, в процессе
проведения
нагрузочного
эксперимента;
мониторинга в режиме
реального времени
хода нагрузочного
эксперимента,
необходимый для
своевременного
принятия решения об
остановке и
повторения теста;
управления
моделями
регламентов подачи
нагрузки,
предназначенный
для создания и
корректировки
правил подачи
тестовых данных
для их обработки в
АБС в течение
нагрузочного
эксперимента