Генрих Брюнгер

Сбор и обработка данных

,

качество данных

Семинар по стратегическим вопросам проведения Глобальной оценки для руководства Ялта , 23-25 сентября 20 09 г.

Сессия 10 1 10

  Часть I: Сбор и обработка данных Часть II: Конфиденциальность (с упором на сбор и обработку данных)  Часть III: Качество данных ( управление качеством) 2

Характер решений относительно методов сбора и обработки данных

  В условиях профессиональной независимости ( ФП 2), а значит, в рамках системы статистики без вмешательства извне после того, как только принято решение относительно того, «что» измерять в широком смысле Решения относительно того, что должна измерять официальная статистика, могут предполагать рассмотрение на политическом уровне , и должны предусматривать обсуждения с широким кругом пользователей 3

Профессиональная независимость

   Та часть статистической деятельности, которая отвечает за «как», должна фокусироваться исключительно на получении самой надежной картины явления в реальном мире имеющимися ресурсами Самым лучшим проводником к профессиональной независимости являются научные методы, международные стандарты и передовая практика, установленная эмпирическим путем Может потребоваться принятие правительством нормативного акта, касающегося статистических обследований, в частности взаимодействия между респондентами и нагрузки на респондентов, но правительства не должны вмешиваться в методологические вопросы 4

5

Основные источники данных

(

ФП

5)  Официальная статистика должна иметь право использовать три вида источников : ◦

Статистические обследования

предприятий и государственных правительственной структуры статистика) : сбор данных у физ. лиц, домохозяйств, корпоративных и некорпоративных организаций за пределами собственной исключительно для целей статистики (большая часть из которой – официальная ◦

Административные данные

предприятий, собранных для правительственной структуры : вторичное использование данных физ. лиц и частных административных целей, другими частями



Основные источники данных ( продолжение)

◦ Вторичное использование

мониторинга,

учреждениями

данных наблюдений окружающей среды и территорий и

собираемых специализированными правительственными

Для статистических обследований Закон о статистике применяется на всех этапах статистической деятельности ; для других двух источников сбор первичных данных должен основываться на других законах, а статистическое законодательство применяется только тогда, когда данные передаются производителю официальной статистики

6

Статистические программы

 Если закон требует программ, ориентированных на исходные данные, следует четко обозначить разницу между статистическими обследованиями, для которых нормативной основой сбора данных являются Закон о статистике и статистические программы, и вторым и третьим источником данных, для которых сбор первичных данных предназначен для других целей и, следовательно, имеет другую законодательную основу 7

Второстепенные источники данных для национальной официальной статистики

  Данные официальной статистики из страны-партнера или международной организации (особенно для международных потоков) Реестры на руках у специализированных частных компаний (как один из источников, используемых для обновления статистических реестров) 8

Статистические обследования

    Сплошные по сравнению с выборочными (возможны смешанные формы) Почта, личные интервью, телефонные интервью, Интернет (возможны смешанные формы) Обязательное участие респондентов по сравнению с правом отказаться от участия (возможны смешанные формы) Политика повторной связи и последующих действий в случае отсутствия ответов, в зависимости от вида обследования 9

Нагрузка на респондентов

 Оценку нагрузки на респондентов следует проводить заранее и учитывать ее результаты : ◦ Все новые обследования следует сначала апробировать (пилоты) ◦ Все респонденты должны информироваться о цели и законодательной базе обследования и, особенно, о мерах по обеспечению конфиденциальности ◦ Формы отчетности и вопросы должны быть понятными , неназойливыми и должны обеспечивать возможность отвечать по памяти или брать информацию из существующих материалов (для предприятий) 10

Нагрузка на респондентов (продолжение)

◦ ◦ Первые напоминания должны быть соразмерными Уровень ответов нужно постоянно отслеживать Национальный орган статистики должен также выполнять для респондентов роль стража ; пользователи имеют тенденцию приуменьшать значение вопроса нагрузки на респондентов 11

Обследования (продолжение)

  Информация, которую респонденты предоставляют в ходе статистических обследований, не имеет для них юридических последствий; следовательно, национальный орган статистики может (и должен) ее проверять и, в случае необходимости, исправлять (редактировать) Во многих случаях характеристики, которые интересуют пользователей, не могут напрямую включаться в анкеты, но должны составляться как производные характеристики на основе ответов на несколько вопросов 12

Отсутствие ответов (относится ко всем источникам данных)

  Национальный орган статистики должен разработать политику учета полных и частично отсутствующих данных, которые должны для каждого обследования корректироваться и документироваться Импутация отсутствующих данных (или тех, которые невозможно использовать) является легитимной процедурой, однако следует искать здравый баланс между «недостаточно» и «слишком много» (риск искажений) 13

Административные источники

  Бюро статистики должно иметь законодательное и фактическое право получать из административных источников других министерств и государственных организаций наборы микроданных как на регулярной основе, так и по мере необходимости для выполнения своих задач Это не означает, что во всех случаях предполагается прямое вмешательство, но такую возможность не следует полностью исключать 14

Административные источники (продолжение)

 Производители статистики имеют право исправлять (редактировать) административные данные, полученные от других министерств, с целью приведения в соответствие со статистическими определениями и классификациями  Данные, полученные таким способом, никогда не должны возвращаться к их владельцу или передаваться производителем статистики третьей стороне для административных целей 15

Взаимосвязь между источниками данных

  Прежде, чем для удовлетворения новых потребностей в информации рассматривать возможность введения нового обследования или расширения существующего источников данных (особенно административных) , следует изучить возможности использования других Возможности комбинирования вопросов по различным направлениям в рамках одного обследования ограничены: следует тщательно структурировать систему обследований 16

Взаимосвязь между источниками данных (продолжение)

  Административные источники постоянно меняются, и присутствует некоторый риск того, что они могут полностью исчезнуть Окончательное решение относительно административных источников принимается за пределами системы статистики официальной статистики . Поэтому на национальный орган статистики возлагается ответственность за постоянный мониторинг (если возможно) и реакцию на запланированные изменения, которые могут положительно или отрицательно повлиять на использование административных источников данных 17

Взаимосвязь между источниками данных (продолжение)

   Национальные органы статистики не должны рассматривать источники данных, особенно обследований, как параллельные операции, а, скорее, как систему взаимосвязанных операций с соотношением n:m между источниками данных и результатами Очень часто самые лучшие оценки составляются на основе разумного сочетания источников, что позволяет объединить их сильные черты и уменьшить влияние слабых Статистические реестры хорошего качества являются краеугольным камнем качественной системы обследований и объединения различных источников 18

Взаимосвязь между источниками данных (продолжение)

  Когда по одному и тому же вопросу результаты, полученные из разных источников, публикуются отдельно (т.е., без предварительной интеграции), следует устанавливать учетную взаимосвязь между результатами, и, если возможно, количественно определять компоненты В противном случае следует публиковать только самые полные агрегаты, как данные официальной статистики в абсолютном исчислении 19

Конфиденциальность (ФП 6)

 Конфиденциальность статистики направлена на защиту неприкосновенности лиц, данные о которых собираются и обрабатываются . Она состоит из двух компонентов : ◦ Производители официальной статистики

не передают – прямо или косвенно-

характеристики защищаемых лиц любой третьей стороне способом, который может позволить любому пользователю получить дополнительную информацию о защищаемом лице 20

ФП 6

(продолжение)

  Производители официальной статистики используют данные о защищаемых лицах

только для целей статистики

( в первую очередь, официальной статистики ) Система статистики и, в первую очередь, национальный орган статистики должны эффективным и надежным способом убедиться в том, что два элемента принципа конфиденциальности строго соблюдаются на всех этапах сбора и распространения, а также что конфиденциальные данные хранятся надежным способом 21

Конфиденциальность при сборе данных

◦ Ситуация с законодательством в разных странах может отличаться в следующем:   Защищаемые лиц: физические лица, частные домохозяйства, частные предприятия (либо юридические лица, либо некорпоративные предприятия) должны быть защищены полностью; государственные структуры (организации) не могут нарушать конфиденциальность статистики; государственные предприятия в условиях рыночной конкуренции являются граничным случаем Отношение ко всем характеристикам одинаковое, некоторые считаются независимыми ( напр., для юр. лиц), или особенно уязвимыми ( более высокая степень защиты , напр., касательно здоровья, преступности, этнической и расовой принадлежности ) 22

Конфиденциальность при сборе данных (продолжение)

◦  Сбор данных в ходе статистических обследований: ответы респондентов должны возвращаться к производителю статистики максимально напрямую. Ни один государственный орган не должен выступать посредником (региональный уровень!) Обработка данных: кроме случаев в контексте статистических реестров, производитель статистики должен отделять идентификаторы единиц от переменных на начальном этапе и либо хранить их отдельно, либо уничтожать 23

Конфиденциальность при сборе данных (продолжение) ◦ ◦ Защита данных: окончательные (отредактированные) наборы микроданных должны храниться безопасным способом, доступ к ним в национальном бюро статистики для лиц, использующих данные регулярно, должен быть ограничен. Доступ извне должен быть невозможен. Для файлов с идентификаторами (кроме статистических реестров) каждый доступ должен быть зафиксирован. Следует разработать отдельный свод правил с нормативными актами относительно безопасности, обновления и доступа к данным статистических реестров. 24

Управление качеством

:

прозрачность как условие

 Все решения относительно методов ( сбора/ обработки/ публикации) должны быть задокументированы и доступны для общества (ФП 3)  Вопросы управления качеством отражены в нескольких принципах Кодекса практики ЕС  Управлением качеством охватывает продукты, процессы и персонал 25

Управление качеством: продукты

  Продукты, оценка которых производится регулярно согласно заранее выработанным критериям качества (не принимаются, если не соответствуют минимальному уровню качества): ◦ Окончательные наборы микроданных, составленные на основе собранных данных ◦ Данные официальной статистики до выпуска Продукты, оценка которых осуществляется нерегулярно ◦ Анкеты для обследований ◦ Продукты для распространения 26

Публикуемые продукты

  Важным элементом профессиональной независимости является право национального органа статистики не выпускать официальные результаты, если не соблюдаются заранее установленные минимальные критерии качества; такое решение должен принимать главный статистик Это не исключает возможности использования и выпуска таких результатов наряду с другими в составе более широкого ( напр., географического) агрегата 27

Управление качеством: процессы

  Процессы должны определять кто в статистической системе принимает решения по какому вопросу и когда, а также с кем нужно консультироваться и кого информировать; они должны быть задокументированы, в основном, для внутреннего пользования Процессы должны разрабатываться для каждой фазы общей бизнес-модели статистики (от разработки до архивирования) 28

Управление качеством: процессы (продолжение)

 Важно определить систему процессов и ответственности таким образом, чтобы максимально исключить тенденцию создания ответственными организациями «черных ящиков». «Трубопроводы» ( когда одни и те же структурные подразделения отвечают за все этапы процесса производства для определенного вида деятельности, например, обследования) являются проблемными еще и с этой точки зрения 30

Управление качеством: процессы (продолжение)

 Определения процессов для текущей деятельности (с незначительными усовершенствованиями), для крупных изменений/ инноваций, а также для мероприятий по производству статистики, которые завершаются выпуском данных официальной статистики и инфраструктурными мероприятиями, такими как распространение данных или обучение, будут отличаться 31

Комплексные оценки

  Общая оценка портфеля работ и масштаба удовлетворения потребностей пользователей необходима при подготовке к запуску следующей многолетней программы Необходимы обширные консультации с пользователями и, возможно, внешняя экспертная помощь (такая же, как и в случае Глобальных оценок) в выявлении пробелов и установлении приоритетности их устранения в рамках следующей программы 32

Тенденции организационных структур национальных органов статистики

   Ранее преобладало отраслевое разделение на первом уровне Недавний сдвиг в сторону функциональной разбивки на первом уровне (сбор данных; обработка; распространение) по различным причинам, среди которых совершенствование управления качеством Высшее руководство должно поощрять управление качеством, ведущее к видимым улучшениям 33

Управление персоналом

   Управление качеством должно стать практически неотъемлемой частью работы каждого специалиста Большую часть регулярного обучения по вопросам управления должно составлять управление качеством Регулярная оценка результативности работы каждого сотрудника может стать очень эффективным средством, если не превращать ее в бюрократическую рутину, а осуществлять в форме открытого диалога, направленного на совершенствование 34



Спасибо за внимание!

35