Transcript Презентация

Метод выделения словаря
моделей управления для
глаголов русского языка
Эдуард Клышинский
Наталия Кочеткова
МИЭМ НИУ ВШЭ
Белгород
17.10.2012
Глагольное управление
Мама мыла щетку щеткой
Мальчик нес щенка к щенку.
Мальчик нес еду щенку.
Но не
Мама мыла щетке щетках
Мальчик нес щенки превыше щенков.
Глагольное управление
Ехать на поезде на верхней полке на юг на
конференцию на свой доклад на две недели
на казенные деньги.
Семантика тоже играет свою роль.
Зачем используется глагольное
управление и сочетаемость?
• Проверка корректности автоматического
анализа/синтеза текста.
• Снятие неоднозначности текста.
• Собственно синтаксический анализ.
• …
Что было до этого?
• Кустова Г. И., Толдова С. Ю. Семантические фильтры
для разрешения многозначности в Национальном
корпусе русского языка: глаголы // Компьютерная
лингвистика и интеллектуальные технологии. Труды
международной конференции «Диалог-2008». М,
2008. С. 522–529.
• Гельбух А. Разрешение синтаксической
неоднозначности и извлечение словаря моделей
управления из корпуса текстов // Искусственный
интеллект № 2, 1999
• …
Что уже есть?
• Словарь сочетаемости слов русского языка / Под
ред. П. Н. Денисова, В. В. Морковкина. 3-е изд.,
испр. М., АСТ, 2002. 816 с. – 2500 статей
• Бирюк О.Л., Гусев В.Ю., Калинина Е.Ю. Словарь
глагольной сочетаемости непредметных имен
русского языка http://dict.ruslang.ru/abstr_noun.php – 10000 статей
• Большаков И.А., Гельбух А.Ф. Большой электронный
словарь как политематический справочник и
формирователь запросов к Интернету // Материалы
международной конференции «Диалог 2011», 2011
г. сс. 124-134. – 6,93 млн. сочетаний
Что необходимо?
• Модель управления для глаголов вида
глагол+предлог+падеж – 25 000 глаголов,
около 500 000 сочетаний вида
глагол+предлог+разрешенные падежи
• Словарь сочетаемости слов русского языка
– несколько десятков миллионов
сочетаний вида
глагол+предлог+существительное
Что уже есть?
• Гельбух А. Разрешение синтаксической неоднозначности и
извлечение словаря моделей управления из корпуса текстов //
Материалы VIII Международной конференции KDS-99
• Automatic Acquisition of a Large Subcategorization Dictionary from
Corpora // In Proc. of the 31st Meeting of ACL, pp. 235–242
• Messiant C., Korhonen F., Poibeau T. LexSchem: A Large
Subcategorization Lexicon for French Verbs // In Proc. of LREC 2008
• Preiss J., Briscoe T., Korhonen A. A System for Large-Scale
Acquisition of Verbal, Nominal and Adjectival Subcategorization
Frames from Corpora // in Proc. of the 45 Annual Meeting of the
Association of Computational Linguistics, pages 912-919
Что мешает?
• Большой объем работ → нужна
автоматизация
• Большой уровень омонимии → нужно
применять синтаксис или снятие
неоднозначности
• Синтаксис пока не так хорош → или мы
теряем качество, или объем
Гипотеза
Если:
• взять достаточно много текстов;
• рассматривать только однозначные слова;
• брать строго определенные группы,
то можно автоматически получить
достаточно большой словарь синтаксической
сочетаемости.
Использованные тексты
Библиотека Мошкова
664 008 527
lib.rus.ec
8 924 931 649
РИА Новости
220 778 140
Коммерсант
99 670 843
Независимая газета
99 238 975
Взгляд
95 736 749
…
Итого
10.5 млрд
Омонимия в русском языке
Однозначные
Неизвестные
Неоднозначные
по части речи
по нормальной
форме
оба варианта
по параметрам
Compulenta.ru
за 2009 год
Reuters.com
за 2009 год
52,55%
4,27%
43,17%
5,51%
3,61%
38,87%
7,65%
53,46%
0%
0,32%
9,37%
24,68%
50,35%
2,79%
Разбираемые конструкции
Прилагательное существительное глагол
Глагол предлог существительное
Деепричастие предлог существительное
(и другие)
Черная кошка забежала в дом.
В дом быстро забежали две черные кошки .
Словарь сочетаемости
1. Из текстов извлечены указанные
конструкции, составленные из слов,
однозначных по части речи (не параметрам и
не нормальным формам!).
состоятся вечера
приглашает на концерт
исполнят произведения
состоится встреча
примут участие
откроется выставка
Словарь сочетаемости
2. Слова приводятся к начальной форме, после
чего считается статистика употреблений
ПРИГЛАШАТЬ;НА;КОНФЕРЕНЦИЯ;218
ПРИГЛАШАТЬ;НА;КОНЦЕРТ;281
ПРИГЛАШАТЬ;НА;КОНЬЯК;3
ПРИГЛАШАТЬ;НА;КОРАБЛЬ;17
ПРИГЛАШАТЬ;НА;КОРДОН;3
ПРИГЛАШАТЬ;НА;КОРОНАЦИЯ;6
Словарь сочетаемости
Параметры
Число сочетаний, млн
глагол + сущ
23.27
глагол + наречие 0.83
деепр + сущ
2.74
деепр + наречие
0.12
причастие + сущ
6.48
прич + наречие
0.24
сущ + прил
5.71
сущ + сущ
8.49
Словарь глагольного управления
3. Существительные, присоединенные к глаголу, могут
быть неоднозначны по падежу. Оставляем
конструкции с однозначными существительными и
переходим к записям вида глагол+предлог+падеж.
Считаем частотность таких конструкций.
ПРИГЛАШАТЬ;К;0*0*8950*21*17*5
ПРИГЛАШАТЬ;КО;0*0*489*0*0*0
ПРИГЛАШАТЬ;КРОМЕ;0*9*0*0*0*0
ПРИГЛАШАТЬ;НА;0*0*0*30707*0*89
ПРИГЛАШАТЬ;НАД;0*0*0*0*21*0
ПРИГЛАШАТЬ;НАСЧЕТ;0*17*0*0*0*0
Словарь глагольного управления
После некоторой обработки с целью
повышения качества мы получили около
425 000 подобных сочетаний (сюда
включены и составные предлоги).
Словарь глагольного управления
(плюсы)
Теперь мы знаем не только какие глаголы встречаются
с какими предлогами, но и какие падежи возможны с
данным предлогом (если их может быть несколько)
В;0*0*0*17881478*0*32320774
АННИГИЛИРОВАТЬ;В;0*0*0*13*0*129
но
АНИМИРОВАТЬСЯ;В;0*0*0*0*0*5
АНЕКСИРОВАТЬ;В;0*0*0*0*0*25
АУКНУТЬ;В;0*0*0*17*0*0
Словарь глагольного управления
(минусы)
Узус значительно отличается от грамматики
АДАПТИРОВАТЬСЯ;В;0*0*0*93*0*1925
адаптироваться в жизнь
Но при этом
АННИГИЛИРОВАТЬ;В;0*0*0*13*0*129
Аннигилировать в пыль в космосе
Словарь глагольного управления
(минусы)
В словаре не появились, например, «нести»+
взамен
вкось
вкруг
внутри …
Потому что
нести что-то взамен/вкруг/внутри чего-то
Что мы еще умеем
• Адъективное управление
Довольный ответом
• Прил+сущ/прил+сущ
Московский военный оркестр против
Московская сторожевая оркестра
но
Известный ученый кот против
Известного ученого Иванова
Но фильтры помогают восстановить истину
Чего мы не умеем
• Сущ+сущ (дат.п.)
Посвятить памятник Пушкину
• Работа с местоимениями (оно может делать
что угодно)
• Работа с семантикой (ехать на юг на
конференцию)
Другие языки
Мы взяли новости Reuters за 2007 год. Анализ
проводился при помощи nltk со снятием
неоднозначности.
Из примерно 120 млн словоупотреблений
было выделено 1,2 млн различных
сочетаний.
Результат сопоставим с полученным для
русского языка без снятия омонимии.
Спасибо за внимание!