Transcript Prezentacja programu PowerPoint

Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
1
Mechanizmy przetwarzania języka
naturalnego jako wspomaganie
systemów decyzyjnych wybrane zagadnienia
Krzysztof Mossakowski
[email protected]
http://www.mini.pw.edu.pl/~mossakow
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
2
Przetwarzanie języka naturalnego
•
Natural Language Processing - NLP
•
•
•
„inteligentna analiza”
„zrozumienie znaczenia”
Zastosowania:
•
•
•
•
•
•
rozpoznawania mowy
synteza mowy
rozpoznawanie tekstu
narzędzia leksykograficzne
automatyczne tłumaczenia
analiza dokumentów
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
3
Słowa kluczowe
•
•
•
•
•
•
natural language processing
written text understanding
information retrieval, document retrieval
information extraction
text processing
language learning
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
4
Język naturalny
•
Problemy:
•
•
•
•
•
długie, wielokrotnie złożone zdania
różne znaczenia w różnych kontekstach
wyjątki gramatyczne
specjalne formatowanie tekstu
błędy (ortografia, gramatyka, interpunkcja)
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
5
Techniki NLP - Knowledge Base
•
•
Semantyczna reprezentacja i interpretacja
poszczególnych słów w tekście
Słowniki
•
•
powiązania między słowami (synonimy)
Wiedza:
•
•
•
•
morfologiczna
syntaktyczna
semantyczna
pragmatyczna
-
budowa i odmiana wyrazów
składnia
znaczenie wyrazów
związki logiczne
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
6
Techniki NLP - Linguistic
•
•
Gramatyki i automaty
Zagadnienia:
• stemming - pobranie podstawowego fragmentu słowa
•
•
•
niezmiennego w odmianie
normalization - identyfikacja odmian słowa i redukcja ich
do pojedynczej formy podstawowej
lemmatization - przynależność słów i fraz do grup
conflation - złączenie nieidentycznych słów w grupy wg
znaczenia
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
7
Techniki NLP - Statistical (Probabilistic)
•
Zagadnienia:
•
•
•
•
klasyfikacja słów
segmentacja tekstu
częstość występowania słów (fraz)
Document Retrieval - prawdopodobieństw, że dokument
odpowiada zapytaniu
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
8
Techniki NLP - Connectionist
•
Zagadnienia:
•
•
•
•
•
kojarzenie słów i fraz
predykcja następnego słowa w zdaniu
podział zdania na fragmenty funkcjonalne
wieloznaczność słów i fraz
automatyczne dopasowanie struktury i funkcji (SOM)
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
9
Techniki NLP - Semantic
•
•
Znaczenie wyrazów
WordNet
•
•
•
słowa (94 tys. rzeczowników, 10 tys. czasowników,
20 tys. przymiotników, 4 500 przysłówków)
określenie złożone
idiomy
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
10
Wybrane zagadnienia NLP
•
•
•
•
•
•
Wyszukiwanie dokumentów dla zadanego pytania
Wyszukiwanie słów kluczowych w tekście
Tworzenie podsumowania informacji
Odpowiadanie na pytania zadawane w naturalnym języku
Uniwersalność w sensie zakresu słownictwa
Uniwersalność w sensie języka
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow
Mechanizmy przetwarzania języka naturalnego jako wspomaganie systemów decyzyjnych - wybrane zagadnienia
11
Mechanizmy przetwarzania języka
naturalnego jako wspomaganie
systemów decyzyjnych wybrane zagadnienia
Wydział Matematyki i Nauk Informacyjnych Politechniki Warszawskiej
Krzysztof Mossakowski - http://www.mini.pw.edu.pl/~mossakow