Transcript Semantic Role Labeling
Semantic Role Labeling
PG 520 Intelligence Service Regina Fritsch, Martin Böhmer 08.04.2008
1
Agenda
Einleitung SRL Systeme Probabilistisch SVM Maximum Entropy Model Unsupervised SRL CoNLL 2005 SRL Live-Demonstration Fazit 08.04.2008
Regina Fritsch, Martin Böhmer 2
Einleitung
| probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Semantic Roles I
die Bedeutungsfunktion eines Satzteils auf den ganzen Satz semantische Relation der Satzbestandteile zum Prädikat Konzept seit Ende der 60er Jahre Grammatikmodelle nutzen SR Syntax & Semantik in einem Modell erfassen Universalgrammatik für alle Sprachen Regina Fritsch, Martin Böhmer 08.04.2008
3
Einleitung
| probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Semantic Roles II
nach Fillmore (1971):
Agent führt die Handlung aus Die nächste Frage stellt der Kollege Burgbacher .
Experiencer – nimmt etwas wahr, fühlt Sie wird haben den Vorschlag gehört.
Instrument – Mittel, mit dem eine Handlung ausgeführt Die Wahl findet mit verdeckten Stimmkarten , also geheim, statt.
Object (oft auch Theme) – verändert sich durch die Handlung Die Regierung hat ein Denkmal Time – Zeit des Geschehens Darüber werden wir morgen errichtet.
beraten.
Regina Fritsch, Martin Böhmer 08.04.2008
4
Einleitung
| probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Semantic Roles III
Location – Ort des Geschehens Sie dürfen Ihre Stimmkarte nur in der Wahlkabine ankreuzen.
Goal – der Ort zu dem sich etwas bewegt Wir sind wieder in die Mitte Europas Wachstum anbelangt.
gerückt, was das Path – Weg des Geschehens Im Übrigen haben die USA hervorragend mit den menschenverachtenden Taliban verhandelt, und zwar über eine Gaspipeline durch Afghanistan .
Source – der Ort von dem aus sich etwas bewegt Herr Kollege Brüderle, setzen Sie sich doch einmal aufs Fahrrad und fahren von Ihrem Heimatort aus in Richtung Westen nach Frankreich .
Regina Fritsch, Martin Böhmer 08.04.2008
5
Einleitung
| probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Oberflächenkasus
Nominativ (wer oder was) Akkusativ (wen oder was) Dativ (wem) Genitiv (wessen) Maskulinum
der - er den - ihn dem - ihm des - seiner
Femininum
die - sie die - sie der - ihr der - ihrer
Neutrum
das - es das - es dem - ihm des - seiner
Plural
die - sie die - sie den - ihnen der - ihrer Oberflächenkasus helfen SR zu bestimmen leider nicht eindeutig nicht alle Formen unterschiedlich ausgeprägt → Synkretismus 08.04.2008
Regina Fritsch, Martin Böhmer 6
Einleitung
| probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Part Of Speech Tagging
ordnet jedem Wort in einem Satz die Wortart zu ‘ 08.04.2008
Regina Fritsch, Martin Böhmer 7
Einleitung
| probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Semantic Role Labeling
Definition: Gruppierung von Wörtern in Sätzen Zuordnung von semantischen Rollen häufiges Vorgehen: Betrachtung der Verben, semantische Rollen sind deren Argumente Verwendung syntaktischer Information Regina Fritsch, Martin Böhmer 08.04.2008
8
Einleitung |
probabilistisches SRL
| SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Probabilistisches SRL
behandeln wie ähnliche Probleme POS, Syntaxanalyse… nutzen statistischer Techniken Unterteilung in 2 Teilaufgaben Identifizierung der Frameelementgrenzen jedem Frameelement SR zuweisen im weiteren: per Hand annotierte Grenzen Ergebnisse später in etwa gleich 08.04.2008
Regina Fritsch, Martin Böhmer 9
Einleitung |
probabilistisches SRL
| SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Merkmale I
Phrase Type (pt): syntaktischer Typ des Satzteils (NP, VP, S…) Governing Categoryv (gov): von einer NP wird der nächste Vorfahr S oder VP gesucht Vorfahr S: Subjekt Vorfahr VP: Objekt für andere Typen als NP nur wenig Effekt Position: Komponente vor oder hinter dem Prädikat Regina Fritsch, Martin Böhmer 08.04.2008
10
Einleitung |
probabilistisches SRL
| SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Merkmale II
Parse Tree Path: Pfad vom Zielwort zur Komponente der Frage Bsp. Pfad 08.04.2008
häufigsten Werte des Pfad Merkmals Regina Fritsch, Martin Böhmer 11
Einleitung |
probabilistisches SRL
| SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Merkmale III
Voice: Unterscheidung zwischen aktiven und passiven Verben ca. 5 % der Verben sind passiv (FrameNet database) Head Word (h): Hauptwort des Satzteils zur Bestimmung der grammatischen Funktion Bsp. NP: the old fashioned door Bsp. VP: might be hit Bsp. PP: on the table Regina Fritsch, Martin Böhmer 08.04.2008
12
Einleitung |
probabilistisches SRL
| SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Wahrscheinlichkeiten I
zu wenig Daten um W‘keiten direkt über der vollen Menge der Merkmale zu berechnen:
P
(
r
|
h
,
pt
,
gov
,
position
,
voice
,
t
) # (
r
,
h
,
pt
,
gov
,
position
,
voice
,
t
) # (
h
,
pt
,
gov
,
position
,
voice
,
t
) Lineare Interpolation: kombinieren der W‘keiten
P
(
r
|
Komponente
) 1
P
(
r
4
P
(
r
6
P
(
r
| | |
t
)
pt
, 2
P
(
r
|
position
,
pt
,
t
)
voice
) 3
P
(
r
| 5
P
(
r pt
, |
gov
,
pt
,
t
)
position
,
voice
,
t
)
h
) 7
P
(
r
|
h
,
t
) 8
P
(
r
|
h
,
pt
,
t mit
)
i
08.04.2008
Regina Fritsch, Martin Böhmer
i
1 13
Einleitung |
probabilistisches SRL
| SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Wahrscheinlichkeiten II
W‘keitsver teilungen in finalerVersion Bsp. W‘keiten für P(r|pt,gov,t), für das Verb abduct 08.04.2008
Regina Fritsch, Martin Böhmer 14
Einleitung |
probabilistisches SRL
| SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Wahrscheinlichkeiten III
andere Schemata um λ-Werte zu wählen haben relativ wenig Effekt Bewertung hängt vom nur vom Ranking der W‘keiten ab, nicht den exakten Werten Backoff Kombination Regina Fritsch, Martin Böhmer 08.04.2008
15
Einleitung |
probabilistisches SRL
| SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Ergebnisse
FrameNet database (8148 Beobachtungen) Kombinationsmethode Lineare Interpolation Backoff, Lineare Interpolation Basis: häufigste Rolle Korrekt 79,5% 80,4% 40,9% Trainingsmenge Testmenge Linear Backoff 80,4% 76,9% Basis 40,9% 40,9% 08.04.2008
Regina Fritsch, Martin Böhmer 16
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Rückblick SVM
vektorbasiert, beliebig viele Dimensionen binärer Klassifizierer One vs. All (OVA) • • n Klassen n Klassifizierer hoher Datenaufwand Paarweiser Vergleich • • n Klassen n * (n-1) / 2 Klassifizierer Trainingsdaten ist im Vergleich zu OVA kleiner Klassifizierung:
f(x) = w · x + b
Regina Fritsch, Martin Böhmer 08.04.2008
17
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Feature Repräsentation
Problem: SVM arbeitet numerisch Lösung: Binärer Featurevektor alle möglichen Wörter, Tags, ... bilden je eine Komponente des Vektors Beobachtung: Vektor hat schnell >100.000 Dimensionen, ist aber nur dünn (sparse) mit 1 besetzt speichere nur „1“-Indizes (sparse vector) • • SVM benutzt als Rechenoperation nur Skalarprodukt alle „0“-Komponenten entfallen aus Berechnung weitere Lösungen: TF / IDF basierte Werte 08.04.2008
Regina Fritsch, Martin Böhmer 18
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Nutzung der SVM
POS-Tagging Chunk Identification Erkennen von zusammenhängenden Wörtern (= Chunk) kein vollständiges syntaktisches Parsen IOB-Notation (Inside, Outside, Beginning) Semantic Role Labeling Regina Fritsch, Martin Böhmer 08.04.2008
19
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Chunk Identification: Beispiel
Eingabe: Text mit POS-Tags [ PPER [ ADJA [ VVPP Ich] [ VAFI habe] [ schwarzen] [ NN VVPP Koffer] [ PTKNEG genommen] [ PTKZU ausgesagt] , [ ART zu] [ VAINF nicht] haben].
die] Ausgabe: Text mit IOB-Tags [ B-NP [ I-NP [ B-VP Ich] [ B-VP habe] [ I-VP schwarzen] [ I-NP genommen] [ I-VP ausgesagt] , [ B-NP Koffer] [ O zu] [ I-VP nicht] haben] .
die] Regina Fritsch, Martin Böhmer 08.04.2008
20
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
YamCha
Yet another Multipurpose Chunk Annotator Bester beim CoNLL2000 Shared Task, Chunking Funktion Basis: SVM mit paarweiser Klassifizierung Eingabe: Text mit POS-Tags Features • • • w j t j c i Wort j POS-Tag von Wort j chunk label i (j = 2, …, 2) (j = 2, …, 2) (i = -2, -1) Regina Fritsch, Martin Böhmer 08.04.2008
21
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Labeling Verfahren
Constituent-by-constituent (C-by-C) Basis: vollständiges syntaktisches Parsen Syntaxbaum eines Satzes wird zur einer Kette seiner Komponenten linearisiert Komponentenweise Klassifikation Phrase-by-phrase Chunking (P-by-P) Word-by-word Chunking (W-by-W) 08.04.2008
Regina Fritsch, Martin Böhmer 22
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
SRL nach Pradhan et al. 2005
Erweiterung von vorgestelltem, statistischen Ansatz von Gildea & Jurasky 2002 SVM statt Wahrscheinlichkeiten neue Features Vergleich von C-by C mit vollständigem syntaktisches Parsen (deep / full parse) W-by W mit vollständigem syntaktisches Parsen W-by W oberflächliches Parsen (shallow parse) Regina Fritsch, Martin Böhmer 08.04.2008
23
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Deep-Parse-System Pradhan et al. 2005
Neue Features NER: Person, Organization, Location, Date, ...
POS-Tag des Headwords Verb clustering Zusammenfassung von Verben mit ähnlichen Bedeutungen und Argumentfolgen Verb sense information wiegen (Gewicht): wiegen (Kind): Wiegende(r), Gewogenes Wiegende(r), Kind Regina Fritsch, Martin Böhmer 08.04.2008
24
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Deep-Parse-System Pradhan et al. 2005
Einfluss der Features Senkung der Leistung: NER Viele Komponenten enthalten NE, sind aber keine Charakteristika eines Prädikats Steigerung der Leistung: Head-Word Path Headword POS-Tag Verb cluster Verb sense Regina Fritsch, Martin Böhmer 08.04.2008
25
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Vergleich: deep vs. shallow Pradhan et al. 2005
Architektur Deep-Parse-System Syntaktischer Parser von Charniak 08.04.2008
Regina Fritsch, Martin Böhmer 26
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Vergleich: deep vs. shallow Pradhan et al. 2005
Architektur Shallow-Parse-System Nutzung von YamCha OVA SVM System 08.04.2008
Regina Fritsch, Martin Böhmer 27
Einleitung | probabilistisches SRL |
SRL mit SVM
| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit
Vergleich: deep vs. shallow Pradhan et al. 2005
Ergebnisse
System
Deep, C-by-C Deep, W-by-W Shallow, W-by-W
P
80,6 70,7 66,2
R
67,1 60,5 54,9
F 1
73,2 65,2 60,0 Korpus: PropBank (July 2002) Sektion 02-21: Training, 00: Dev.-Test, Rest: Test Hauptunterschied: Ableitung des Path Features 08.04.2008
Regina Fritsch, Martin Böhmer 28
Einleitung | probabilistisches SRL | SRL mit SVM |
SRL mit ME
| unsupervised SRL | CoNLL-05 | Fazit
Maximum Entropy Model
Schätze die Wahrscheinlichkeit für Auftreten einer Klasse
a
in Kontext
b
ab Wahrscheinlichkeitsverteilung
p(a,b)
Klasse
a
: POS Tag, semantische Rolle, … Kontext
b
: Text, Satz, Wörter, … Basis: Beobachtungen, Beispiele Regina Fritsch, Martin Böhmer 08.04.2008
29
Einleitung | probabilistisches SRL | SRL mit SVM |
SRL mit ME
| unsupervised SRL | CoNLL-05 | Fazit
Entropie
A B E = A x B S = A x B
~ (
x
)
p
(
x
)
H
(
p
)
x
E
p
(
x
) log
p
(
x
) Menge möglicher Klassen Menge möglicher Kontexte Menge aller Kombinationen endliche Trainingsmenge W‘keitsvt. von W‘keitsvt. von
x x
in S in E (Beobachtung) (Vorhersage) Regina Fritsch, Martin Böhmer 08.04.2008
30
Einleitung | probabilistisches SRL | SRL mit SVM |
SRL mit ME
| unsupervised SRL | CoNLL-05 | Fazit
Beobachtungen
Beobachtungen (
a i
,
b i
) werden mittels k
Features f i
repräsentiert (i = 1, …, k): f i : E → {0, 1} Daraus folgen Bedingungen für Modell:
a
A ,
b
B
p
(
a
,
b
)
f i E
(
a
,
p f b
)
i
E a
A
f i
,
b
B (
a
,
b
)
f i
(
a
,
b
) Regina Fritsch, Martin Böhmer 08.04.2008
31
Einleitung | probabilistisches SRL | SRL mit SVM |
SRL mit ME
| unsupervised SRL | CoNLL-05 | Fazit
Maximum Entropy Model
mit
P
p p
*
|
E
p
arg
f i
max
p
P
E f i H
,
i
(
p
)
1 ,...,
k
p
* (optimale W‘keitsvt.) ist auch darstellbar als
p
* (
x
)
j k
1
j f j
(
x
) α j auf einfache Weise durch Generalized Scaling Algorithm (GIS) berechenbar Regina Fritsch, Martin Böhmer 08.04.2008
32
Einleitung | probabilistisches SRL | SRL mit SVM |
SRL mit ME
| unsupervised SRL | CoNLL-05 | Fazit
MEM: Beispiel
p(a,b)
x y total 0 1 A = {a, b}, B = {0, 1}
?
0,3 0,2
?
?
0,6 1,0
f
1
1 , wenn
b
0 0 , sonst
p
(
x
, 0 )
E p f
1
p
(
y
, 0 )
0 , 6
a
p
(
a
,
b
)
f
1 (
a
,
b
) Regina Fritsch, Martin Böhmer 08.04.2008
33
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |
unsupervised SRL
| CoNLL-05 | Fazit
Unsupervised SRL
ohne manuell getaggte Daten zuordnen initiale eindeutige Zuordnungen anhand eines Verblexikons erstellen eines Wahrscheinlichkeitsmodells um die restlichen Daten zuzuordnen beim iterieren: anwachsen der annotierten Daten herabsetzen der Schwelle des W’keitsmodells → alle Rollen sind getaggt 08.04.2008
Regina Fritsch, Martin Böhmer 34
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |
unsupervised SRL
| CoNLL-05 | Fazit
Verblexikon
listet mögliche Rollen für alle Argumente eines Verbs auf → siehe Frames Eintrag:
whisper
Frames:
Agent V Agent V Prep(+dest) Recipient Agent V Topic
Verben in der selben (Sub-)Klasse:
[bark, croon, drone, grunt, holler, ...] Bsp: Agent & Topic füllen Slots des Frames 08.04.2008
Regina Fritsch, Martin Böhmer 35
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |
unsupervised SRL
| CoNLL-05 | Fazit
Frame Matching
für jedes Verb die möglichen Rollen seiner Argumente berechnen + Argumentslots (Subjekt, Objekt, ind. Objekt, Adverbial) Argumente haben Menge an möglichen Rollen, welche die Slots füllen könnten einelementige Menge → Rolle zuordnen bildet gelabelte Anfangsdaten Wahrscheinlichkeitsmodell trainieren Regina Fritsch, Martin Böhmer 08.04.2008
36
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |
unsupervised SRL
| CoNLL-05 | Fazit
Frame Matching
%Frame: Anteil der Slots im Frame die vorhergesagt / belegt werden konnten %Sent: Anteil der zugeordneten Argumente in Bezug auf die vorhergesagten Slots Score eines Frames = %Frame + %Sent
Mögliche Frames für V Agent V Agent V Theme Instrument V Theme Agent V Theme P Instr.
Agent V Recipient Theme Vorherg. Slots Subj.
Obj.
Prbj.
Agent Agent Theme Instr.
Theme Agent Theme Agent Recip.
Instr.
%Frame
100 100 100 100 67
%Sent
33 67 67 100 67
Score
133 167 167 200 133 Regina Fritsch, Martin Böhmer 08.04.2008
37
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |
unsupervised SRL
| CoNLL-05 | Fazit
Wahrscheinlichkeitsmodell
Slots mit mehreren Möglichkeiten füllen: Wenn W‘keit einer Kandidatenrolle einen Schwellenwert (
minEvidence)
nicht erreicht behalten für nächstes Backoff-Level → Backoff-Modell: P(r|v,s,n)
→
λ 1 P 1 (r|v,sc) + λ 2 P 2 (r|v,nc) + λ 3 P 3 (r|vc,s)
→
P(r|sc) r = Rolle, v = Verb, s = Slot, n = Nomen im Slot, sc = Slotklasse, nc = Nomenklasse, vc = Verbklasse Regina Fritsch, Martin Böhmer 08.04.2008
38
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |
unsupervised SRL
| CoNLL-05 | Fazit
Rollenauswahl
P(r|v,s,n) = Anzahl des Auftretens der Kombination Verb, Slot und Nomen Auswahl: top zwei die den Schwellenwert
minEvidence
erreichen Güte: Logarithmus des Verhältnisses Schwellenwert log_ratio muss erreicht werden Rolle mit der höheren W‘keit zuweisen Schwellenwert hoch initialisiert, mit der Zeit immer weiter herabsetzen Regina Fritsch, Martin Böhmer 08.04.2008
39
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |
unsupervised SRL
| CoNLL-05 | Fazit
Ergebnisse
Korpus: random 20% des „British National Corpus“ Rollenzuordnung zugeordnet korrekt nicht zugeordnet falsch möglich unmöglich identifizierte Argumente Base line Algorithmus eindeutig final 77.3
22.7
0 0 76.4
2.7
17.1
3.8
90.1
7.0
0 2.9
Base line alle Zielslots Algorithmus eindeutig final 63.7
36.3
0 0 75.9
6.8
14.1
3.1
87.2
10.4
0 2.4
unmöglich: keine Kandidatenlisten vorhanden viele Zuordnungen bereits während des FrameMatchings → Supervised Methoden alle Zielslots: bezieht auch Fehler die in Vorverabeitungsschritten gemacht wurden mit ein 08.04.2008
Regina Fritsch, Martin Böhmer 40
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL |
CoNLL-05
| Fazit Co
mputational
N
atural
L
anguage
L
earning - 2005 Shared Task
19 teilnehmende Teams 3 Monate Bearbeitungszeit gegeben: Wörter, POS-Tags, Chunks, Abschnitte im Start-End-Format, NE, Zielverben Argumentzuordnung zu SR (nicht für Lernmenge verfügbar) neu in 2005: kompletter Syntaxbaum Vergrößerung der Trainingsdaten neue Testmenge aus dem Brown-Korpus Trainingsdaten: PropBank Korpus, WSJ – Teil des PennTreeBank Korpus Regina Fritsch, Martin Böhmer 08.04.2008
41
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL |
CoNLL-05
| Fazit POS-Tags
Bsp: Eingabeformat
Abschnitte NE Makierung der Zielverben Wörter 08.04.2008
Chunks kompletter Syntaxbaum Regina Fritsch, Martin Böhmer attract: Vorhersage der SR intersperse: Vorhersage der SR 42
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL |
CoNLL-05
| Fazit
SRL - Systeme
Auszug der Merkmalstypen ausgewählter Systeme: F 1 Rang 1 2 4 17 Team pun hag pra pon ML-Method SNoW ME SVM DT Komb. NE ja + ja ja nein + + Argument Typ PP Dic + + + + + + + + Ver Verb sub + + + + + + + Kombination ist wichtig: 8 von 19: bis auf einen alle in TopTen schlechte F 1 -Score: meist weniger Merkmale genutzt 08.04.2008
Regina Fritsch, Martin Böhmer 43
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL |
CoNLL-05
| Fazit
Systeme nach F
1
-Score sortiert
08.04.2008
Regina Fritsch, Martin Böhmer 44
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL |
CoNLL-05
| Fazit
Ergebnisse
F 1 -Score ≈ 80: Anstieg um10 Punkte (2004) 5 fache Vergrößerung der Trainingsmenge komplette Syntaxbäume als Eingabe verfeinerte Kombinationsverfahren entwickelt weit weg von Wunschergebnissen Brown-Korpus etwa um 10 Punkte schlechter SRL-Modul in einer realen Anwendung → F 1 -Score ≈ 70 Regina Fritsch, Martin Böhmer 08.04.2008
45
08.04.2008
Demonstration
http://l2r.cs.uiuc.edu/~cogcomp/srl -demo.php
Regina Fritsch, Martin Böhmer 46
Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME | unsupervised SRL | CoNLL-05 |
Fazit
Fazit
Verschiedene Verfahren Dominanz des Path / Headwod Feature Kombinierte Systeme sind die besten Reale Anwendungen: F 1 ≈ 70% Chance: Domainanpassung Nutzung
Fragebeantwortung Information Extraction
Summarization Maschinelle Übersetzung Regina Fritsch, Martin Böhmer 08.04.2008
47
Fragen, Anmerkungen?
08.04.2008
Regina Fritsch, Martin Böhmer 48
Anhang
Literatur I
Engels, Eva & Vikner, Sten: 2006, „Satzglieder, Kasus und semantische Rollen: eine Einführung“. Tidsskrift for Sprogforskning 4.1, S. 17-37.
Krifka, Manfred: „Argumentenstruktur und Verbsemantik“, Vorlesungsskript - WS 2004/05.
Meyer, Paul et al.: 2002. „Synchronic English Linguistics. An Introduction“. Narr, Tübingen.
Gildea, Daniel & Jurafsky, Daniel: 2000, „Automatic labeling of semantic roles“. Proceedings of the 38th Annual Meeting on Association for Computational Linguistics, S. 512 – 520.
Gildea, Daniel & Jurafsky, Daniel: 2002; „Automatic labeling of semantic roles“. Computational Linguistics 28(3), S. 245 – 288.
Pradhan, S., Hacioglu, K., Krugler, V., Ward, W., Martin, J. H., and Jurafsky, D.: 2005, „Support Vector Learning for Semantic Argument Classification“.
Mach. Learn.
60, 1-3 (Sep. 2005), S. 11-39.
Swier, Robert & Stevenson, Suzanne: 2004, „Unsupervised semantic role labelling“. In Proc. of the 2004 Conf. on EMNLP, p. 95 – 102. Regina Fritsch, Martin Böhmer 08.04.2008
49
Anhang
Literatur II
Kudoh, T. and Matsumoto, Y.: 2000, „Use of support vector learning for chunk identification“. In
Volume 7 Proceedings of the 2nd Workshop on Learning Language in Logic and the 4th Conference on Computational Natural Language Learning -
(Lisbon, Portugal, September 13 - 14, 2000).
Joachims, T.: 1999. „Making large-scale support vector machine learning practical“. In 169-184.
Advances in Kernel Methods: Support Vector Learning
, B. Schölkopf, C. J. Burges, and A. J. Smola, Eds. MIT Press, Cambridge, MA, Ratnaparkhi, A.: 1994, „A Simple Introduction to Maximum Entropy Models for Natural Language Processing“. Technical report, Institute for Research in Cognitive Science, University of Pennsylvania 3401 Walnut Street, Suite 400A Philadelphia, PA 19104-6228, May. IRCS Report 97 - 08.
Hacioglu, K.: 2004, „Semantic role labeling using dependency trees“. In
Proceedings of the 20th international Conference on Computational Linguistics
(Geneva, Switzerland, August 23 - 27, 2004).
Roger Levy, Lecture 12: „Deep semantics dependencies & semantic roles StatNLP “, Winter 2008, UCSD Linguistics.
Regina Fritsch, Martin Böhmer 08.04.2008
50
Anhang
Literatur III
Swier, Robert & Stevenson, Suzanne: 2005, „
Exploiting a Verb Lexicon in Automatic Semantic Role Labelling
Processing, S. 883 – 890.
“. Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Carreras, Xavier & Màrquez, Lluís: 2005, „Introduction to the CoNLL-2005 Shared Task: Semantic Role Labeling“. In Proceedings of CoNLL-2005. Carreras, Xavier & Màrquez, Lluís: 2005, Folien: „Introduction to the CoNLL 2005 Shared Task: Semantic Role Labeling“.
Carreras, Xavier & Màrquez, Lluís: 2004, „Introduction to the CoNLL-2004 Shared Task: Semantic Role Labeling“. In
CoNLL: Conference on Natural Language Learning
.
http://de.wikipedia.org/wiki/Semantische_Rolle http://de.wikipedia.org/wiki/Kasusgrammatik http://l2r.cs.uiuc.edu/~cogcomp/srl-demo.php
Bundestagsprotokolle und Bundestagsdrucksachen Regina Fritsch, Martin Böhmer 08.04.2008
51