Semantic Role Labeling

Transcript Semantic Role Labeling

Semantic Role Labeling

PG 520 Intelligence Service Regina Fritsch, Martin Böhmer 08.04.2008

Agenda

 Einleitung  SRL Systeme      Probabilistisch SVM Maximum Entropy Model Unsupervised SRL CoNLL 2005  SRL Live-Demonstration  Fazit 08.04.2008

Regina Fritsch, Martin Böhmer 2

Einleitung

Semantic Roles I

 die Bedeutungsfunktion eines Satzteils auf den ganzen Satz  semantische Relation der Satzbestandteile zum Prädikat  Konzept seit Ende der 60er Jahre  Grammatikmodelle nutzen SR   Syntax & Semantik in einem Modell erfassen Universalgrammatik für alle Sprachen Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung

Semantic Roles II

nach Fillmore (1971):

 Agent führt die Handlung aus    Die nächste Frage stellt der Kollege Burgbacher .

Experiencer – nimmt etwas wahr, fühlt  Sie wird haben den Vorschlag gehört.

Instrument – Mittel, mit dem eine Handlung ausgeführt    Die Wahl findet mit verdeckten Stimmkarten , also geheim, statt.

Object (oft auch Theme) – verändert sich durch die Handlung  Die Regierung hat ein Denkmal Time – Zeit des Geschehens  Darüber werden wir morgen errichtet.

beraten.

Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung

Semantic Roles III

    Location  – Ort des Geschehens Sie dürfen Ihre Stimmkarte nur in der Wahlkabine ankreuzen.

Goal  – der Ort zu dem sich etwas bewegt Wir sind wieder in die Mitte Europas Wachstum anbelangt.

gerückt, was das Path  – Weg des Geschehens Im Übrigen haben die USA hervorragend mit den menschenverachtenden Taliban verhandelt, und zwar über eine Gaspipeline durch Afghanistan .

Source  – der Ort von dem aus sich etwas bewegt Herr Kollege Brüderle, setzen Sie sich doch einmal aufs Fahrrad und fahren von Ihrem Heimatort aus in Richtung Westen nach Frankreich .

Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung

Oberflächenkasus

Nominativ (wer oder was) Akkusativ (wen oder was) Dativ (wem) Genitiv (wessen) Maskulinum

der - er den - ihn dem - ihm des - seiner

Femininum

die - sie die - sie der - ihr der - ihrer

Neutrum

das - es das - es dem - ihm des - seiner

Plural

die - sie die - sie den - ihnen der - ihrer   Oberflächenkasus helfen SR zu bestimmen  leider nicht eindeutig  nicht alle Formen unterschiedlich ausgeprägt → Synkretismus 08.04.2008

Regina Fritsch, Martin Böhmer 6

Einleitung

Part Of Speech Tagging

 ordnet jedem Wort in einem Satz die Wortart zu ‘ 08.04.2008

Regina Fritsch, Martin Böhmer 7

Einleitung

Semantic Role Labeling

Definition:  Gruppierung von Wörtern in Sätzen  Zuordnung von semantischen Rollen häufiges Vorgehen:  Betrachtung der Verben, semantische Rollen sind deren Argumente  Verwendung syntaktischer Information Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung |

probabilistisches SRL

Probabilistisches SRL

 behandeln wie ähnliche Probleme  POS, Syntaxanalyse…  nutzen statistischer Techniken  Unterteilung in 2 Teilaufgaben  Identifizierung der Frameelementgrenzen  jedem Frameelement SR zuweisen  im weiteren:   per Hand annotierte Grenzen Ergebnisse später in etwa gleich 08.04.2008

Regina Fritsch, Martin Böhmer 9

Einleitung |

probabilistisches SRL

Merkmale I

 Phrase Type (pt):  syntaktischer Typ des Satzteils (NP, VP, S…)  Governing Categoryv (gov):  von einer NP wird der nächste Vorfahr S oder VP gesucht    Vorfahr S: Subjekt Vorfahr VP: Objekt für andere Typen als NP nur wenig Effekt  Position:  Komponente vor oder hinter dem Prädikat Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung |

probabilistisches SRL

Merkmale II

 Parse Tree Path:  Pfad vom Zielwort zur Komponente der Frage Bsp. Pfad 08.04.2008

häufigsten Werte des Pfad Merkmals Regina Fritsch, Martin Böhmer 11

Einleitung |

probabilistisches SRL

Merkmale III

 Voice:   Unterscheidung zwischen aktiven und passiven Verben ca. 5 % der Verben sind passiv (FrameNet database)  Head Word (h):      Hauptwort des Satzteils zur Bestimmung der grammatischen Funktion Bsp. NP: the old fashioned door Bsp. VP: might be hit Bsp. PP: on the table Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung |

probabilistisches SRL

Wahrscheinlichkeiten I

 zu wenig Daten um W‘keiten direkt über der vollen Menge der Merkmale zu berechnen:

(

gov

position

voice

)  # (

gov

position

voice

) # (

gov

position

voice

)  Lineare Interpolation: kombinieren der W‘keiten

(

Komponente

)   1

(

 4

(

 6

(

| | |

)

,   2

(

position

) 

voice

)  3

(

 |  5

(

r pt

, |

gov

) 

position

voice

)

)   7

(

)   8

(

t mit

) 

08.04.2008

Regina Fritsch, Martin Böhmer 

 1 13 

Einleitung |

probabilistisches SRL

Wahrscheinlichkeiten II

W‘keitsver teilungen in finalerVersion Bsp. W‘keiten für P(r|pt,gov,t), für das Verb abduct 08.04.2008

Regina Fritsch, Martin Böhmer 14

Einleitung |

probabilistisches SRL

Wahrscheinlichkeiten III

 andere Schemata um λ-Werte zu wählen haben relativ wenig Effekt  Bewertung hängt vom nur vom Ranking der W‘keiten ab, nicht den exakten Werten Backoff Kombination Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung |

probabilistisches SRL

Ergebnisse

 FrameNet database (8148 Beobachtungen) Kombinationsmethode Lineare Interpolation Backoff, Lineare Interpolation Basis: häufigste Rolle Korrekt 79,5% 80,4% 40,9% Trainingsmenge Testmenge Linear Backoff 80,4% 76,9% Basis 40,9% 40,9% 08.04.2008

Regina Fritsch, Martin Böhmer 16

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Rückblick SVM

  vektorbasiert, beliebig viele Dimensionen binärer Klassifizierer  One vs. All (OVA) • • n Klassen  n Klassifizierer hoher Datenaufwand   Paarweiser Vergleich • • n Klassen  n * (n-1) / 2 Klassifizierer Trainingsdaten ist im Vergleich zu OVA kleiner Klassifizierung:

f(x) = w · x + b

Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Feature Repräsentation

Problem: SVM arbeitet numerisch  Lösung: Binärer Featurevektor  alle möglichen Wörter, Tags, ... bilden je eine Komponente des Vektors    Beobachtung: Vektor hat schnell >100.000 Dimensionen, ist aber nur dünn (sparse) mit 1 besetzt speichere nur „1“-Indizes (sparse vector) • • SVM benutzt als Rechenoperation nur Skalarprodukt alle „0“-Komponenten entfallen aus Berechnung weitere Lösungen: TF / IDF basierte Werte 08.04.2008

Regina Fritsch, Martin Böhmer 18

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Nutzung der SVM

 POS-Tagging  Chunk Identification   Erkennen von zusammenhängenden Wörtern (= Chunk) kein vollständiges syntaktisches Parsen  IOB-Notation (Inside, Outside, Beginning)  Semantic Role Labeling Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Chunk Identification: Beispiel

 Eingabe: Text mit POS-Tags [ PPER [ ADJA [ VVPP Ich] [ VAFI habe] [ schwarzen] [ NN VVPP Koffer] [ PTKNEG genommen] [ PTKZU ausgesagt] , [ ART zu] [ VAINF nicht] haben].

die]  Ausgabe: Text mit IOB-Tags [ B-NP [ I-NP [ B-VP Ich] [ B-VP habe] [ I-VP schwarzen] [ I-NP genommen] [ I-VP ausgesagt] , [ B-NP Koffer] [ O zu] [ I-VP nicht] haben] .

die] Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

YamCha

Yet another Multipurpose Chunk Annotator  Bester beim CoNLL2000 Shared Task, Chunking  Funktion    Basis: SVM mit paarweiser Klassifizierung Eingabe: Text mit POS-Tags Features • • • w j t j c i Wort j POS-Tag von Wort j chunk label i (j = 2, …, 2) (j = 2, …, 2) (i = -2, -1) Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Labeling Verfahren

 Constituent-by-constituent  (C-by-C) Basis: vollständiges syntaktisches Parsen  Syntaxbaum eines Satzes wird zur einer Kette seiner Komponenten linearisiert  Komponentenweise Klassifikation  Phrase-by-phrase  Chunking (P-by-P)  Word-by-word  Chunking (W-by-W) 08.04.2008

Regina Fritsch, Martin Böhmer 22

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

SRL nach Pradhan et al. 2005

 Erweiterung von vorgestelltem, statistischen Ansatz von Gildea & Jurasky 2002  SVM statt Wahrscheinlichkeiten  neue Features  Vergleich von    C-by C mit vollständigem syntaktisches Parsen (deep / full parse) W-by W mit vollständigem syntaktisches Parsen W-by W oberflächliches Parsen (shallow parse) Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Deep-Parse-System Pradhan et al. 2005

Neue Features  NER: Person, Organization, Location, Date, ...

 POS-Tag des Headwords  Verb clustering Zusammenfassung von Verben mit ähnlichen Bedeutungen und Argumentfolgen  Verb sense information   wiegen (Gewicht): wiegen (Kind): Wiegende(r), Gewogenes Wiegende(r), Kind Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Deep-Parse-System Pradhan et al. 2005

Einfluss der Features  Senkung der Leistung:  NER Viele Komponenten enthalten NE, sind aber keine Charakteristika eines Prädikats  Steigerung der Leistung:      Head-Word Path Headword POS-Tag Verb cluster Verb sense Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Vergleich: deep vs. shallow Pradhan et al. 2005

Architektur Deep-Parse-System  Syntaktischer Parser von Charniak 08.04.2008

Regina Fritsch, Martin Böhmer 26

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Vergleich: deep vs. shallow Pradhan et al. 2005

Architektur Shallow-Parse-System  Nutzung von YamCha  OVA SVM System 08.04.2008

Regina Fritsch, Martin Böhmer 27

Einleitung | probabilistisches SRL |

SRL mit SVM

| SRL mit ME | unsupervised SRL | CoNLL-05 | Fazit

Vergleich: deep vs. shallow Pradhan et al. 2005

Ergebnisse

System

Deep, C-by-C Deep, W-by-W Shallow, W-by-W

80,6 70,7 66,2

67,1 60,5 54,9

F 1

73,2 65,2 60,0  Korpus: PropBank (July 2002) Sektion 02-21: Training, 00: Dev.-Test, Rest: Test  Hauptunterschied: Ableitung des Path Features 08.04.2008

Regina Fritsch, Martin Böhmer 28

Einleitung | probabilistisches SRL | SRL mit SVM |

SRL mit ME

| unsupervised SRL | CoNLL-05 | Fazit

Maximum Entropy Model

Schätze die Wahrscheinlichkeit für Auftreten einer Klasse

in Kontext

ab  Wahrscheinlichkeitsverteilung

p(a,b)

 Klasse

: POS Tag, semantische Rolle, …  Kontext

: Text, Satz, Wörter, …  Basis: Beobachtungen, Beispiele Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM |

SRL mit ME

| unsupervised SRL | CoNLL-05 | Fazit

Entropie

A B E = A x B S = A x B

~ (

)

(

)

(

)  

  E

(

) log

(

) Menge möglicher Klassen Menge möglicher Kontexte Menge aller Kombinationen endliche Trainingsmenge W‘keitsvt. von W‘keitsvt. von

x x

in S in E (Beobachtung) (Vorhersage) Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM |

SRL mit ME

| unsupervised SRL | CoNLL-05 | Fazit

Beobachtungen

Beobachtungen (

a i

b i

) werden mittels k

Features f i

repräsentiert (i = 1, …, k): f i : E → {0, 1} Daraus folgen Bedingungen für Modell:

 A  ,

 B

(

)

f i E

(

p f b

)

  

E a

 A 

f i

 B (

)

f i

(

) Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM |

SRL mit ME

| unsupervised SRL | CoNLL-05 | Fazit

Maximum Entropy Model

mit

 

p p

|



arg

f i

 max

 P

E f i H

,

(

) 

1 ,...,



* (optimale W‘keitsvt.) ist auch darstellbar als

* (

)

 

j k

  1 

j f j

(

) α j auf einfache Weise durch Generalized Scaling Algorithm (GIS) berechenbar Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM |

SRL mit ME

| unsupervised SRL | CoNLL-05 | Fazit

MEM: Beispiel

p(a,b)

x y total 0 1 A = {a, b}, B = {0, 1}

0,3 0,2

0,6 1,0

1 

1 , wenn



0 0 , sonst

(

, 0 )

 

E p f

1 

(

, 0 )



0 , 6

  

(

)

1 (

) Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |

unsupervised SRL

| CoNLL-05 | Fazit

Unsupervised SRL

 ohne manuell getaggte Daten zuordnen  initiale eindeutige Zuordnungen anhand eines Verblexikons  erstellen eines Wahrscheinlichkeitsmodells um die restlichen Daten zuzuordnen  beim iterieren:   anwachsen der annotierten Daten herabsetzen der Schwelle des W’keitsmodells → alle Rollen sind getaggt 08.04.2008

Regina Fritsch, Martin Böhmer 34

Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |

unsupervised SRL

| CoNLL-05 | Fazit

Verblexikon

 listet mögliche Rollen für alle Argumente eines Verbs auf → siehe Frames  Eintrag:

whisper

Frames:

Agent V Agent V Prep(+dest) Recipient Agent V Topic

Verben in der selben (Sub-)Klasse:

[bark, croon, drone, grunt, holler, ...]  Bsp: Agent & Topic füllen Slots des Frames 08.04.2008

Regina Fritsch, Martin Böhmer 35

Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |

unsupervised SRL

| CoNLL-05 | Fazit

Frame Matching

 für jedes Verb die möglichen Rollen seiner Argumente berechnen + Argumentslots (Subjekt, Objekt, ind. Objekt, Adverbial)  Argumente haben Menge an möglichen Rollen, welche die Slots füllen könnten  einelementige Menge → Rolle zuordnen  bildet gelabelte Anfangsdaten  Wahrscheinlichkeitsmodell trainieren Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |

unsupervised SRL

| CoNLL-05 | Fazit

Frame Matching

 %Frame: Anteil der Slots im Frame die vorhergesagt / belegt werden konnten  %Sent: Anteil der zugeordneten Argumente in Bezug auf die vorhergesagten Slots  Score eines Frames = %Frame + %Sent

Mögliche Frames für V Agent V Agent V Theme Instrument V Theme Agent V Theme P Instr.

Agent V Recipient Theme Vorherg. Slots Subj.

Obj.

Prbj.

Agent Agent Theme Instr.

Theme Agent Theme Agent Recip.

Instr.

%Frame

100 100 100 100 67

%Sent

33 67 67 100 67

Score

133 167 167 200 133 Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |

unsupervised SRL

| CoNLL-05 | Fazit

Wahrscheinlichkeitsmodell

 Slots mit mehreren Möglichkeiten füllen:  Wenn W‘keit einer Kandidatenrolle einen Schwellenwert (

minEvidence)

nicht erreicht behalten für nächstes Backoff-Level →  Backoff-Modell: P(r|v,s,n)

→

λ 1 P 1 (r|v,sc) + λ 2 P 2 (r|v,nc) + λ 3 P 3 (r|vc,s)

→

P(r|sc) r = Rolle, v = Verb, s = Slot, n = Nomen im Slot, sc = Slotklasse, nc = Nomenklasse, vc = Verbklasse Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |

unsupervised SRL

| CoNLL-05 | Fazit

Rollenauswahl

 P(r|v,s,n) = Anzahl des Auftretens der Kombination Verb, Slot und Nomen  Auswahl: top zwei die den Schwellenwert

minEvidence

erreichen  Güte: Logarithmus des Verhältnisses   Schwellenwert log_ratio muss erreicht werden Rolle mit der höheren W‘keit zuweisen  Schwellenwert hoch initialisiert, mit der Zeit immer weiter herabsetzen Regina Fritsch, Martin Böhmer 08.04.2008

Einleitung | probabilistisches SRL | SRL mit SVM | SRL mit ME |

unsupervised SRL

| CoNLL-05 | Fazit

Ergebnisse

 Korpus: random 20% des „British National Corpus“ Rollenzuordnung zugeordnet korrekt nicht zugeordnet falsch möglich unmöglich identifizierte Argumente Base line Algorithmus eindeutig final 77.3

22.7

0 0 76.4

2.7

17.1

3.8

90.1

7.0

0 2.9

Base line alle Zielslots Algorithmus eindeutig final 63.7

36.3

0 0 75.9

6.8

14.1

3.1

87.2

10.4

0 2.4

  unmöglich: keine Kandidatenlisten vorhanden viele Zuordnungen bereits während des FrameMatchings → Supervised Methoden  alle Zielslots: bezieht auch Fehler die in Vorverabeitungsschritten gemacht wurden mit ein 08.04.2008

Regina Fritsch, Martin Böhmer 40

CoNLL-05

| Fazit Co

mputational

atural

anguage

earning - 2005 Shared Task

 19 teilnehmende Teams  3 Monate Bearbeitungszeit  gegeben:   Wörter, POS-Tags, Chunks, Abschnitte im Start-End-Format, NE, Zielverben Argumentzuordnung zu SR (nicht für Lernmenge verfügbar)  neu in 2005:    kompletter Syntaxbaum Vergrößerung der Trainingsdaten neue Testmenge aus dem Brown-Korpus  Trainingsdaten:  PropBank Korpus, WSJ – Teil des PennTreeBank Korpus Regina Fritsch, Martin Böhmer 08.04.2008

CoNLL-05

| Fazit POS-Tags

Bsp: Eingabeformat

Abschnitte NE Makierung der Zielverben Wörter 08.04.2008

Chunks kompletter Syntaxbaum Regina Fritsch, Martin Böhmer attract: Vorhersage der SR intersperse: Vorhersage der SR 42

CoNLL-05

| Fazit

SRL - Systeme

Auszug der Merkmalstypen ausgewählter Systeme: F 1 Rang 1 2 4 17 Team pun hag pra pon ML-Method SNoW ME SVM DT Komb. NE ja + ja ja nein + + Argument Typ PP Dic + + + + + + + + Ver Verb sub + + + + + + +  Kombination ist wichtig:  8 von 19: bis auf einen alle in TopTen  schlechte F 1 -Score:  meist weniger Merkmale genutzt 08.04.2008

Regina Fritsch, Martin Böhmer 43

CoNLL-05

| Fazit

Systeme nach F

-Score sortiert

08.04.2008

Regina Fritsch, Martin Böhmer 44

CoNLL-05

| Fazit

Ergebnisse

 F 1 -Score ≈ 80: Anstieg um10 Punkte (2004)  5 fache Vergrößerung der Trainingsmenge  komplette Syntaxbäume als Eingabe  verfeinerte Kombinationsverfahren entwickelt  weit weg von Wunschergebnissen  Brown-Korpus etwa um 10 Punkte schlechter  SRL-Modul in einer realen Anwendung → F 1 -Score ≈ 70 Regina Fritsch, Martin Böhmer 08.04.2008

08.04.2008

Demonstration

http://l2r.cs.uiuc.edu/~cogcomp/srl -demo.php

Regina Fritsch, Martin Böhmer 46

Fazit

Fazit

 Verschiedene Verfahren     Dominanz des Path / Headwod Feature Kombinierte Systeme sind die besten Reale Anwendungen: F 1 ≈ 70% Chance: Domainanpassung  Nutzung    

Fragebeantwortung Information Extraction

Summarization Maschinelle Übersetzung Regina Fritsch, Martin Böhmer 08.04.2008

Fragen, Anmerkungen?

08.04.2008

Regina Fritsch, Martin Böhmer 48

Anhang

Literatur I

       Engels, Eva & Vikner, Sten: 2006, „Satzglieder, Kasus und semantische Rollen: eine Einführung“. Tidsskrift for Sprogforskning 4.1, S. 17-37.

Krifka, Manfred: „Argumentenstruktur und Verbsemantik“, Vorlesungsskript - WS 2004/05.

Meyer, Paul et al.: 2002. „Synchronic English Linguistics. An Introduction“. Narr, Tübingen.

Gildea, Daniel & Jurafsky, Daniel: 2000, „Automatic labeling of semantic roles“. Proceedings of the 38th Annual Meeting on Association for Computational Linguistics, S. 512 – 520.

Gildea, Daniel & Jurafsky, Daniel: 2002; „Automatic labeling of semantic roles“. Computational Linguistics 28(3), S. 245 – 288.

Pradhan, S., Hacioglu, K., Krugler, V., Ward, W., Martin, J. H., and Jurafsky, D.: 2005, „Support Vector Learning for Semantic Argument Classification“.

Mach. Learn.

60, 1-3 (Sep. 2005), S. 11-39.

Swier, Robert & Stevenson, Suzanne: 2004, „Unsupervised semantic role labelling“. In Proc. of the 2004 Conf. on EMNLP, p. 95 – 102. Regina Fritsch, Martin Böhmer 08.04.2008

Anhang

Literatur II

     Kudoh, T. and Matsumoto, Y.: 2000, „Use of support vector learning for chunk identification“. In

Volume 7 Proceedings of the 2nd Workshop on Learning Language in Logic and the 4th Conference on Computational Natural Language Learning -

(Lisbon, Portugal, September 13 - 14, 2000).

Joachims, T.: 1999. „Making large-scale support vector machine learning practical“. In 169-184.

Advances in Kernel Methods: Support Vector Learning

, B. Schölkopf, C. J. Burges, and A. J. Smola, Eds. MIT Press, Cambridge, MA, Ratnaparkhi, A.: 1994, „A Simple Introduction to Maximum Entropy Models for Natural Language Processing“. Technical report, Institute for Research in Cognitive Science, University of Pennsylvania 3401 Walnut Street, Suite 400A Philadelphia, PA 19104-6228, May. IRCS Report 97 - 08.

Hacioglu, K.: 2004, „Semantic role labeling using dependency trees“. In

Proceedings of the 20th international Conference on Computational Linguistics

(Geneva, Switzerland, August 23 - 27, 2004).

Roger Levy, Lecture 12: „Deep semantics dependencies & semantic roles StatNLP “, Winter 2008, UCSD Linguistics.

Regina Fritsch, Martin Böhmer 08.04.2008

Anhang

Literatur III

        Swier, Robert & Stevenson, Suzanne: 2005, „

Exploiting a Verb Lexicon in Automatic Semantic Role Labelling

Processing, S. 883 – 890.

“. Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Carreras, Xavier & Màrquez, Lluís: 2005, „Introduction to the CoNLL-2005 Shared Task: Semantic Role Labeling“. In Proceedings of CoNLL-2005. Carreras, Xavier & Màrquez, Lluís: 2005, Folien: „Introduction to the CoNLL 2005 Shared Task: Semantic Role Labeling“.

Carreras, Xavier & Màrquez, Lluís: 2004, „Introduction to the CoNLL-2004 Shared Task: Semantic Role Labeling“. In

CoNLL: Conference on Natural Language Learning

http://de.wikipedia.org/wiki/Semantische_Rolle http://de.wikipedia.org/wiki/Kasusgrammatik http://l2r.cs.uiuc.edu/~cogcomp/srl-demo.php

Bundestagsprotokolle und Bundestagsdrucksachen Regina Fritsch, Martin Böhmer 08.04.2008

Semantic Role Labeling

Transcript Semantic Role Labeling

Semantic Role Labeling

Agenda

Semantic Roles I

Semantic Roles II

Semantic Roles III

Oberflächenkasus

Part Of Speech Tagging

Semantic Role Labeling

Probabilistisches SRL

Merkmale I

Merkmale II

Merkmale III

Wahrscheinlichkeiten I

Wahrscheinlichkeiten II

Wahrscheinlichkeiten III

Ergebnisse

Rückblick SVM

Feature Repräsentation

Nutzung der SVM

Chunk Identification: Beispiel

YamCha

Labeling Verfahren

SRL nach Pradhan et al. 2005

Deep-Parse-System Pradhan et al. 2005

Deep-Parse-System Pradhan et al. 2005

Vergleich: deep vs. shallow Pradhan et al. 2005

Vergleich: deep vs. shallow Pradhan et al. 2005

Vergleich: deep vs. shallow Pradhan et al. 2005

Maximum Entropy Model

Entropie

~ (

)

(

)

Beobachtungen

Maximum Entropy Model

|

,

1 ,...,

* (

)

MEM: Beispiel

1 , wenn

0 0 , sonst

(

, 0 )

(

, 0 )

0 , 6

Unsupervised SRL

Verblexikon

Frame Matching

Frame Matching

Wahrscheinlichkeitsmodell

Rollenauswahl

Ergebnisse

mputational

atural

anguage

earning - 2005 Shared Task

Bsp: Eingabeformat

SRL - Systeme

Systeme nach F

-Score sortiert

Ergebnisse

Demonstration

Fazit

Fragen, Anmerkungen?

Literatur I

Literatur II

Literatur III

Directory