Transcript 1 - KAIST

Extracting Schedule Information
from Korean Email
Kyoungryol Kim
Table of Contents
1.
2.
3.
4.
Introduction
Methods and Experiments
Demo
Schedule
2
Introduction
3
Introduction
 Main information in Meeting Announcement
 Title
 Usually included in the title of email.
 Target Person
 Important information
 regarded as recipient of the email
 Start/End Time
 had researched already in [DH Choi 2010] with high performance.
 Start time : >90%, End time: >84% of F-measure.
 Meeting Location *
 [Min et al. 2005] tried to extract meeting location
245 emails, Meeting Location : 57% of F-measure
 Can be used in many location-based applications
especially with mobile equipment.
4
Goal
 Extract ‘Meeting Location (isHeldAt)’ from email,
약산샘물 활성화를 위한 각 대리점사장님및관련되시는 모든분
들과 아래와 같이 회의를 개최할 예정 이오니 참고 하시기 바
랍니다(사전 스케줄 조정)
회의일시: 2006.05.20 토요일 오후 2시
회의장소:약산주식회사 서울 대회의실
(신림본동다이아몬드빌딩 7층)
* 전철2호선 신림역 하차 2번출구에서 50M 도보(신빌딩 뒤)
주요내용: 사업경과 설명(본부장) / 효과적인 마켓팅 방안 강의
(염홍기박사)
회원증가 우수 대리점 사장 성공 사례 발표(원세권,박상규사장)
홍보용 전단, 씨디, 테이프등을 배부하오니 수령해 가셔서 활용
하시기 바랍니다
세부내용은 별도 공문 보내 드리겠습니다
isHeldAt
약산주식회사 서울 대회의실
신림본동다이아몬드빌딩 7층
location
Landmark
신림역
2번출구
신빌딩
Extract
5
Example of ‘Meeting Location’ (1/2)
 Meeting locations found in itemized sentence
 Cannot cover all cases just using ‘Pattern’ : e.g.) “장\\p{Space}소.*:”
 Dependency between the other information, linguistic/syntactic information.
3월 9일 월요일 오후5시 30분
종합과학관 A동 123호 복도 의 117호 강의실
논문, 실험 결과정리 발표 - 이은송이, 권민지
No item title
아이건강국민연대 대표자 회의 초대장
2009년 6월 26일 (금) 2009년 아이건강국민연대 대표자 회의에 모십니다.
안녕하십니까?
그간 아이들의 건강을 위해 애써 오신 연대 단체회원 여러분을 모시고 2009
년 아이건강국민연대 상반기 대표자 회의를 개최 하고자 합니다.
2009년 상반기에는 행복한 아이건강축제, 몸살림 마음 살림 어린이 교육, 제
주연대 친환경연합 MOU체결, 아이건강 제주연대 창립 등 여러 가지 활동을
하였습니다.
연대단체 대표분 들을 모시고 아이들을 건강하게! 농촌을 활기차게! 한반도
를 청정하게! 하는 목표로 2009년 하반기 사업의 방향과 사업에 대한 논의를
드리기 위한 자리이오니 부디 함께 해 주시길 바랍니다.
(참석 여부를 꼭 알려주세요)
아이건강국민연대 드림
◎ 일시 : 6월 26일(금) 오후 5시 ~ 7시
◎ 장소 : 청미래 (약도 참조)
◎ 일정 :
- 오후 4시 30분~5시 : 인사와 다과 나눔
- 5시~ 5시 30분: 2009년 상반기 사업 보고 및 하반기 사업계획
- 5시 30분 ~ 7시 : 법안추진 보고 및 2009년 하반기 중점 사업계획
- 7시 ~8시 : 석식 및 친교
※ 문의 사항 : 김민선 사무국장 (019-338-9040)
장유능동하드코트 개장기념 동호인 대회 대표자 회의를 사정상 아래와 같이
연기합니다.
1.사 유 : 2008년 8월 19일(화) 오후7시 서키트대회 만찬회 실시로 인해 연기
2.대표자 회의 변경일자 : 2008년 8월 20일 (수) 오후 7시 협회(삼계)사무실
3. 각 클럽대표자 및 협회 임원, 고문님들께서는 만찬회에 참석하여 주시기
바랍니다.
Different item title
시민 모두가 행복한 도시 익산! 이제는 여성이다!
익산의제21 복지환경분과에서 주최하는 성평등 시민강좌 및 여성정책발전 토론회!
현재 3번의 시민강좌를 마치고 드디어 다음주 목요일 여성정책발전 토론회를 개최합
니다.
익산 성평등 시민강좌 및 여성정책발전 토론회
- 2009년 7월 9일(목) 오후 4시 영등동 시립도서관
No item title
1. 주제발표
* 여성친화도시 익산시 여성정책 발표 : 김 태 준(익산시 정책보자관)
* 익산시 여성정책에 대한 제언 : 전 정 희(전북여성정책발전센터 소장)
2. 종합토론
* 좌장 : 하 춘 자(익산의제21실천협의회 복지환경분과위원장)
* 토론자 : 김용균 시의원, 김태준 보자관, 전정희 소장, 방신영(익산여성의전화 부설
기관장)
2009 녹색구매 세계대회
○ 대 회 명 : 제3회 녹색구매세계대회
○ 대회일시 : 2009년 10월 20일(화)~24일(토) / 5일간
○ 대회장소 : 개막식 - 경기도 문화예술회관, 컨퍼런스 - 호텔 캐슬, 부대행사 –
화성행궁 광장
○ 참가예상 : 약70개국 1,500여명
3 meeting locations
○ 주요내용 : 10월 20일 - 녹색장터 및 전야제(라디오공개방송) 10월 21일 - 개회식,
주제강연, 세션운영 / 녹색장터
※ 개회식은 입장시간(8:40~9:20) 엄수
10월 22일 - 세션운영
10월 23일 - 종합토론, 선언문 채택 및 낭독, 폐회/수원투어
10월 24일 - 외국인 생태보전지역 탐방(DMZ)
○ 주 최 : 국제녹색구매네트워크(IGPN), 자치단체국제환경협의회(ICLEI)
○ 주 관 : 녹색구매세계대회조직위원회, KGPN(한국녹색구매네트워크), 한국소비자
원, 한국환경산업기술원, 전국지속가능발전협의회, KBCSD(지속가능발전기업협의회),
국가청정생산지원센터
○ 후 원 : 수원시, 경기도, 환경부, 지식경제부, 공정거래위원회, 자원순환산업진흥협
의회, UNDESA(UN경제사회국), UNESCAP(UN아시아태평양경제사회이사회),CITYNET,
한국관광공사
6
Example of ‘Meeting Location’ (2/2)
 Meeting locations found in natural language sentence
 Cannot cover all cases just using ‘Pattern’ e.g.) “장\\p{Space}소.*:”
 Dependency between the other information, linguistic/syntactic information.
안녕하세요 한국예술치료학회입니다.
올해 춘계학술대회에 관한 문의 전화가 많아서 안내를 해드립니다.
공지가 늦는 이유는 학회 홈페이지가 새로 오픈준비에 있기 때문입니다.
이번 학술대회 부터는 학회원님들의 편리를 위하여 신청접수에서 부터 결
재까지 홈페이지상에서 가능하도록 작업중에 있습니다.
더불어 새로운 홈페이지에서는 학술시간, 논문신청접수, 임상감독, 자격증
심사까지 대부분의 업무가 전산화 될 것입니다.
더욱 자세한 공지는 추후에 올리도록 하겠습니다.
이번 학술대회는 5월28일(금) ∼ 5월30일(일) ※ 2박 3일입니다.
주제는 “발달장애 아동을 위한 예술치료의 효과” 에 관하여 기조강연과 워
크샵이 이루어질 예정입니다.
장소는 천안국립중앙청소년수련원 (2009년 추계학술대회장소와 동일함)
입니다.
그럼 새로운 홈페이지에서 뵙겠습니다.
조금만 기다려 주시기 바랍니다.
※ 세부계획은 게시판 학술자료실에 탑재해 두었습니다.
예술치료학회 간사 - 김유진- 문의전화 063)850-6320
오늘 월례회 회의 결과 번개미팅 일정이 21일 수요일 오전 10시30분으로
확정되었습니다.
이날 모임에 참석하실 청여 회원들께서는 일정에 차질이 없도록 정해진 시
간까지 교회앞으로 모여주시기 바랍니다.
차량은 그날 임보라목사님께서 교회 차량을 제공하시기로 했는데, 참석하
시는 분들의 차량 두 대에 나누어 타고 될 것 같습니다.
`트렁크갤러리`에 도착해서(11시경) 갤러리에 전시된 작품들을 관람한 후
맛있는 점심을 나누고, 이어서 더 맛있는 이야기도 나누시기 바랍니다.
근처에 있는 남산공원과 산책로를 거닐며 바쁜 일상을 쪼개 어렵게 끄집어
낸 여유를 느껴보시기 바랍니다.
약 1시30분경에 소박한 일정을 마칠 예정입니다.
많은 분들이 함께 나누는 시간과 추억이 되길 바랍니다.
우선 엠티 일정이 변경된 점에 대해서 대단히 죄송스럽게 생각합니다....
4월2일~3일로 변경 되었으며, 선발대와 본대 그리고 사정에 의한 후발대루 나눠서
가게 되었습니다.
일정 변경에 대한 이유를 말씀드리자면 먼저 선배님들의 스케쥴을 고려한 점도 있으
며, 신입회원 분들의 저조한 참석률 때문에 다시 금요일로 변경하게 되었습니다...
다시 한번 죄송스럽게 생각합니다.
따라서 다시 정확한 인원 조사를 위해 월요일 즉 내일 간단히 말씀드릴게 있어서 긴
급 회의를 소집하고자 합니다.
시간은 일단 수업 끝나고 6시30분쯤이 될것이구요
장소는 일단 5층 자판기 앞에서 모인다음에 다른 강의실로 옮기겠습니다.
엠티비 내주신 분들중에 부득이한 사정으로 인해 못 가시는 분들껜 환불해드리겠습
니다.
또한, 토요일 일정으로 인해 못 가셨던 분들은 금요일로 변경되었으니 엠비티를 지참
하시고 와주시기 바랍니다.
첫 엠티고 선배님들도 어렵게 모시게 되었으니 신입분들께선 어쩔수 없는 사정이 아
닌한 꼭 참석해주시길 바랍니다.
그럼 낼 뵙겠습니다.
이번 06년도 부회장을 맡게된 전대성입니다.;
12월 5일 월요일 7시 학관 3층 세미나 실에서 임원 회의가 있을 예정이오니 임원 여
러분들께서는 꼭 참석해 주시기 바랍니다.
내용은 대략 겨울 엠티와 종강총회 때 올라온 건의사항에 대해 회의할 것으로 생각
됩니다.
1학년 임원여러분들은 꼭 참석해 주세요.
2010년도 제4차 사장간담회 및 임시총회를 5월 20일(목) 07:30 소공동 롯데호텔 36
층 버클리룸에서 개최하오니 참석하여 주시기 바라며, 안건은 공문발송목록 제177번
(총무 제122호, 2010. 5. 10 발송)을 참고하여 주시기 바랍니다.
끝.
7
Methods and Experiments
8
Proposed Architecture
약산샘물 활성화를 위한 각 대리점사장
님및관련되시는 모든분들과 아래와 같
이 회의를 개최할 예정 이오니 참고 하
시기 바랍니다(사전 스케줄 조정)
회의일시: 2006.05.20 토요일 오후 2시
회의장소:약산주식회사 서울 대회의실
(신림본동다이아몬드빌딩 7층)
* 전철2호선 신림역 하차 2번출구에서
50M 도보(신빌딩 뒤)
주요내용: 사업경과 설명(본부장) / 효과
적인 마켓팅 방안 강의(염홍기박사)
회원증가 우수 대리점 사장 성공 사례
발표(원세권,박상규사장)
홍보용 전단, 씨디, 테이프등을 배부하오
니 수령해 가셔서 활용 하시기 바랍니다
세부내용은 별도 공문 보내 드리겠습니
다
Input
Document
약산샘물 활성화를 위한 각 대리점사장
님및관련되시는 모든분들과 아래와 같
이 회의를 개최할 예정 이오니 참고 하
시기 바랍니다(사전 스케줄 조정)
회의일시: 2006.05.20 토요일 오후 2시
회의장소:약산주식회사 서울 대회의실
(신림본동다이아몬드빌딩 7층)
* 전철2호선 신림역 하차 2번출구에서
50M 도보(신빌딩 뒤)
주요내용: 사업경과 설명(본부장) / 효과
적인 마켓팅 방안 강의(염홍기박사)
회원증가 우수 대리점 사장 성공 사례
발표(원세권,박상규사장)
홍보용 전단, 씨디, 테이프등을 배부하오
니 수령해 가셔서 활용 하시기 바랍니다
세부내용은 별도 공문 보내 드리겠습니
다
약산샘물 활성화를 위한 각 대리점사장
님및관련되시는 모든분들과 아래와 같
이 회의를 개최할 예정 이오니 참고 하
시기 바랍니다(사전 스케줄 조정)
회의일시: 2006.05.20 토요일 오후 2시
회의장소:약산주식회사 서울 대회의실
(신림본동다이아몬드빌딩 7층)
* 전철2호선 신림역 하차 2번출구에서
50M 도보(신빌딩 뒤)
주요내용: 사업경과 설명(본부장) / 효과
적인 마켓팅 방안 강의(염홍기박사)
회원증가 우수 대리점 사장 성공 사례
발표(원세권,박상규사장)
홍보용 전단, 씨디, 테이프등을 배부하오
니 수령해 가셔서 활용 하시기 바랍니다
세부내용은 별도 공문 보내 드리겠습니
다
Named Entity
Recognition
(Location)
Relation Type
Classification
약산주식회사 서울 대회의실
신림본동다이아몬드빌딩 7층
isHeldAt
location
Landmark
신림역
2번출구
신빌딩
OUTPUT
- isHeldAt
- locationLandmark
- generalLocation
9
Baseline system
 [Min et al 2005] Information Extraction Using Context and
Position
 Corpus : 245 meeting announcement email
 Target : Attendee, Meeting Location, Time, Date
 Performance (F-measure) :
 Attendee : 36%, Meeting Location : 57%, Time : 92.5%, Date : 91%
 Method
 Sentence to LSP
 NE Recognition
 ME, NN, Pattern-selection
 Instance Disambiguation
 ML : Naive Bayes
 Score calculation
10
Reference for NER tagging
 [Lee et al. 2006] Fine-grained Named Entity Recognition using
Conditional Random Fields for Question Answering
 Performance :
 Precision 85.8%, Recall 81.1%, F1 83.4%
 Boundary tags : IBO2 model (B-I-O)
 NE-classes : 147 types
 Domain of Corpus:
Boundary
Detection
(CRFs)
3 classes
NE-type
Classification
(ME)
147 classes
 Encyclopedia documents (Training : 8,037 docs, Test : 100 docs)
 Features :








Lexical feature -2,-1,0,1,2
Suffix -2,-1,0,1,2
POStag -2,-1,0,1,2
POStag + length
Position of Morpheme in Eojeol (Start /Center /End)
NE dictionary (true or false) + length
NE dictionary feature (index) + length
15 regular expressions : [A-Z]*, [0-9]*, [0-9][0-9], [0-9][0-9][0-9][0-9], [A-Za-z0-0]*, ---.
11
NER - Boundary Detection
 Boundary Tagset : IOB2
 Features
 Linguistic
 {-2,-1,0,1,2} POS-level word, {-2,-1,0,1,2} POS-tag,
POS-tag + length of the word
 Orthographic : 18 types of the word
 isKorean, isAlpha, isAlnum, 2DigitNum, ...
 Gazetteer :
 Person/Location Pronoun dictionary (ETRI 99)
 from Training corpus :
 Heading words, Surrounding words, NE words
 External resources :
 Person : Chosun/Joins.com Person DB (64,042)
 Location :
Nate Local DB 35,335, Sigaji.com 8,193, Ofood 43,390
BusStop 19,431, Address,B/D 23,365, Subway 1,288,
Hotel (Auction accomodation, hotelnjoy) 884,
Country/Place name 11,946,
School(Elementary~University) 21,957
 Syntactic :




Position of the POS-level word in the chunk (relative:S/C/E, absolute)
Position of the chunk in the sentence (relative:S/SC/CE/E, absolute)
Position of the sentence in the document (relative:S/SC/CE/E, absolute)
TF-IDF
12
External Resources (1)
 Location :
 Shop Name (80,436)
 Nate Local DB (3~10 chars.)
(http://localinfo.nate.com)
 Sigaji.com Shop DB (3~10 chars.)
(http://sigaji.com/location/)
 oFood
(http://ofood.co.kr)
 Hotel Name (884)
 Auction Accomodation
(http://accommodations.auction.co.kr)
 Hotelnjoy
(http://www.hotelnjoy.com)
 Public Transportation (20,719)
 Subway stations
 Bus-Stop names
 Address (from Zipcode DB) (23,365)
 Si/do, Gu/gun, Dong/myun/ri, B/D names
13
External Resources (2)
 Person
 Chosun Person DB, Joins Person DB
 64,042 people
 Name combination feature from
collected person DB.
 assume length of the name is 3
 # 1st char : 177, #2nd char : 351, #3rd char: 475
 possible combinations : 29,510,325
e.g.)
+
+
= 갈영남
14
Stats. : NER - Boundary Detection
 Boundary Detection
 Target : 12,970 sentences in 949 documents.
 CRFs Model, 10-fold cross validation, Exact Matching
 Baseline is the case applying Word and POS-tag feature only
B-Location
100.00%
80.00%
80.00%
60.00%
60.00%
40.00%
40.00%
20.00%
20.00%
0.00%
I-Location
100.00%
Baseline
System
0.00%
Precision
Recall
F-measure
Precision
Recall
F-measure
baseline
I-Location
baseline
B-Location
Precision
49.99%
64.74%
Precision
24.94%
64.16%
Recall
16.97%
58.04%
Recall
39.82%
72.85%
F-measure
24.34%
61.21%
F-measure
32.99%
68.23%
15
ETRI NER Evaluation Result
 ETRI-NER(CRFs model) by Dr. Changki Lee
 Test on 460 documents of Meeting Email Corpus
 Exact Matching, Contain, Contain Similar types
100.00%
90.00%
Exact Matching
80.00%
Contain
70.00%
Contain Similar Types
60.00%
50.00%
Exact
Matching
Contain
Contain
Similar Types
40.00%
Precision
13.35%
41.02%
23.66%
30.00%
Recall
13.67%
35.50%
74.64%
F-measure
13.51%
38.06%
35.93%
20.00%
10.00%
0.00%
Precision
Recall
F-measure
Similar Types as Location: <*:AF_BUILDING>, <:LC>, <OGG_*)
e.g. )
ㅇ장소 : <서울: LCP_CAPITALCITY > <COEX:OGG_BUSINESS>, <아셈홀:AF_BUILDING> 회의실 <208호:QT_ORDER>
16
Fine-Grained NE Tag Set
 Fine-grained Named Entity Tag set
 ETRI Tag Set is aimed to use QA task
 42 classes are related to Meeting schedule information extraction
task.
1
Artifact
수정사, 광화문, 서대문
19 LC_OTHERS
지명_기타
경인, 여의도역, 대방역, 번동2단지,
20 LCP_COUNTRY
지명_장소_국가
일본, 한일, 이스라엘
21 LCP_PROVINCE
지명_장소_주(도)
충남, 전라북도, 제주, 경기도
22 LCP_COUNTY
지명_장소_자치주(군)
산 43-15, 서초구, 서초동
23 LCP_CITY
지명_장소_도시
부산, 울산광역시
24 LCP_CAPITALCITY
지명_장소_수도
서울, 마닐라
25 LCG_RIVER
지명_지형_강
우포늪, 주남 저수지, 한강, 청계천, 낙동강
26 LCG_OCEAN
지명_지형_대양
태평양, 대서양
2
AF_BUILDING
인공물_건물
형남공학관, 공학관, 중앙빌딩
3
AF_ROAD
인공물_도로
뱅뱅사거리, 대학로, 효성고가교, 경부고속도로, 21번 국도
4
OG_OTHERS
기관_기타
조직위원회, 문화예술재단, 운영위원회, 총학생회
5
OGG_ECONOMY
기관_경제
한국프랜차이즈협회, 중소기업기술정보진흥원
6
OGG_EDUCATION
기관_교육
영남대학교, 경산캠퍼스, 대성고체육관, 단곡초
7
OGG_MILITARY
기관_군사
방위사업청
27 LCG_BAY
지명_지형_만
한반도, 순천만,
8
OGG_MEDIA
기관_미디어
한겨례신문, MBC스튜디오
28 LCG_MOUNTAIN
지명_지형_산
대둔산, 성산, 약산
29 LCG_ISLAND
지명_지형_섬
여의도, 송도,
30 LCG_CONTINENT
지명_지형_대륙
동유럽, 아시아, 남아시아, 동아세아,
9
Organization
AF_CULTURAL_ASSET 인공물_문화재
OGG_SPORTS
Location
기관_스포츠
프로마술팀,
10 OGG_ART
기관_예술
리스트음악원, 계명아트센터, 트렁크갤러리
31 LC_TOUR
지명_관광지
천안국립중앙청소년수련원, 마로니에 공원, 인천대공원
11 OGG_SOCIETY
기관_사회
국제식품규격위원회, KSAG 원우회
32 QT_OTHERS
수량_기타
12 OGG_MEDICINE
기관_의약
경찰병원, 승우정신요양원
첫 모임, 첫, 613, 2가, 35번지, 1010호, 첫 번째, 3번 출
구, 24-1
33 QT_AGE
수량_세대
2세, The 10th, 42대,
13 OGG_RELIGION
기관_종교
선교부, 이슬람, 남선교회, 분당 샘물교회
34 QT_SIZE
수량_면적
90만평, 10여 만평, 7,948㎡,
14 OGG_SCIENCE
기관_과학
한국에너지기후변화학회, 한국지질자원연구원
35 QT_LENGTH
수량_길이
5인이내, 82km, 400m,
36 QT_COUNT
수량_개수
3회, 한번, 24개, 48 팀, 9기, 1기관
37 QT_MAN_COUNT
수량_사람수
22명, 60명, 두 분, 00명, 2000 여명
Quantity
15 OGG_BUSINESS
기관_사업
삼성전자, BEXCO, 금성교과서
16 OGG_LIBRARY
기관_도서관
시립도서관, 고려대학교 중앙도서관,
38 QT_PERCENTAGE
수량_비율
4배, 20%, 2천억 이상, 1/3 이상
17 OGG_LAW
기관_법률
서울고등법원, 서울가정법원
39 QT_ORDER
수량_순서
1, 2, 3, 221호, 1층, 40차, 2호선
40 QT_PRICE
수량_금액
4만원, 1만원, 5천원, 무료, $40, 8,000 원
41 QT_PHONE
수량_전화번호
064-724-2001, 011-212-9476, 전화 02) 3277-3847
42 TM_DIRECTION
용어_방향
아래, 옆, 중부, 맞은편, 우회전
18 OGG_POLITICS
기관_정치
국회, 국회의원회관,
Term
17
Stats. : Relation Type Classification
 Document-Location Relation Type Classification
 Target : 1,844 Location-type Terms
 1,104 isHeldAt (59.98%)
 126 locationLandmark (6.83%)
 614 generalLocation (33.3%)
Relation Type of Location
614
isHeldAt
locationLandmark
1104
generalLocation
126
18
Features: Relation Type Classification
 Term Dependency
 relative position of start time toward the term. (left/right in current sentence, previous/next sentence)
 Linguistic
 Gazetteer
 Dictionary
 noun sequence feature.
 verb feature.
 suffix feature.
 from Training Corpus :
 Heading words in the current / previous / next sentence.
 Surrounding words in the current / previous / next sentence.
 Term consisting word in
 Pronoun Dictionary (ETRI 99)
 Address book
 Shop name (Nate Local DB / Sigaji.com / Ofood.com)
 Hotel(Auction accomodation, hotelnjoy)
 Country, place name of the world.
 School name (Elementary-Middle-High school/University)
 Syntactic




number of morphemes for each type of POS-tag.
number of eojeol (chunk) in the current / previous / next sentence.
position of the term in the sentence (relative:S/SC/CE/E, absolute)
position of the sentence in the document (relative:S/SC/CE/E, absolute)
applied
to be applied
19
Experiment: Relation Type Classification
 Document-Location Relation Type Classification
 Target : 1,844 Location-type Terms
 SVMs 3 classes (multi-class) classifier
 Baseline for each relation-type is the result of when system selects each type only.
isHeldAt
100.00%
100.00%
locationLandmark
generalLocation
100.00%
80.00%
80.00%
80.00%
60.00%
60.00%
60.00%
baseline
40.00%
40.00%
40.00%
20.00%
20.00%
20.00%
0.00%
0.00%
0.00%
Precision
Recall
baseline
Precision
Recall
F-measure
F-measure
Precision
System
59.38%
84.04%
Precision
100.00%
76.37%
Recall
74.51%
80.02%
F-measure
Recall
F-measure
baseline
System
System
Precision
Recall
F-measure
baseline
7.01%
15.38%
Precision
100.00%
1.98%
Recall
13.11%
3.51%
F-measure
System
33.61%
60.77%
100.00%
81.61%
50.31%
69.66%
20
System Demo
 http://barnabas.kaist.ac.kr:8080/NER
 Example documents:
주간 회의를 아래와 같이 갖고자 하오니 바쁘고 힘든
일 있으시더라도 적극 참석 바랍니다.
----- 아 래 ----일 시 : 2011년 3월 24일 (목요일) 오후 7시
장 소 : KAIST KI빌딩 내 카페베네
KAIST 오시는길 :
충남대사거리에서 우측도로를 타고 1km 정도 오시면
됩니다.
연락처 : ☎ 042-350-7825 김경렬
이번주 CI LAB 석사 모임 공지를 하겠습니다.
26일(토요일) 오후 2시에 하기로 하였습니다.
일정 변경에 대한 이유를 말씀드리자면 신입생들의 저
조한 참석률 때문에 다시 토요일로 변경하게 되었습니
다. 다시 한번 죄송스럽게 생각합니다.
일단 '2층 자판기 앞 소파'에서 모입니다.
부득이한 사정으로 인해 못 오는 분들은 미리 연락해주
십시오.
첫 모임이고 선배님들도 어렵게 모시게 되었으니 신입
분들께선 어쩔수 없는 사정이 아닌한 꼭 참석해주시길
바랍니다.
그럼 토요일에 뵙겠습니다.
김경렬 드림
21
Schedule Plan
 ~March 18:
 Finish implementing NER module with NE type classification.
 Performance evaluation comparing with Dr.Lee's NER on our
corpus.
 ~March 25:
 Finish implementing Relation Type Classification module
 ~March 31:
 System refinement.
 Start to writing paper.
22