Transcript [오원석-KSWC2010]데이터의 가치를 높이는 Linked Data

(주)탑쿼드란트코리아 오 원 석
지구보다 큰 생각 : 화성시
2
The Web : The World’s Largest Information System
3
Search
색인
참조
검색
4
The Web : The World’s Largest Information System
5
Semantic Web & Linked Data
질의
6
Linked Data 원칙
http://bibleontology.com/page/Bilhah
http:// http://bibleontology.com/page/Bilhah
3.URIs
When
Include
RDF statements
upthat
a URI,
linkprovide
to otheruseful
URIs RDF
so that
Information
they can
1. Use4.
as someone
names
forlooks
things
discover related things
2. Use HTTP URIs so that people can look up those names
1. Use HTTP
2.
URIs as
URIs
names
so that
for things
people can
4. Include RDF
statements
that link tonames
other URIs so that they can discover related
look
up those
things
http://bibleontology.com/page/Bilhah
http://bibleontology.com/page/Bilhah
3. When someone looks up a URI, provide useful RDF Information
Tim Berners-Lee 2007 http://www.w3.org/DesignIssues/LinkedData.html
HTTP
URI
RDF
7
Linked Data 예시
[residences]
Seoul
HongGilDong
[researches]
[name]
[age]
http://dbpedia.org/
resource/Seoul
SemanticWeb
[sameAs]
Hong, Gil
Dong
35
http://dbpedia.org/
resource/Semantic_Web
http://sws.geonames.org/1835848/
[hasPhotoCollection]
[nearbyFeatures]
http://www4.wiwiss.fu-berlin.de/flickrwrappr/
photos/Semantic_Web
http://sws.geonames.org/1835848/nearby.rdf
8
Linked Data – 기본 원칙
• 웹에 데이터를 넣어서 데이터베이스에 질의하듯, 질의하고 싶어요
로 식별하고, Linking 하고,
로 표현하고,
SQL
로 질의하고,
로 유통하고,
SPARQL
9
Linked Data Cloud
10
Linked Data – SPARQL
11
Linked Data에 대해 조금만 더…
12
지겹지만 : Current Web – Document Web
인간이 이해할 수 있는(human-readable) 웹
Beijing
?
?
?
?
참고 : Chris Bizer / The Emerging Web of Linked Data
13
지겹지만 : Semantic Web – Data Web - Linked Data
기계가 이해하고 처리할 수 있는 (machine-readable) 웹
참고 : Chris Bizer / The Emerging Web of Linked Data
14
Current Web – Document Web
Web
Browsers
Search
Engines
참고 : Chris Bizer / The Emerging Web of Linked Data
15
OpenAPI - Mashup
Open
API
X
X
Open
API
X
Open
API
X
16
Linked Data use Semantic Web technologies …
Use Semantic Web technologies to
1. publish structured data on the Web,
2. set links between data from one data source
to data within other data sources.
RDF
RDF
RDF
RDF
RDF
RDF
RDF
RDF
RDF
RDF
RDF
link
A
RDF
links
B
RDF
links
C
RDF
links
D
E
참고 : Chris Bizer / The Emerging Web of Linked Data
17
Linked Data – 기본에 충실하자
웹상에서 데이터를 좀 더 효율적으로
교환(유통) 하고자 하는 것
SPARQL
HTTP
URI
RDF
18
Triple
• 주어(Subject) , 술어(Predicate), 목적어(Object)의 형태로 데이터를 표현하고 기술 하는 방법
• SPO 패턴으로 표현되기 때문에 트리플 구조라 부르며, 하나의 조합된 셋을 Statements라 함
• RDF, RDFS, OWL은 모두 XML 표현 형식의 RDF 구조를 기반으로 하며 RDF 트리플 형식으로 데이
터를 표현함,
O
S
P
P
O
S
P
O
S
19
Semantic Web & SPARQL
• Triple Pattern으로 질의
- RDF Model 구조를 모르더라도
- 질의하고 싶은 URI 개체 또는
- 질의하고 싶은 속성(property)을 통해
select ?p ?o where
{ <http://dbpedia.org/resource/Seoul>?p ?o}
select ?s ?o where
{ ?s <http://dbpedia.org/property/xxx> ?o}
20
SPARQL Endpoint
웹 브라우저
어플리케이션
SPARQL
HTML, RDF, XML,CSV, ..
HTML, RDF, XML, CSV, ..
SPARQL
HTTP
SPARQL Endpoint
Web Server / Servlet Container ( java)
트리플(Linked Data) 저장소
RDF Triple
21
SPARQL Endpoint – Content Negotiation
Browser
SPARQL Endpoint
Application
RDF Triple
22
시맨틱한 서비스 vs 시맨틱웹 서비스
통계
언어처리
마이닝
추론
검색
…
링킹
아이디어 발굴
탐색
어플 적용
검색
…
23
시맨틱한 서비스 vs 시맨틱웹 서비스
시맨틱한 서비스
통계
언어처리
논문1
마이닝
논문2
추론
검색
…
논문3
논문4
24
시맨틱한 서비스 vs 시맨틱웹 서비스
시맨틱웹 서비스
정보처리학회
정보과학회
지도학회
연구재단
25
시맨틱한 서비스 vs 시맨틱웹 서비스
정보처리학회
정보과학회
링킹
아이디어 발굴
탐색
지도학회
어플 적용
…
연구재단
링킹
정보를 더욱 풍부하게…
아이디어발굴
다양한 분석 및 서비스에
의 활용..
검색
탐색
연결된 정보간의 탐색
검색
자원간의 연결을 기반으로 검색
어플 적용
다양한 미디어에서의 서비
스 적용…
…
…
26
시맨틱한 서비스 vs 시맨틱웹 서비스
27
연결
• 웹상에서 데이터를 좀 더 효율적으로 교환(유통)하고자 하는 것
추론
지식 가공
시맨틱웹은 웹 상에서의 데이터 연결이 가장 우선시 되어야 합니다.
온톨로지
의미 검색
그것이 RDF와 SPARQL이 필요한 이유입니다.
텍스트 마이닝
자연어 처리
SNA
시맨틱 검색
28
공공데이터의 개방 ??
• 지금도 공공데이터는 개방되어 있다.
HTML
29
공공데이터의 개방 ??
• 지금도 공공데이터는 개방되어 있다.
30
데이터를 갖고 있는 곳들
31
Linked Data로 연결하면??
회사를내게
창업하고
혜택이
싶은데….
있는 복지관련된
정책은???
정보는???
아이를
출산했는데..
무엇을..??
data.go.kr
32
다른 나라는 ? 미국의 data.gov
□ data.gov의 목적
• 미국 연방정부의 고부가가치 기계가독형 데이터셋을 대
국민을 위해 개방
• 국민 스스로 창조적으로 이용하도록 함.
□ data.gov를 활용하여 국민들은
• RAW DATA를 보거나 다운로드
• 위젯이나 다른 툴을 이용하여 특정 데이터를 가공,
융합한 챠트나 지도, 스냅샷을 만들 수도 있음
□ data.gov의 Linked Data화
• 구축된 data.gov 의 일부를 시맨틱 웹 표준 포맷인
RDF(Resource Description Framework)로 변환하여
Linked Data로 공개
• Tim Berners-Lee와 함께 시맨틱 웹의 창시자인 Jim
Hendler 교수가 프로젝트 수행
33
미국의 data.gov
34
미국의 data.gov – Data Sets
35
미국의 data.gov – SPARQL Endpoint
36
또 다른 나라는 ? 영국의 data.gov.uk
□ data.gov.uk의 목적
o 정부의 투명성을 높이기 위해
o 국민의 권리 향상(Citizen empowerment)
o 데이터의 공개를 통한 경제적 사회적 가치 증대
o 영국이 차세대 웹(web of data, 즉, Semantic Web)에서 세계적으로 앞서나가기 위해
□ 비전
o 정부가 수집한 데이터의 원스톱샵(one-stop-shop for data collected by the government)
□ 시맨틱 웹 기술을 이용하여 링크를 통해 데이터를 융합하고 검색을 확장하도록 제공
o data.gov.uk의 이용자들은 이용가능한 정보를 이용해 자신만의 매쉬업을 만들 수 있을 것으
로 기대
37
영국의 data.gov.uk
38
영국의 data.gov.uk – SPARQL Endpoint
<?xml version="1.0"?>
<sparql xmlns="http://www.w3.org/2005/sparql-results#">
<head>
<variable name="type"/>
</head>
<results>
<result>
<binding name="type">
<uri>http://www.w3.org/2006/vcard/ns#VCard</uri>
</binding>
</result>
<result>
<binding name="type">
<uri>http://www.w3.org/2006/vcard/ns#Address</uri>
</binding>
</result>
<result>
<binding name="type">
<result>
<binding name="type">
<uri>http://education.data.gov.uk/def/school/TypeOfEstablishment_C
ommunity_School</uri>
Analytics</binding>
</result>
Education
<result>
<binding name="type">
Environment
Finance
<uri>http://education.data.gov.uk/def/school/TypeOfEstablishment_C
ommunity_Special_School</uri>
Transport
</binding>
Statutory
Notices
</result>
<result>
<binding name="type">
XML
JSON<uri>http://education.data.gov.uk/def/school/TypeOfEstablishment_F
<uri>http://education.data.gov.uk/def/school/TypeOfEstablishment_
Other_Independent_School</uri>
</binding>
</result>
<result>
<binding name="type">
<uri>http://education.data.gov.uk/def/school/School</uri>
</binding>
</result>
<result>
<binding name="type">
<uri>http://education.data.gov.uk/def/school/TypeOfEstablishment_V
oluntary_Aided_School</uri>
</binding>
</result>
oundation_School</uri>
</binding>
</result>
<result>
<binding name="type">
<uri>http://education.data.gov.uk/def/school/TypeOfEstablishment_V
oluntary_Controlled_School</uri>
</binding>
</result>
<result>
<binding name="type">
<uri>http://education.data.gov.uk/def/school/TypeOfEstablishment_L
A_Nursery_School</uri>
</binding>
</result>
</results>
</sparql>
39
공공정보의 활용
정보의
효율적 활용
• 다양한 디지털 환경에서, 다양한 서비스에 양질의 공공정보가 활용
부처간 협력
• 유관 부처와의 정보 연계에 따른 협력 체제 강화
정보의
재활용
창의적인
아이디어 발굴
• 정보의 생산, 관리 비용 절감
• 국민 스스로의 창의적인 아이디어 발굴 기회 부여
40
공공정보의 활용
다양한
서비스
민간
및
공공
다양한
채널
민간
포털 및 대국민
응용
및
활용
분석
인터넷TV
정보제공
연계
스마트폰
Linked Data
공개형 공공정보
융복합
인터넷
협력체제
강화 및
응용
유관기관
국해부, 행안부 등
발행 및 제공
Linkd Data Center
서비스 기획 및 개발
41
공공정보를 개방하는 방법
42
공공정보에 Linked Data를 활용하면…
단절된 국가 공공정보
부동산정보
문화재정보
일자리정보
연결된 국가 공공정보
교통정보
공간정보
문헌정보
환경정보
문화재정보
XXX 정보
토지정보
문헌정보
여행정보
XXX 정보
토지정보
상품정보
상품정보
민간 정보
포털 및 언론
환경정보
교통정보
공간정보
일자리정보
여행정보
부동산정보
해외 정보
대학
기타
DBPedia
BBC
etc
국가 공공정보
여행정보
공간정보
문헌정보
환경정보
XXX정보
43
공공정보에 Linked Data가 필요한 이유
•공동 활용 및 자발적 참여를 통해 데이터가 선순환 될 수 있는 구조로
• 정부가 공개한 공공정보를 활용해 누구나 창의적인 정보를 재생산, 재배포 할 수 있고, 관련 응용서비스를 발굴, 개발하
여 서비스할 수 있게 지원할 수 있도록…
 다양한 환경(웹, 스마트폰, IPTV 등)에서의 다양한 서비스(정보제공, 분석, 통계, 추천, SNS 등) 발굴
• 스마트폰이나 인터넷 TV, 차세대 웹환경의 전환에서 보듯, 양방향 정보 생산과 소비로 정보 유통 패러다임이 급속히 전
환되는 추세
 OpenAPI는 단방향이며, 주도적인 제공
• 국민 모두가 참여하여 데이터의 가치를 향상시키고, 창의적인 응용서비스를 발굴할 수 있도록 지원하는 데이터 유통 생
태계
 HTTP, URI, RDF, SPARQL  dereferenceable URI , Linking
• 구글이나 애플이 보유한 플랫폼이라는 것에 대해 배울점은??
 Linked Data는 데이터 유통 생태계를 조성하는 장을 위한 좋은 방법
44
공공정보에 Linked Data가 필요한 이유
• 공공이나 민간에서 공개된 공공정보를 활용하여 창의적인 새로운 서비스를 발굴하여 활용할 수 있도록
• 유관 부처 및 공공에서는 관련 정보를 활용하여 부처간 협력 체제 강화 및 업무 효율성 증
진에 활용할 수 있음
• 민간에서는 관련 정보를 응용하여 혁신적이며, 창의적인 서비스에 활용할 수 있음
• 잠재적 정보 활용 대상의 서비스 요구 다양성에 즉각적으로 대응할 수 있는 생태계 조성이
필요
45
Linked Data에 유용한 자원 발굴
• 공공정보를 분석하여 Linked Data에 유용한 자원 도출
- 대상 정보의 품질 및 업데이트 주기, 예측되는 응용서비스에서의 활용도 등을 체크
- Linked Data로의 확보가 용이하며, Linked Data로 구축 시 활용도가 높은 대상을 도출
• 정보 보유 기관과의 저작권 또는 공개 허용 범위 및 방법에 대한 협의
- 모든 국민이 Linked Data 정책을 통해 공개된 데이터를 자유롭게 활용하는 것에 대한
저작권 및 정보 보유 기관의 정책에 대한 협의
- 공개 정도에 대한 범위 확정 및 Linked Data 대상 자원으로써의 필요성 및 유용성 파악
• Linked Data 유용성 및 기대되는 응용서비스, 기대효과 등의 도출
- Linked Data를 확보하고 서비스함에 따라 예측 가능한 응용서비스 및 기대효과 도출
- 예측 가능 정도에 따른 단계별 Linked Data 구축 방안 및 시스템 개발 방안 도출
46
Linked Data를 담을 그릇이 필요
분석 및 설계
설계 도구
47
Linked Data 확보
변환 규칙
수집 규칙
변환
트리플(Linked Data) 변환
(인스턴스 생성)
트리플 저장소에 저장
48
Linked Data 통합 운영
웹
스마트폰
Linked Data
시각화 서비스
스마트TV
탐색/브라우징 서비스
Linked Data
제공 모듈
(SPARQL Endpoint)
Linked Data
변환기
공공시설
Linked Data
제공 서비스
외부 정보
연계 모듈
Linked Data
저장소
Linked Data
운영/관리
Linked Data
연계 관리
추론기
모델 설계
변환규칙 설계
49
앞에서 봤던 SPARQL Endpoint
웹 브라우저
어플리케이션
SPARQL
HTML, RDF, XML,CSV, ..
HTML, RDF, XML, CSV, ..
SPARQL
SPARQL Endpoint
Web Server / Servlet Container ( java)
트리플(Linked Data) 저장소
RDF Triple
50
SPARQL Endpoint 예시
51
SPARQL Endpoint 결과 예시
52
외부 정보와의 연결 – Linking & Mashup
Legacy Data
Mashup
OpenAPI(Data)
OpenAPI(Service)
Mashup
Linking &
Mashup
Mashup
외부정보 연계 모듈
트리플(Linked Data) 저장소
RDF Triple
53
시각화 서비스
54
탐색/브라우징 서비스
55
탐색/브라우징 서비스
http://dbpedia.org/page/Namdaemun
dbpprop:reference •http://www.oasis.go.kr/data/data2/resource/
16000/15163/www.iklc.co.krwebzinelandfall__
3444/index.htm
dbpprop:hasPh •http://www4.wiwiss.fu-berlin.de/flickrwrappr/p
otoCollection
hotos/Namdaemun
56
결론
1. 플랫폼을 보유하면 승리한다. – 구글, 애플
2. 플랫폼은 생태계를 조성한다.
3. 플랫폼에서는 콘텐트와 서비스가 자발적으로 창조되고, 활용되고, 도태된다.
4. Linked Data는 웹기반 데이터 유통 생태계를 조성하는 초석이다
5. Linked Data를 통해 데이터는 활용되고, 풍부해지고, 유용해 진다.
6. Linked Data, Linking을 통해 데이터들이 질적으로 풍부해지게 된다.
57
데이터 유통 생태계
웹
연구자
스마트폰
스마트TV
공공시설
개발자
서비스(컨텐트) 기획자
정책입안(결정)자
CEO
.
.
.
.
기관
.
.
.
.
58
데이터 유통 생태계
+ 재생산된 정보
+ 민간 정보, 해외 정보
+ 개별 공공정보
Linked Data 기반의
Linked Data
기반의 공공정보
공공정보
59
데이터 유통 생태계
포털
포털
SPARQL
공간정보
공개된 공공정보
웹
스마트폰
스마트TV
공공시설
행안부
복지부
주소정보
국해부
여행정보
복지정보
환경부
공간정보
환경정보
60
끝…
Gov2.0, 공공정보의 개방은
사람이 브라우저를 통해 읽을 수 있는 수
준이 아닌
기계간, 기계와 사람간 협업을 위한 수준
의 개방이었으면 좋겠습니다.
61
감사합니다
62