KNOWLEDGE IN TEXT
Download
Report
Transcript KNOWLEDGE IN TEXT
Muhammad Yusuf
Http://yusufxyz.wordpress.com
Teknik Multimedia dan Jaringan
UNIVERSITAS TRUNOJOYO
Document Collection (Mengumpulkan
Document/Informasi)
Document Retrieval (Mengakses
Document/Informasi)
Text Mining (analisa berdasarkan linguistic)
Ontologies (pemodelan untuk
merepresentasikan object dalam type,
properties, dan relasinya)
Domain (dependent or independent)
Ketergantungan dgn dokumen lain
Structured or Non Structured Texts
Memiliki struktur khusus or tidak, contoh :
HTML
Formated or Non Formated Documents
Memiliki format khusus or tidak, contoh : Doc vs
Txt
Textual or Multimedia Documents
Berupa text atau multimedia
Monolingual or Multilingual Documents
Berupa satu bahasa or banyak bahasa
Centralized or Non Centralized Document
Management
Lokasi dokumen satu tempat or banyak
tempat
Controlled or Free Additional of Doc
Pengaksesannya butuh login or tidak
Stable or Non Stable Collections
Ketersediaannya tetap or tidak tetap.
Inconsistent Document
Incomplete descriptions
Duplicates or Worse
Different terminologies/ languange/
perspective/ abriviation
QUERY INTERPRETATION (Menggunakan
Query)
DOCUMENTS INDEXING (Menggunakan
Index)
RANGKING OF RETRIEVED DOCUMENTS
(mengurutkan sesuai rangkingn tertentu)
LINGUISTIC AND STATISTICAL
Contoh : Search Engine
Google
AllTheWeb from Fast Search & Transfer
(2002)
Index: 2,1 GB documents
Languages supported: 52
Linguistics used: Lemmatization, language
identification, phrasing, anti-phrasing, text
categorization, clustering, offensive content
reduction, finite-state automata
30 mill. queries per hari
VOLUME DATA
Sangat besar dan berkembang dinamis
Tersebar dibanyak tempat dan beda platform
MULTITUDE OF LANGUAGES
Multilingual web
40-50 languages used on the web
Many text encoding standart
DOCUMENT QUALITY
Missplelings (Salah eja)
Spam and offensive content (isi sampah)
Little text (isi tidak menggmbarkan)
All topics
USER BEHAVIOUR
Misspellings (Salah eja)
Query length and query session (panjang dan
seberapa sering)
Document yang dilihat umumnya yang diatas
LINGUISTIC ANALYSIS
Merubah bentuk Document or menambahkan
information (memilah dalam S,O,P,Pre dls)
Tagging (potongan kata yg memiliki arti),
lemmatization (mengindentifikasi satu kata dari
berbagai perubahan bentuk)
KNOWLEDGE DISCOVERING IN TEXT
Menemukan Bentuk
Memisahkan Dan Menemukan Kesalahan
Statistical and linguistic aproach
walk, walked, walks, walking -> walk
run, runs, ran, running ->run
go, goes, going, went, gone ->go
Concept extraction
Ontology construction
TOC construction
Clustering
Text categorization
Subtechniques:
- information extraction, text analysis
HUBUNGAN ANTAR BAGIAN DALAM
SUATU OBJECT YANG DIGAMBARKAN
Conceptual modelling
Document Analysis & Text Mining
Standarization Work