Transcript Pertemuan ke-2
Pertemuan ke-2
Model dalam sistem temu kembali informasi
yasmi afrizal [email protected]
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Definisi IR
• Pencarian materi (biasanya dokumen) dari sesuatu yang sifatnya tak-terstruktur (unstructured, biasanya teks) untuk memenuhi kebutuhan informasi dari dalam koleksi besar (biasanya disimpan dalam komputer).
• Representasi, penyimpanan, organisasi, pencarian dan akses ke item informasi untuk memenuhi kebutuhan informasi pengguna.
• Penekanan pada proses retrieval informasi (bukan data).
• Karakterisasi kebutuhan informasi tidaklah mudah. Harus ditranslasi ke dalam suatu query terlebih dahulu. Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Motivasi
• Data retrieval – Dokumen mana yang mengandung himpunan keyword?
– Semantik didefinisikan dengan baik – Error dari suatu obyek mengakibatkan kegagalan!
• Information retrieval – Informasi mengenai suatu subyek atau topik – Semantik dapat bersifat lepas (longgar) – Error kecil ditoleransi Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
...Motivasi
IR di tengah pertunjukan – IR dalam 20 tahun terakhir: • Klasifikasi dan kategorisasi • Sistem dan bahasa • Antarmuka pengguna dan visualisasi – Masih, area dilihat sebagai bidang yang sempit – Web mengubah persepsi ini • Repository pengetahuan universal • Akses universal gratis (biaya rendah) • Volume raksasa dari informasi tanpa editorial board terpusat • Meskipun banyak masalah: IR merupakan kunci untuk menemukan solusi!
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Sistem IR
• Menerima query pengguna yang mewakili kebutuhan informasi • Mencari dan menginterpretasikan content (isi) dari item-item informasi • Membangkitkan suatu ranking yang mencerminkan relevansi terhadap kebutuhan informasi tersebut • Ide mengenai relevansi adalah sangat penting Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Kebutuhan IR
• WWW: lebih 25 milyar halaman web, 1.3 milyar gambar dan lebih 1 milyar pesan Usenet yang diindeks pada Google (2006) • Berbagai kebutuhan informasi: – Mencari dokumen yang masuk dalam topik tertentu – Mencari suatu informasi spesifik – Mencari jawaban dari suatu pertanyaan – Mencari informasi dalam bahasa berbeda – ...
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Penjualan Software
Text Retrieval
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Information Retrieval (IR)
• Secara teknis:
indexing
(pembuatan index) dan
retrieval
(pencarian keterangan) dokumen
textual
.
• Pencarian halaman pada WWW adalah aplikasi paling “ngetop” saat ini • Fokus pertama: meretrieve dokumen dokumen yang relevan dengan query.
• Fokus kedua: meretrieve himpunan besar dokumen secara efisien .
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Information vs Data Retrieval
• Sistem data retrieval (seperti database) berurusan dengan
structured data
hasil yang pasti (
exact
) yang mempunyai semantik terdefinisi dengan baik dan kebutuhan meretrieve • Sistem IR berurusan dengan dokumen bahasa alami (
natural language
) dan error kecil dapat diabaikan.
• Sistem IR harus meng interpretasi kan content kemudian me rank ing daftar content sesuai dengan tingkat relevansi nya.
• Tujuan: Me
retrieve
semua dokumen yang relevan sekaligus me
retrieve
sesedikit mungkin dokumen yang tidak relevan Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Sistem IR
Pertemuan ke-2 Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Contoh Sistem IR
• • • • • Conventional (katalog perpustakaan) Pencarian dengan kata kunci, judul, penulis, dll.
Text-based (Google, Yahoo, ASK).
Pencarian dengan kata kunci (keyword). Pencarian terbatas menggunakan query dalam bahasa alami.
Multimedia (QBIC, WebSeek, SaFe) Pencarian dengan penampilan visual (bentuk, warna,…) Sistem jawaban pertanyaan (AskJeeves, Answerbus) Pencarian dalam bahasa alami (terbatas) Lainnya: IR lintas-bahasa, music retrieval Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Sistem IR di Web
• Pencarian halaman web http://www.google.com
• Pencarian gambar http://images.google.com
• Pencarian isi (content) gambar http://wang.ist.psu.edu/IMAGE/ • Pencarian jawaban pertanyaan http://www.askjeeves.com
• Pencarian musik? Hari-hati, jangan melanggar hukum.
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Relevansi
• Relevansi merupakan suatu judgment (keputusan) subyektif dan dapat didasarkan pada: – topik yang tepat.
– waktu (informasi terbaru).
– otoritatif (dari suatu sumber terpercaya).
• – kebutuhan informasi dari pengguna.
Kriteria relevansi utama: suatu sistem IR sebaiknya (harus) memenuhi kebutuhan informasi pengguna.
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Pencarian Keyword
• Ide paling sederhana dari relevansi: apakah string query ada di dalam dokumen (kata demi kata, verbatim)?
• Ide yang lebih fleksibel: Berapa sering kata-kata di dalam query muncul di dalam dokumen, tanpa melihat urutannya (
bag of words
)? Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Masalah dengan Keyword
• Mungkin tidak meretrieve dokumen relevan yang menyertakan
synonymous terms
.
– “restaurant” vs. “café” – “NDHU” vs. “National Dong Hwa University” • Mungkin meretrieve dokumen tak-relevan yang menyertakan
ambiguous terms
.
– “bat” (baseball vs. mamalia) – “Apple” (perusahaan vs. buah-buahan) – “bit” (unit data vs. perilaku menggigit) Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Bukan Sekedar Keyword
• Kita akan mendiskusikan dasar-dasar IR berbasis keyword, tetapi… – Fokus pada perluasan dan pengembangan terakhir untuk mendapatkan hasil terbaik.
• Kita akan membahas dasar-dasar pembangunan sistem IR yang efisien, tetapi… – Fokus pada algoritma dan kemampuan dasar, bukan masalah sistem yang memungkinkan pengembangan ke database ukuran industri.
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
IR Cerdas
• Memanfaatkan pengertian atau makna dari kata yang digunakan.
• Melibatkan urutan kata di dalam query.
• Beradaptasi dengan pengguna berdasarkan pada
feedback
, langsung atau tidak langsung.
• Memperluas pencarian dengan term terkait.
• Mengerjakan pemeriksaan ejaaan / perbaikan tanda pengenal otomatis
.
• Memanfaatkan Otoritas dari sumber Semester Ganjil 2010/2011
Pertemuan ke-2
Indeks
• Sistem IR jarang mencari koleksi dokumen secara langsung. Berdasarkan pada koleksi dokumen, dibangun sebuah index . Pengguna mencari index tersebut.
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Indexing Otomatis
• Tujuan dari
automatic indexing
tanpa intervensi manusia.
adalah membangun index dan meretrieve informasi • Ketika informasi yang dicari adalah teks, metode automatic indexing akan sangat efektif.
• Penelitian automatic indexing fundamental dimulai oleh Gerald Salton , Professor of Computer Science di Cornell & mahasiswa Pasca-Sarjananya (Sistem SMART).
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
IR dari Koleksi Besar
• • • • Information retrieval dari koleksi sangat besar bersandar pada: – Jumlah computer power yang besar untuk mengerjakan algoritma sederhana terhadap jumlah data yang sangat banyak.
komputasi kinerja-tinggi – Pemahaman pengguna terhadap informasi dan kemampuan dari sistem.
Interaksi manusia - komputer Machine-learning banyak digunakan untuk mendapatkan kinerja terbaik.
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Searching & Browsing
• Orang dalam perulangan Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
IR dari Koleksi Dokumen Teks
• Kategori utama dari metode : – Ranking kemiripan terhadap query (vector space model).
– Pencocokan exact (Boolean).
– Ranking berdasarkan tingkat kepentingan dokumen ( PageRank ) – Kombinasi beberapa metode • Contoh: Web search engine, seperti Google & Yahoo, menggunakan metode kombinasi, berdasarkan pada pendekatan pertama dan ketiga, dengan kombinasi exact dipilih menggunakan machine learning Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Istilah Penting
• • • • Information retrieval: dan contextnya.
sub-bidang ilmu komputer yang berurusan dengan penemuan kembali dokumen (khususnya teks) terotomatis berdasarkan pada content Searching: Pencarian informasi spesifik di dalam badan informasi. Hasilnya adalah sehimpunan hit .
Browsing: Eksplorasi tak-terstruktur dari badan informasi.
Linking: Berpindah dari satu item ke item lain mengikuti link (sambungan) seperti rujukan (referensi).
Semester Ganjil 2010/2011
Pertemuan ke-2
...Istilah
• Query: Suatu string teks, menggambarkan informasi yang sedang dicari pengguna. Setiap kata dari query dinamakan
search term
.
• Query dapat berupa search term tunggal, string dari term, frase atau ekspresi tertentu menggunakan simbol khusus, misalnya regular expression.
• Pencarian Full text: berbagai kata.
Metode yang membandingkan query dengan setiap kata di dalam teks, tanpa membedakan fungsi dari • Pencarian Bidang : Metode pencarian pada bidang struktural atau bibliografis spesifik, seperti penulis atau judul. Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
...Istilah
• • Corpus: Koleksi dokumen yang diindeks dan dijadikan target pencarian.
Daftar kata: Himpunan semua term yang digunakan dalam indeks untuk suatu corpus (dikenal sebagai vocabulary file ).
• Pada pencarian full text, word list adalah semua term di dalam corpus, stop words dihapus. Term- term terkait dikombinasi dengan stemming .
• Controlled vocabulary dokumen.
: Metode indexing dimana word list bersifat tetap. Term-term dari vocabulary tersebut dipilih untuk mendeskripsikan setiap • Keyword: Nama untuk term-term dalam word list, terutama dengan controlled vocabulary Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
Mengurutan & Ranking Hit
• Ketika pengguna men-submit suatu query ke sistem IR , sistem mengembalikan sehimpunan hit. Pada koleksi dokumen besar, himpunan hit akan sangat besar.
• Nilai untuk pengguna sering tergantung pada urutan hit ditampilkan.
• Tiga metode utama: – Mengurutkan hit, misal berdasarkan tanggal – – Meranking hit berdasarkan kemiripan antara query dan dokumen Meranking hit berdasarkan kepentingan dari dokumen Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
IR Berbasis Teks
• Sebagian besar metode ranking didasarkan pada model ruang vektor (
vector space model
).
• Sebagian besar metode pencocokan (matching) didasarkan ada operator Boolean .
• Metode Web search mengkombinasikan model ruang vektor dengan ranking berdasarkan pada tingkat kepentingan dokumen.
• Banyak sistem (dalam praktek) menggabungkan fitur fitur dari beberapa pendekatan.
• Pada bentuk dasar, semua pendekatan menganggap kata sebagai token terpisah, dengan usaha minimal untuk memahami kata-kata secara linguistik.
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Frekuensi Kata
Pertemuan ke-2 • • Observasi: Beberapa kata lebih umum daripada yang lain.
Statistika: Koleksi sangat besar dari dokumen teks tak-terstruktur mempunyai karakteristik statistik serupa. Statistik ini: – Mempengaruhi efektifitas dan efisiensi dari struktur data yang digunakan untuk mengindeks dokumen – Banyak model retrieval memanfaatkannya Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
...Frekuensi Kata
• Contoh : Contoh berikut ini diambil dari : – Jamie Callan, Characteristics of Text, 1997 – 19 Juta kata sampel – Slide berikut memperlihatkan 50 kata yang paling umum, diranking (r) berdasarkan frekuensinya (f).
Jurusan Teknik Informatika Universitas Ahmad Dahlan Semester Ganjil 2010/2011
Pertemuan ke-2
...Frekuensi Kata
Pertemuan ke-2
Distribusi Ranking Frekuensi
• Untuk semua kata di dalam suatu dokumen, untuk setiap kata w –
f
adalah frekuensi munculnya w –
r
ranking dari w disusun menurut frekuensi. (kata yang paling umum muncul mempunyai rank =1)
Pertemuan ke-2
ContohFrekuensi Rank
• Slide berikut memperlihatkan kata kata di dalam data Callan yang telah dinormalisasi. Dalam contoh ini: –
r
adalah ranking dari kata w dalam sampel.
– –
f
adalah frekuensi kata w di dalam sampel.
n
adalah jumlah total kemunculan kata di dalam sampel.
Pertemuan ke-2