Transcript Laboratorio di analisi di dati linguistici
Laboratorio di analisi di dati linguistici
Laurea specialistica in Linguistica Teorica e Applicata, Università di Pavia Andrea Sansò [email protected]
A.A. 2005-2006 Corso progredito 10 CFU
Laboratorio di analisi di risorse linguistiche Parte quinta Elementi di XML La standardizzazione
Sommario
XML e HTML XML e SGML La sintassi di XML: tags, nesting, commenti, elementi e attributi, la pianificazione
Creazione di documenti XML ben formati: la DTD
Un sito di riferimento
http://www.w3schools.com
XML e HTML
XML e HTML
XML was designed to carry data.
XML
is not
a replacement for HTML.
XML and HTML were designed
with different goals
: XML was designed to describe data and to
focus on what data is
.
HTML was designed to display data and to focus on
how data looks
.
HTML is about displaying information, while XML
is about describing information
.
XML e HTML
XML (e
X
tensible
M
arkup
L
anguage) è un linguaggio di markup come HTML (
M
arkup
H
yper
L
anguage), ma a differenza di HTML
T
ext può essere personalizzato per applicarlo a dati di qualsiasi natura.
Un file HTML è un testo contenente dei tag di markup che indicano al browser come visualizzare la pagina:
Esempio
Che cosa significa etichettatura?
Da
www.tei-c.org
: … we define markup, or (synonymously)
encoding
, as
any means of making explicit an interpretation of a text
. Of course, all printed texts are implicitly encoded (or marked up) in this sense: punctuation marks, use of capitalization, disposition of letters around the page, even the spaces between words, might be regarded as a kind of markup, the function of which is to help the human reader determine where one word ends and another begins, or how to identify gross structural features such as headings or simple syntactic units such as dependent clauses or sentences. Encoding a text for computer processing is in principle … a process of making explicit what is conjectural or implicit,
a process of directing the user as to how the content of the text should be (or has been) interpreted
.
Che cosa significa etichettatura?
Da
www.tei-c.org
: By
markup language
we mean a set of markup conventions used together for encoding texts. A markup language must specify what markup is allowed, what markup is required, how markup is to be distinguished from text, and what the markup means.
HTML
Che cosa contiene un file
HTML
•
tags
di apertura e di chiusura
•attributi
contenuti all’interno delle tags
bla bla blaEsempio
Che cosa contiene un file
HTML
• • •
heading tags
Title
Subtitle
, …paragraph tags
This is a paragraph
line breaks
Una lista comoda di tutti i tipi di tag si trova all’indirizzo:
http://www.w3schools.com/html/html_quick.asp
Esempio
HTML
HTML
I
tags
(e in generale la sintassi) di
HTML
contengono esclusivamente informazioni relative alla visualizzazione del documento attraverso un browser.
HTML
, a differenza di
XML
, rimedia autonomamente ad alcuni errori facili da riconoscere (
esempio
). L’esistenza di applicazioni di tipo WYSIWYG come FrontPage ha reso non indispensabile la conoscenza della sintassi di HTML per la creazione di pagine web. Lo stesso non può dirsi di XML!
Inoltre, HTML è utilizzato per la visualizzazione e consultazione di file XML, e quindi è utile conoscerne il funzionamento (anche perché FrontPage non permette operazioni complesse come l’inserimento di dati codificati in XML all’interno di un documento HTML!).
HTML
Un breve corso di HTML è online al seguente indirizzo:
http://www.w3schools.com/html/default.asp
Un quiz per verificare la propria competenza in HTML si trova all’indirizzo:
http://www.w3schools.com/html/html_quiz.asp
Esempi semplici di pagine HTML all’indirizzo:
http://www.w3schools.com/html/html_examples.asp
HTML
Alcuni documenti non sono comodamente descrivibili con HTML.
Le pagine HTML consentono ad esempio di archiviare e visualizzare informazioni di database statici, ma se si desidera ordinare, filtrare e trovare informazioni o elaborarle in altri modi, HTML diventa insufficiente.
XML
non sostituisce
HTML. Come vedremo, nella gran parte dei casi i metodi di visualizzazione dei documenti XML
richiedono l’uso di HTML
.
Più che sostituirlo, XML si utilizza correntemente con HTML aumentando notevolmente la capacità delle pagine web di
presentare informazioni molto strutturate
.
2
XML e SGML
XML e SGML
XML e HTML si fondano su
SGML
(
S
tandard
G
eneralized
M
arkup
L
anguage), un linguaggio sviluppato per fornire un metodo di identificazione delle parti e del contenuto di un documento sulla base delle informazioni contenute. SGML e XML, a differenza di HTML, sono entrambi degli insiemi di regole usate per controllare la creazione di linguaggi di markup che identificano il contenuto dei documenti. XML e SGML sono entrambi particolarmente adatti a documenti che contengono grandi quantità di informazioni organizzate in modo simile, come cataloghi o database. SGML e XML consentono inoltre la lettura del documento da parte di qualunque tipo di software, e l’autore del documento è in grado di specificare come ogni porzione del documento verrà interpretata da tutti i software.
SGML
SGML è stato sviluppato avendo come finalità la predisposizione di un sistema di rappresentazione e gestione documentale in grado di consentire l’illimitato trasferimento dei dati codificati tra differenti piattaforme informatiche (hardware e software) senza perdite di informazione.
Inoltre, SGML è indipendente dalle
applicazioni
, cioè permette la rappresentazione di qualsiasi tipo di testo e di qualsiasi caratteristica testuale, indipendentemente dalle finalità per le quali il testo è stato memorizzato e codificato.
Infine, SGML è indipendente dalle lingue nazionali e dai relativi sistemi di scrittura, permettendo la rappresentazione di testi redatti in qualsiasi sistema alfabetico latino e non latino.
XML e SGML
SGML può sembrare il linguaggio perfetto per descrivere l’informazione contenuta nei documenti, ma è sempre stato considerato troppo complesso per diventare il linguaggio universale del web. Nel 1996, l’XML Working Group del
W3 Consortium
ha sviluppato un sottoinsieme di SGML chiamato XML. XML è quindi una versione semplificata di SGML ottimizzata per il web, che mantiene tutti i vantaggi di SGML. Come SGML, XML consente di creare un insieme proprio di etichette da utilizzare nella descrizione di un determinato documento o insieme di documenti.
3
La sintassi di XML:
tags, nesting, commenti, elementi e attributi, la pianificazione
Perché XML?
• XML is a cross-platform, software and hardware independent tool for
transmitting
•
information
.
XML will be as important to the future of the Web as HTML has been to the foundation of • the Web.
XML will be the most common tool for all
data manipulation
and
data transmission
.
Che cos’è XML?
Un semplice documento XML:
Paul Jane Reminder Don't forget me this weekend!
Che cos’è XML?
I tag XML descrivono la struttura del documento, oltre ad identificarne il contenuto. Proprio come i tag HTML, essi vengono aperti e chiusi con parentesi angolari. Dopo il tag di apertura verrà collocato il contenuto effettivo e infine il tag di chiusura (che si distingue per l’aggiunta di una barra trasversale alla parentesi angolare aperta).
Che cos’è XML?
Forse è difficile da comprendere immediatamente, ma XML non serve a “fare” niente. Serve soltanto a strutturare, immagazzinare e diffondere informazione. Questo semplice documento XML rappresenta informazione pura “codificata” attraverso i tags XML. Perché XML sia utile a qualcosa, bisogna trovare un sistema per diffondere questa informazione o semplicemente per visualizzarla.
Che cos’è XML?
I tags di XML
non sono predefiniti
, ma devono essere inventati. Gli autori di documenti HTML possono usare solo i tags predefiniti nello standard HTML (come
,
, ecc.).
Che cos’è XML?
Quando si usa HTML per visualizzare dei dati, i dati sono contenuti all’interno del file HTML. Utilizzando XML i dati si possono immagazzinare in files separati. In questo modo si può utilizzare HTML solo per il layout e la visualizzazione, essendo sicuri che i cambiamenti nel file XML non richiedono alcun adattamento del file HTML ausiliario.
Che cos’è XML?
I file XML possono essere compilati con un semplice editor di testo, e pertanto possono essere condivisi indipendentemente dal software e dall’hardware.
È possibile creare documenti XML utilizzando il proprio editor preferito (Microsoft Word, Notepad, ecc.), anche se esistono editor che facilitano la scrittura di XML (XMLSpy, JEdit, ecc.).
Che cos’è XML?
Esempi di editors: •XMetaL : è possibile prelevarne una versione dimostrativa (30 giorni) sul sito di SoftQuad (www.softquad.com) • XML Spy : è possibile prelevare una demo di questo software, funzionante per trenta giorni, dal sito web di Icon Information Systems (www.xmlspy.com)
Il primo documento XML
Se si salva un file in Notepad, l’estensione che viene automaticamente assegnata è .txt. Per assegnare una diversa estensione, si deve racchiudere il nome del file + l’estensione tra virgolette (es. “inventario.xml”). Quando andremo a riaprire il file salvato con estensione .xml, bisognerà aprire prima Notepad e poi scegliere “Apri” dal menu “File” (non è possibile aprirlo facendo doppio clic come si fa normalmente per i files .txt).
Il primo documento XML
>
Dichiarazione XML Root element Child elements End of the root element
Il primo documento XML
>
Dichiarazione XML
La dichiarazione XML indica che si tratta di un documento XML (e include il numero di versione, specificando che il documento utilizza l’insieme di caratteri UTF-8).
Il primo documento XML
Root element Child elements End of the root element L’
elemento radice
del documento specifica di che tipo di documento si tratta. Tra i due tag
elementi annidati
.
Il primo documento XML
In XML non è possibile omettere dei tag di chiusura, mentre in HTML in taluni casi è possibile:
This is a paragraph
This is another paragraph HTML
This is a paragraph
This is another paragraph
XMLIl primo documento XML
La dichiarazione XML non ha un tag di chiusura. Non si tratta di un errore, perché la dichiarazione non è parte del documento in senso stretto e non si può ritenere un
elemento
)
elemento
(n.b.:
ogni tag identifica un
Il primo documento XML
I tags di XML, a differenza di quelli di HTML sono
sensitive
. Il tag
case
è pertanto diverso dal tag
ESATTAMENTE
Il primo documento XML
Tutti gli elementi devono essere annidati in maniera corretta (a differenza di HTML, che permette un certo grado di libertà).
This text is bold and italic
HTML
XML
Il primo documento XML
L’elemento radice
è obbligatorio
. Tutti gli altri elementi devono essere annidati all’interno di questo elemento, e all’interno di ogni elemento figlio possono essere annidati a loro volta altri elementi
Il primo documento XML
Il primo documento XML
Possiamo concludere che XML HTML.
Le applicazioni che è molto più rigido di leggono XML
non possono
esattamente
ignorare
in
gli errori
, corrispondenza ma si fermano dell’errore del documento e inviano un messaggio d’errore al visualizzatore.
debugging
Ciò rende relativamente semplice il dei documenti XML perché è sempre possibile sapere con precisione quale linea sta provocando l’errore quando si visualizza il documento.
Esempio
Esempio
Inserimento di commenti
In un documento XML è possibile inserire dei commenti, che
verranno ignorati dal visualizzatore
, ma che possono avere una funzione fondamentale (ad esempio, possono brevemente segnalare le scelte del creatore del file, o la data dell’ultima modifica). Un commento inizia con i caratteri caratteri . Tra questi due gruppi di è possibile digitare un qualsiasi testo, tranne i caratteri - , che verrebbero intesi dal browser come chiusura del commento.
version="1.0" encoding="ISO-8859-1" ?>
Elementi
Dati carattere Elemento annidato
Elementi
Quando si aggiunge un elemento al documento XML,
selezionare qualsiasi nome, è possibile purché venga rispettata la seguente regola
: Il nome deve iniziare con una lettera o un carattere di sottolineatura (_), seguito da zero o più lettere, cifre, punti, trattini o caratteri di sottolineatura.
Esempi di nomi non validi: <1stplace> non si può iniziare con un numero <:Chapter> non sono ammessi spazi vuoti non è ammesso il carattere “barra” non si può cominciare con i due punti
Elementi
Alcuni caratteri non sono ammessi all’interno del contenuto degli elementi. Ad esempio la parentesi angolare sinistra non è ammessa. Per risolvere il problema, bisogna sostituire il carattere illegale con un riferimento a un’entità predefinita
Sostituire con
Entità predefinite
< < > > & & ' " ' "
Elementi vuoti
È possibile immettere degli elementi vuoti all’interno di un documento.
L’importanza degli elementi vuoti è fondamentale: essi ci permettono di mantenere
la simmetria strutturale
, ad esempio nei vari
item
di una lista o rubrica, come nell’esempio seguente, in cui non conosciamo il prezzo di uno degli item della lista.
L’elemento vuoto ha un tag proprio (oppure si possono usare i tag di apertura e chiusura uno subito dopo l’altro; le due notazioni sono del tutto
equivalenti
).
oppure
Esempio
Inserimento di attributi
Nel tag iniziale di ciascun elemento uno o è possibile includere più attributi. Una specifica di un attributo è rappresentata da una
coppia nome-valore
associata all’elemento. Gli attributi rappresentano un metodo alternativo per includere informazioni in un documento.
Attributi
Inserimento di attributi
L’aggiunta di un attributo offre diversi vantaggi. Come vedremo, se si scrive un documento valido utilizzando una DTD, è possibile limitare i valori che possono essere assegnati a un attributo, ed è possibile specificare un valore predefinito che verrà assegnato all’attributo nel caso venga omessa la specifica. Al contrario, utilizzando una DTD non è possibile specificare un valore predefinito per il contenuto di un elemento.
Non esistono
regole obbligatorie
essere memorizzato riguardo a ciò che deve all’interno degli attributi o come contenuto di un elemento.
Inserimento di attributi
Il valore assegnato ad un attributo delimitato da virgolette.
letterale ad un attributo, è una serie di caratteri È possibile assegnare qualsiasi valore purché si rispettino le regole seguenti: • La stringa doppie ( “” ); può essere delimitata da virgolette singole ( ‘’ ) o • la stringa non può contenere lo stesso carattere utilizzato per delimitarla (quindi se si vogliono includere nella stringa le virgolette singole, si dovrà delimitare la stringa stessa con virgolette doppie, e viceversa); • la stringa non può includere la parentesi angolare sinistra, se non attraverso il riferimento ad un’entità generale.
Inserimento di attributi: esempio
>
La pianificazione
Quando si utilizza XML non conviene procedere a lume di naso.
L’approccio ottimale quando si hanno dei dati da marcare con XML richiede un minimo di pianificazione.
•
Prima fase
: stabilire il livello di dettaglio (che cosa va negli attributi e che cosa negli elementi? Entrambi sono accessibili a una query, ma si tende a limitare la proliferazione degli attributi …). Inoltre, un elemento può essere semplice o comprendere diversi elementi annidati.
•
Seconda fase
: creare il template di un documento XML prima di inserire il contenuto è sempre utile. Ciò non significa che non si debbano escogitare sempre nuove modifiche in corso d’opera...
La pianificazione
Si tenga presente che: • Gli elementi possono essere secondo tempo più facilmente estesi in un • Gli attributi
NON CONTENGONO UNA STRUTTURA
non sono estensibili e • Inserendo tutte le informazioni negli attributi, si pongono dei seri limiti all’utilizzabilità dei dati e alla quantità dei dati che possono essere aggiunti al documento • I valori degli attributi possono contenere un riferimento a un altro file
La pianificazione
3 alternative: il corso online di XML consiglia la terza!
Prima alternativa
La pianificazione
Seconda alternativa
La pianificazione
Terza alternativa
La pianificazione
In alcuni casi è preferibile utilizzare gli attributi invece degli elementi. Se abbiamo ad esempio un elenco e a ogni
item
vogliamo assegnare un’identità numerica è consigliabile farlo attraverso gli attributi.
La pianificazione
Gli attributi possono sembrare eleganti e economici, ma bisogna evitare di creare documenti che somiglino al seguente:
4
Namespaces e CDATA
Namespaces
Unire dati XML da diverse fonti può causare conflitti tra i nomi di elementi e attributi. Immaginiamo il caso di un elenco di CD e un elenco di libri. In entrambi ho utilizzato i tag
Collection
questi insiemi di dati, una eventuale applicazione non potrebbe distinguere tra libri e CD, o calcolare il prezzo medio dei CD. Per risolvere questo conflitto si riscrivere il documento, oppure utilizzare una soluzione può più comoda e meno dispendiosa, e cioè il meccanismo dello
spazio dei nomi
.
Attraverso lo spazio dei nomi, ogni elemento di un libro allo spazio dei nomi
book
, mentre ogni elemento di un CD è assegnato è assegnato allo spazio dei nomi
cd
.
Namespaces: un esempio
>
Namespaces
L’esempio completo
Per utilizzare uno spazio dei nomi, occorre dichiararlo all’interno del tag iniziale. Lo si fa aggiungendo un attributo speciale, che ha la sintassi seguente: xmlns:namespace-prefix="namespace"
Namespaces
Default Namespaces
:book ="http://www.mjyOnline.com/books" xmlns:cd="http://www.mjyOnline.com/cds" > book ), vuol dire che questo spazio dei nomi è quello di default, per cui ogni nuovo inserimento di un elemento book non avrà bisogno del prefisso all’inizio del tag, mentre ogni inserimento di un nuovo CD richiede la presenza del prefisso cd: Se il testo contiene molti caratteri illegali, evitare che il browser lo analizzi. Si può essere opportuno può ottenere questo scopo racchiudendo il testo in questione in una sezione CDATA. Una sezione CDATA comincia con la stringa
e termina con ]]> . 5 Finora ci siamo occupati di documenti XML ben strutturati. I documenti XML che utilizziamo devono avere qualcosa in più, e cioè devono essere validi . Un documento XML valido è un documento ben strutturato che risponde a uno dei seguenti requisiti: • Il prologo del documento deve contenere una DTD ( Document Type Definition , ossia definizione del tipo di documento) in grado di definire la struttura del documento XML, mentre la parte restante del documento deve essere conforme alla struttura definita nella DTD. • Il documento è conforme alla struttura definita in uno schema XML compreso in un file separato. Quando si utilizza una DTD, si fornisce al browser una copia standard del documento, cosicchè, durante la verifica della validità del documento, questo possa garantire che il documento corrisponda agli standard richiesti. Se una qualsiasi parte del documento non alla specifica della DTD il processore è conforme visualizzerà un messaggio di errore consentendo la modifica del documento per renderlo conforme. L’uso della DTD tra favorisce la coerenza più documenti (pertanto all’interno del documento o è fondamentale in lavori di gruppo in cui gli utenti che marcano i dati sono diversi o quando lo stesso utente lavora a uno stesso documento in due fasi diverse), e può evitare che chi immette dati informazioni aggiunga arbitrariamente nuovi elementi, collochi nell’ordine sbagliato, o assegni valori scorretti agli attributi, ecc. Una DTD è un blocco di tag XML che deve essere aggiunto al prologo di un documento XML valido. Essa ha la seguente forma astratta : Tag standard (DOCTYPE va scritto sempre in lettere maiuscole) Nome dell’elemento RADICE la cui struttura si intende descrivere Va sostituito con un insieme di regole ] > Una DTD può contenere, fra le altre, le seguenti dichiarazioni: • Dichiarazioni del tipo di elementi che posono essere contenuti in un documento, contenuto e l’ordine degli elementi); (definiscono i tipi di elementi così come il • Dichiarazioni dell’elenco di attributi (definiscono i nomi degli attributi che posono essere associati a ciascun elemento, così come i valori - liberi o predefiniti - che possono essere assegnati a questi attributi); Un tutorial specifico sulla DTD si trova all’indirizzo: http://www.w3schools.com/dtd/ Dichiarazioni del tipo di elementi Elemento di cui si descrive la struttura (#PCDATA) indica che l’elemento TITLE può contenere soltanto caratteri, senza alcun elemento annidato Dichiarazioni del tipo di elementi ] > In questa DTD si specifica che l’elemento radice Dichiarazioni del tipo di elementi ] > Dichiarazioni del tipo di elementi EMPTY indica che l’elemento deve essere vuoto ANY indica che l’elemento può avere qualsiasi tipo di contenuto valido Dichiarazioni del tipo di elementi (elementi con figli)
AUTHOR) ] > BOOK (TITLE, In questa DTD, si specifica che l’elemento Dichiarazioni del tipo di elementi In questa DTD si specifica che l’elemento figlio almeno una volta all’interno dell’elemento padre In questa DTD si specifica che l’elemento figlio Dichiarazioni del tipo di elementi In questa DTD si specifica che l’elemento figlio Dichiarazioni del tipo di elementi In questa DTD si specifica che l’elemento Dichiarazioni degli attributi (segue sempre quella dell’elemento a cui si riferisce) Dichiarazione dell’elenco di attributi Tipo di attributo Nome dell’elemento a cui sono associati gli attributi Nome dell’attributo Tipo di attributo Valore predefinito Nome dell’attributo Status dell’attributo Il tipo di attributo può avere i valori seguenti: Value CDATA (en1|en2|..) ID IDREF IDREFS NMTOKEN NMTOKENS ENTITY ENTITIES NOTATION xml: Explanation The value is character data The value must be one from an enumerated list The value is a unique id The value is the id of another element The value is a list of other ids The value is a valid XML name The value is a list of valid XML names The value is an entity The value is a list of entities The value is a name of a notation The value is a predefined xml value Il valore predefinito può essere espresso nei modi seguenti: Value value #REQUIRED #IMPLIED #FIXED value Explanation The default value of the attribute The attribute value must be included in the element The attribute does not have to be included The attribute value is fixed Nell’esempio seguente, l’elemento con un attributo width Se non “0” è specificato alcun valore, è assegnato il valore di default di DTD: Valid XML: Si utilizza includere #IMPLIED l’attributo se non si vuole obbligare fax l’autore a DTD: Valid XML: Si utilizza #REQUIRED se non si ha a disposizione un valore predefinito, ma si vuole comunque obbligare l’autore a includere l’attributo number DTD: Valid XML: Si utilizza #FIXED se non si vuole che valore a piacere per un dato attributo l’autore includa un DTD: Valid XML: Nell’esempio seguente si dichiara che il valore dell’attributo type deve essere scelto all’interno di una lista predefinita, all’interno della quale c’è un valore di default Syntax: DTD example: XML example: Con questa notazione si può accedere a una DTD esterna senza bisogno di inserirla all’interno del documento. Questo semplifica le cose, purchè il file (salvato in formato DTD) sia contenuto nella stessa cartella del documento XML File “note.dtd” File “note.xml” A più riprese abbiamo detto che XML consente la massima libertà nella creazione di propri tag per etichettare qualsiasi tipo di informazione. Ovviamente, avendo a che fare con dati linguistici e ambendo alla massima riusabilità dei nostri dati, dobbiamo porci il problema dell’adeguamento a standard esistenti per la codifica di dati linguistici. Esistono importanti iniziative che hanno come obiettivo la standardizzazione e la creazione nell’etichettatura dei dati linguistici. di best practices La possibilità di creare DTD è la chiave di volta per raggiungere l’obiettivo della standardizzazione. La DTD è ciò che differenzia un documento XML ben formato da un documento XML valido. Documento XML ben formato: i tag sono sintatticamente corretti ogni tag di apertura ha un tag di chiusura i tag sono annidati in maniera corretta Documento XML valido: sono utilizzati soltanto i tag dichiarati tutte le occorrenze dei tag sono conformi ad alcune restrizioni posizionali descritte dalla DTD. Necessità di standardizzazione: • gli elementi SGML (e XML) hanno una semantica leggera; • «one man's is another's • l’uso “libero” di XML è un rimedio ai limiti di HTML peggiore del male! • le DTD devono essere significative all’interno di una comunità di utenti. • l’annotazione deve poter essere rimossa annotazioni di tipo “stand-off” (v. oltre); preferenza per • le informazioni relative allo schema di annotazione devono essere messe a disposizione dell’utente; • deve essere sempre chiaro chi e come ha annotato il testo (numero di annotatori, tecnica di annotazione – manuale, automatica, mista, …); • l’utente deve essere consapevole che l’annotazione non è infallibile, e che è soltanto un utile strumento di lavoro; • lo schema di annotazione deve essere basato su procedure quanto più possibile condivise. Text Encoding Initiative: http://www.tei-c.org/ Dalla pagina web: «Initially launched in 1987, the TEI is an international and interdisciplinary standard that helps libraries, museums, publishers, and individual scholars represent all kinds of literary and linguistic texts for online research and teaching, using an encoding scheme that is maximally expressive and minimally obsolescent» Una presentazione online su “Encoding a language corpus”: http://www.tei-c.org/Talks/ESS2001/index.html Goals of the TEI • better interchange and integration of scholarly data • support for all texts, in all languages, from all periods • guidance for the perplexed: what to encode -- hence, a user-driven codification of existing best practice • assistance for the specialist: how to encode -- hence, a loose framework into which unpredictable extensions can be fitted Scopo della TEI: creare delle DTD standard per la codifica dei testi; queste DTD devono essere il più possibile modulari, in modo da minimizzare lo sforzo e massimizzare l’applicabilità ai dati reali. Il protocollo TEI indica dei tag standard per le seguenti entità che sono comuni in ogni tipo di testo: • paragraphs • highlighted phrases • names, dates, number, abbreviations... • editorial tags • notes, cross-references, bibliography • verse and drama Il protocollo TEI indica poi dei tag aggiuntivi per le seguenti entità che sono da marcare solo se lo si ritiene necessario: • linking and alignment; analysis; feature structures; • certainty; physical transcription; textual criticism, • names and dates; graphs and trees; figures and tables; The TEI encoding scheme consists of a number of modules or DTD fragments (tag sets). Selected tag sets may be combined in many different ways, according to some principles, within the framework of the TEI main DTD. Core tag sets : standard components of the TEI main DTD in all its forms; these are always included without any special action by the encoder; Base tag sets : basic building blocks for specific text types; exactly one base must be selected by the encoder Additional tag sets : extra tags useful for particular purposes. All additional tag sets are compatible with all bases and with each other; an encoder may therefore add them to the selected base in any combination desired. Se si sceglie un tag set di base per marcare un documento, lo si dichiara nella DTD del documento tramite il riferimento a un’entità predefinita dal consorzio TEI: Altri tag sets di base: TEI.prose selects the base tag set for prose, contained in teipros2.dtd. TEI.verse selects the base tag set for verse, contained in teivers2.dtd and teivers2.ent. TEI.drama selects the base tag set for drama, contained in teidram2.dtd and teidram2.ent. TEI.spoken selects the base tag set for transcriptions of spoken texts, contained in teispok2.dtd and teispok2.ent. TEI.mixed selects the base tag set for free mixed-mode texts, contained in teimix2.dtd. Tag sets aggiuntivi: TEI.linking TEI.analysis with tags for linking, segmentation, and alignment with tags for simple analytic mechanisms TEI.fs with tags for feature structure analysis TEI.certainty with tags for indicating uncertainty and probability in the markup TEI.transcr with tags for manuscripts, analytic bibliography, and transcription of primary sources Questi tag sets possono essere evocati esattamente allo stesso modo, e sono legati a specifiche esigenze di chi marca il testo Un semplice documento TEI deve cominciare con una DTD. La versione più semplice della DTD TEI cita il file .dtd TEI come file esterno, e specifica un singolo tag set di base da utilizzare nel documento. Ad esempio, un documento che utilizza il tag set per la prosa comincia con una DTD come la seguente:
]> Nel caso di documenti misti (es. prosa e versi), si voler includere può più tag sets. In questo caso si utilizza la seguente DTD:
TEI.mixed 'INCLUDE' > ]> Oppure la seguente:
TEI.general 'INCLUDE' > ]> La differenza consiste nel fatto che con questa DTD (che invoca l’entità TEI.general ) ogni divisione del testo può usare uno ed un solo tag set di base (o prosa o versi) Attributi globali (e cioè attributi che sono validi per ogni elemento di un documento TEI) id provides a unique identifier for the element bearing the ID value. Values : any valid name. Default : #IMPLIED n gives a number (or other label) for an element, which is not necessarily unique within the document. Values : any string of characters; often, but not necessarily, numeric. Default : #IMPLIED Attributi globali (e cioè attributi che sono validi per ogni elemento di un documento TEI) lang indicates the language of the element content, usually using a two- or three-letter code from ISO 639. Values : The value must be the identifier of a Default : %INHERITED. Attributi globali (e cioè attributi che sono validi per ogni elemento di un documento TEI) TEIform indicates the standard TEI name (generic identifier) for a given element. Values : must be a valid name; by default, the canonical name of this element as defined in the TEI Guidelines. Default : #IMPLIED Example: Ogni elemento di un documento conforme alle specifiche TEI può avere gli attributi precedenti! Quanto all’attributo lang , raccomandano che ogni le Guidelines TEI “cambio” di lingua in un testo sia segnalato esplicitamente. The constitution declares CDATA
Creazione di documenti XML validi
La DTD
La DTD
La DTD
root-element DTD
>
Una DTD molto semplice
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
La DTD
Laboratorio di analisi di risorse linguistiche 3.2.
L’annotazione dei dati linguistici: esempi e standardizzazioni
Come annotare i dati linguistici: un problema di standardizzazione
Come annotare i dati linguistici: un problema di standardizzazione
Come annotare i dati linguistici: un problema di standardizzazione
5 massime (Leech 1993)
Come annotare i dati linguistici: un problema di standardizzazione
Come annotare i dati linguistici: un problema di standardizzazione
Come annotare i dati linguistici: un problema di standardizzazione
Come annotare i dati linguistici: un problema di standardizzazione
Come annotare i dati linguistici: un problema di standardizzazione
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
TEI: nozioni generali
that no bill of attainder or
...
TEI: nozioni generali
La DTD TEI definisce oltre 400 tipi di elementi. Questi sono raggruppati in classi per quanto possibile, in modo da facilitare la comprensione.
Gli elementi appartenenti a una classe possono avere in comune un set di attributi.
TEI: alcuni elementi
contains the whole body of a single unitary text, excluding any front or back matter.
TEI: alcuni elementi
Tutte le suddivisioni testuali, secondo lo standard TEI devono essere considerate come occorrenze dello stesso elemento “neutro”, con un attributo “type”.
contains a subdivision of the front, body, or back of a text. Attributes : those globally available; this element has the following additional attribute: type : specifies a name conventionally used for this level of subdivision, e.g. act, volume, book, section, canto, etc. Values : any string of characters Default : #IMPLIED http://mate.nis.sdu.dk/ Progetto Europeo (9 partners), con l’obiettivo di facilitare la riusabilità delle risorse linguistiche e di proporre standard per l’annotazione linguistica a più livelli. Approccio multi- lingual e focus su multi-level issues. Breve presentazione: http://mate.nis.sdu.dk/about/lux-slides2-13/sld001.htm Guidelines scaricabili: http://www.ims.uni-stuttgart.de/projekte/mate/mdag/ Annotazione del dialogo, ma NON SONO ESCLUSE APPLICAZIONI DEGLI STANDARD MATE AD ALTRI TIPI DI TESTO. Livelli considerati: • Prosodia • Morfosintassi • Atti dialogici • Coreferenza • Problemi di comunicazione • Cross-level issues Livello morfosintattico (V. Pirrelli & C. Soria) “Word analysis, chunking and representation of syntactic functional relations” transcription of a più dialogue” “guidelines to the edited “Conceptually independent, though analysis” inter-connected sub-levels of morpho-syntactic “not intended to give instructions for marking up an exhaustive list of language-specific facts: … we do not provide language-specific recommendations concerning problems of segmentation due to fusional phenomena or truncated stems, as in provide provision or truncate truncation ”. Livello morfosintattico (V. Pirrelli & C. Soria) Parola chiave: MODULARITÀ “For all sub-levels of annotation considered here, the meta-scheme consists of two subsets of tags. The first subset, or core scheme, supplies basic means for annotating obligatory information. The second subset, or periphery tag set, serves the purpose of making provision for further linguistic annotation to be added on top of obligatory information, whenever this is required by the annotator. In its turn, the periphery tag set parts into two further subsets: a recommended set and an optional one. This makes the meta-scheme highly modular, and open to further augmentation, both in terms of more granular information and of further independent dimensions of analysis. ” Livello morfosintattico (V. Pirrelli & C. Soria) Sottolivelli: • Edited transcription level • Morphological word-level • Chunk level • Functional level Per ogni livello sono forniti un esempio di annotazione (dello stesso testo di base) e una DTD Edited transcription level Elementi (in relazione gerarchica) che marcano speech repairs: Edited transcription level Bisogna distinguere due tipi di materiale non fluente: i) materiale che viene riformulato dal parlante all’interno del testo (ripetizioni, riformulazioni, false partenze, ecc.); ii) materiale non fluente che non viene riformulato., e per il quale l’annotatore può voler segnalare una forma target standard. Edited transcription level Inoltre, oh she was shouting at him at dinner time Steven oh god dinner time she was shouting him Edited transcription level A: so after the tower B: yeah A: I go straight ahead A: if Bill had known B: he would have come Edited transcription level I wanted I wanted to invite Margie I wanted uh I thought I wanted to invite Margie All of my friends had uh we had decided to go home for lunch Edited transcription level Attributi dell’elemento : a unique identifier type : whether the annotated segment is interrupted, or contains a non-standard form, or is followed by an omission, or else is a completion of a previously interrupted sequence rep (mnemonic for "replace"): a place for providing indication of the target form when the annotated segment contains a non-standard form ins (mnemonic for "insert"): a place for providing indication of the missing form when the annotated segment contains a gap. href : a sequence of Valori dell’attributo type broken segnala che la porzione marcata con è una porzione interrotta di testo Esempio: [I wanted] broken sic I wanted to invite Margie segnala che la porzione marcata da è un elemento non standard Esempio: the dog is [eat] sic gap segnala che la porzione marcata con contiene del materiale omesso Esempio: go in the sitting room until I [shout you] gap for tea Valori dell’attributo type scomp segnala che il parlante stesso completa un’interruzione Esempio: A: [I'll do it if] broken B: Yeah A: [you wish] scomp ocomp segnala che è un altro interlocutore a completare l’enunciato Esempio: A: [if Bill had known] broken B: [he would have come] ocomp Valori dell’attributo Esempio: the dog is eat File XML contenente la codifica ortografica di tutto il testo (frammento): orth.xml Esempio: go in the sitting room until I shout you for tea File XML XML Corpus Encoding Standard (XCES): http://www.cs.vassar.edu/CES/ Standard utilizzato per l’American National Corpus ( http://americannationalcorpus.org/FirstRe lease ; N. Ide, K. Suderman), un progetto mirato a creare, per l’inglese americano, una risorsa pari per mole al British National Corpus: 11 milioni di parole (3 milioni di parole di parlato; 8 milioni di parole di scritto). XML Corpus Encoding Standard (XCES): • Annotazione stand-off: il collegamento tra i documenti è conforme alle specifiche del linguaggio XPointer proposte dal consorzio W3.La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
La codifica del dialogo: MATE
rep
Questo attributo consente all’annotatore di segnalare la forma target standard. Perché questo attributo sia praticabile, l’attributo
type
della porzione marcata con
deve avere il valore
sic
.
La codifica del dialogo: MATE
Valori dell’attributo ins
Questo attributo ha come valore una stringa che segnala la
categoria grammaticale
della forma mancante. Se è invece possibile stabilire con certezza qual è la parola mancante, si utilizza un elemento figlio dell’elemento
.
La codifica del dialogo: MATE
La codifica del dialogo: MATE
Standards
Standards
Ireland has been inhabited since very ancient times, but Irish history really begins with the arrival of the Celts around the 6th century b.c.