Quando io penso all’inizio, alla nascita dell’information retrieval, penso a H.P. Luhn o più precisamente al suo articolo “The automatic creation of literature abstract” pubblicato nell’IBM Journal nell’aprile del 1958. Non c’è dubbio, mi sbaglio… non è di certo Luhn il padre dell’IR, ma le sue idee rimangono fondamentali per lo sviluppo della materia, per cui mi sento di considerarlo un padre, a cui bisogna necessariamente portare rispetto.

Luhn affermava che la frequenza con cui alcune parole compaiono in un testo forniscono un parametro importante del significato delle parole. Inoltre dice che il posizionamento di queste parole all’interno delle frasi è un altro parametro che indica il significato e quindi l’importanza delle frasi. Quindi l’importanza e il significato di una frase è dato dalla combinazione di questi due fattori. Questi principi portano Luhn ad essere un importante figura nel mondo dell’ text processing automatico. La frequenza con cui alcune parole compaiono in un testo, può essere usata per rappresentare un documento.

Se pensiamo all’indicizzazione automatica dei testi, possiamo immaginare l’importanza di questo principio, infatti se per un essere umano è facile (non per tutti…) capire l’importanza di un testo e individuarne gli argomenti trattati, per un calcolatore questo è molto più complicato. Come può capire l’argomento trattato in un testo? E come può capirne l’importanza? La frequenza con cui le parole compaiono in un testo può dare un grande aiuto, anche se non basta contare le parole e vedere quella che compare più volte per classificare un documento. Se osserviamo la figura qui sopra, probabilmente possiamo avere un’idea più chiara di quello di cui stiamo parlando. Se indichiamo con f la frequenza con cui si presentano le varie parole, con r il loro posizionamento (rank order) e li disegniamo ponendoli in relazione otteniamo una curva simile a quella iperbolica visibile nella figura precedentemente indicata. Questa curva rappresenta la legge di Zipf che ci dice che il prodotto della frequenza delle parole per il loro rank è approssimativamente costante. Luhn usò la legge di Zipf per specificare due “cut-off”, uno alto e uno basso. La linea di cut-off alta, taglia tutte le parole che occorrono troppo frequentemente e che quindi non sarebbero indicative per rappresentare un testo, in italiano immaginiamo la congiunzione “e” oppure gli articoli. Il cut-off basso invece serve per eliminare le parole che compaiono troppo raramente e che quindi non sono indicative per identificare un testo; immaginiamo che in un articolo compaia una volta la parola “addizione”, non sarebbe sufficiente per dire che il testo tratta di aritmetica.

Oltre a questo, Luhn definì una funzione di risoluzione per le parole significative. Cosa significa? Significa che Luhn stabilì una regola basata su delle tecniche di conteggio per stabilire a quale frequenza le parole sono da considerarsi più significative e quindi più utili per discriminare il contenuto del testo. Questa funzione raggiunge il suo picco a metà via tra i due cut-off, per poi scendere nelle due direzioni, avvicinandosi allo zero in corrispondenza delle due linee di cut-off. A questo punto appare chiaro che una parte molto importante del lavoro è definire i punti di cut-off. Come posso dire da quale punto in poi le parole diventano importanti oppure non lo sono più? Provando e sbagliando… infatti c’è ancora adesso una buona dose di arbitrarietà nel definire questi limiti.

Luhn utilizzò questa tecnica per definire dei sommari automatici dei testi, successivamente è stata utilizzata per stabilire l’importanza delle parole da indicizzare. Successivamente la regola di Luhn fu raffinata, normalizzando le sue misure rispetto alla frequenza di ogni parole nel testo totale, quindi se una parola compare 4 volte in una frase e 200 volte nel testo totale, l’importanza della parola sarà 4/200.

L’analisi automatica dei testi si è rivelata ovviamente molto importante per quanto riguarda l’indicizzazione di questi. Un indice è formato da un insieme di termini chiamati termini indice, che sono ricavati dai testi per l’appunto indicizzati. Due importanti fattori per valutare un indice sono esaustività e specificità. Per ogni indice l’esaustività è definita dal numero di “topic” (argomenti) indicizzati, mentre la specificità è l’abilità di un indice di descrivere a fondo un argomento. La specificità venne definita (Keen e Digger), come la precisione con cui un documento è indicizzato. E’ comunque intuibile che questi fattori sono difficilmente quantificabili. Quantificare questi fattori è molto importante per aumentare l’efficacia del reperimento dei documenti, infatti un indice con alta esaustività porta ad avere un alto richiamo ([documenti rilevanti reperiti]/[documenti rilevanti totali reperiti e non-reperiti]) e una bassa precisione ([documenti rilevanti reperiti]/[documenti totali reperiti]). D’altra parte una bassa esaustività porta ad un’alta precisione e ad un basso richiamo. La stessa cosa si verifica con la specificità, più alta è questa maggiore è la precisione e minore è il richiamo e viceversa. Ricordo che precisione e richiamo sono due grandezze inversamente proporzionali, all’aumentare di una diminuisce l’altra.

Data l’importanza della questione, molte persone considerevoli nel mondo dell’information retrieval come Salton, Sparck-Jones e Yang, hanno studiato il problema, cercando di legare questi due fattori a varie collezioni di documenti. Ad esempio l’esaustività si può assumere essere legata al numero di termini indice assegnati ad un dato documento e la specificità invece al numero di documenti a cui un termine indice è assegnato in una collezione.

Un modo per controllare esaustività e specificità di un indice è quello di pesare i termini indice. Ci sono ovviamente molti tipi di pesatura ed essendo un punto importante dell’Information Retrieval, vorrei dedicare un post specifico (o più di uno) all’argomento. Consideriamo solamente lo schema di pesatura legato all’idea di Luhn, infatti la frequenza con cui un termine compare in un testo può essere usata come pesatura del termine e come indice della sua importanza. Quindi lo schema di pesatura in questione, assegna ad ogni termine un peso direttamente proporzionale alla frequenza con cui compare nel testo.

Se consideriamo importante la specificità di un termine, che è assunta essere inversamente proporzionale al numero di documenti in cui il termine indice compare allora la pesatura maggiore sarà associata, contrariamente al caso precedente, ai termini che compaiono in meno documenti.

La differenza tra i due metodi di pesatura è che utilizzando la frequenza dei termini si pone enfasi sulla descrizione dei contenuti mentre la pesatura basata sulla specificità pone l’accento sull’abilità dei termini di discriminare un documento dall’altro.

“Sono afflitto dai dubbi. E se tutto fosse un’illusione, se nulla esistesse? Ma allora avrei pagato uno sproposito per quella moquette!” (Woody Allen)

Ho cominciato il mio post di qualche settimana fa con la battuta che tradotta dall’inglese sarebbe: “Qual è lo spelling di Internet?” “G-O-O-G-L-E”. Forse come battuta non è il massimo del divertimento (ma si sa, gli informatici si divertono in modi particolari), ma ha il pregio di far riflettere sull’attuale percezione del web. Per noi il web (o almeno per la maggior parte degli utenti della rete) è quello che viene percepito, è quello che noi conosciamo e riconosciamo far parte del web. Possiamo astrarre il concetto dicendo che web è ciò che noi sappiamo esistere (perchè l’abbiamo inserito noi nel web ad esempio) e ciò che viene trovato dai motori di ricerca. Facendo un altro passo verso la generalizzazione, possiamo assumere che ciò che un utente base non trova attraverso un motore di ricerca, non esiste nel web. Questa tesi divertirà i più, visto che può essere portata all’estrema conclusione per cui se non esistessero i motori di ricerca allora non esisterebbe nemmeno internet (potremmo chiamarlo “Google Paradox“). Ma invece sembra che molti arrivino a conclusioni simili. E’ di poche settimana fa la notizia che il commissario europeo per la sicurezza Frattini, ha proposto di bloccare la ricerca on-line di keyword pericolose come “genocidio”, “bomba” o simili. La proposta per ora è stata bocciata ma ci dice qualcosa di più sul pensiero di chi l’ha proposta (lasciando perdere le implicazioni riguardanti la democrazia e la politica di cui non ci vogliamo occupare). Bloccando alcune keyword pericolose, si vorrebbe bloccare l’accesso a siti pericolosi. Quindi secondo Frattini (sfortunato oggetto del nostro esempio), se un sito non è reperibile attraverso Google (la proposta era indirizzata verso il motore di Mountain View) questo cessa di esistere e quindi di essere pericoloso. Uno studio australiano ci dice che molti utenti scrivono l’URL corretto di un sito su Google per raggiungerlo anzichè utilizzare la barra degli indirizzi. Dave Hawking come provocazione si chiese (ESSIR 2007):”A quando un browser senza barra degli indirizzi?“. Nel mio primo post affermai che l’Information Retrieval è una materia interdisciplinare, voglio darmi ragione portando il livello della discussione sulla filosofia moderna. Immanuel Kant affermava che la mente, in sostanza, opera sulla realtà in sé una serie di interpretazioni secondo le proprie caratteristiche, una serie di interpretazioni che si pongono nel momento stesso in cui ci si accinge a pensare. Tali interpretazioni impediscono di fatto di attingere alla reale conoscenza della realtà. Il classico esempio che viene portato è quello degli occhiali. La mente umana è come un paio di occhiali colorati che attraverso le loro lenti filtra la realtà e la trasforma tutta in un colore diverso che solo noi che indossiamo gli occhiali riconosciamo. La realtà è quindi quello che noi percepiamo? Non esattamente visto che la mente umana deforma e legge la realtà attraverso le sue specifiche caratteristiche, date appunto dalla lente che usiamo.

Ogni motore di ricerca potrebbe essere un paio di occhiali diverso per vedere il web e così “Google” sarebbe veramente il giusto spelling della parola “Internet”.

Molte librerie digitali e database sono irragiungibili dalla maggior parte dei crawler. Il deep web (chiamato anche invisible web o hidden web) consiste proprio in una vasta collezione di pagine irragiungibili dai crawler e che non sono quindi indicizzate. Il Deep web è stato stimato essere 500 volte quello che viene chiamato il surface web (ossia la parte del web che viene indicizzata). Avendo indicizzato la maggior parte del surface web, i principali motori di ricerca stanno cercando di trovare delle tecniche per indicizzare anche la parte nascosta della rete. Se consideriamo un sito internet, sappiamo che viene indicizzato tutto quanto è raggiunto dai crawler dei motori di ricerca e quindi, semplificando al massimo la questione, quello che è raggiungibile mediante link. Immaginiamo di avere un vasto database di file in formato pdf ad esempio, questi non saranno indicizzati se non raggiunti da link che li puntano; questo è molto frequente, infatti non accade usualmente di avere link a tutti i file contenuti in un database. In genere l’utente di un determinato sito internet dovrà ricercare attraverso una query (o simili), inserendo delle parole chiave per ottenere dei risultati provenienti dal database su cui il sito si appoggia. Fatto questo saranno restituiti dei risultati comprendenti i vari file pdf rilevanti (o presunti tali) secondo un determinato ranking. Un crawler non è in grado (per ora per lo meno, anche se ci sono degli studi a riguardo) di eseguire delle query in modo da ottenere dei risultati da un database. Questo è un chiaro esempio di quali documenti possono andare a formare il deep web. Chiaramente ci sono un’immensità di possibili casi, ma questo esempio penso possa aver chiarito come mai i crawler non raggiungono certi documenti. Le soluzioni a questo problema sono molteplici e nessuna risolve del tutto la questione. Collegandomi al mio post precedente, vorrei indicare come l’utilizzo di OAI-PMH possa aiutare ad aumentare il numero di documenti indicizzabile dai motori di ricerca. Invero un numero crescente di repository istituzionali e biblioteche digitali stanno cominciando a utilizzare OAI-PMH per esporre i propri documenti i quali sono in parte indicizzati dai motori di ricerca e in parte no. Nel contempo un numero crescente di organizzazioni, università e associazioni stanno facendo un grosso sforzo per digitalizzare la propria documentazione composta da tesi, mappe, immagini, rapporti tecnici e quant’altro. Nel caso volessero rendere questi contenuti ricercabili attraverso un motore di ricerca, dovrebbero sviluppare delle pagine crawler-friendly, cosa non semplice e non sempre efficace. A volte ci si mette anche il crawler a complicare tutto, invero per le più varie ragioni ferma l’indizzazione di una pagina senza averla completata, perdendo quindi meteriale utile. Mediante OAI-PMH si rendono disponibili documenti che altrimenti resterebbero esclusi dall’attività dei crawler. Infatti mediante il protocollo si possono inviare direttamente ai motori di ricerca i metadati (in genere in formato XML) derivati dalla propria collezione, questi poi verranno indicizzati rendendo disponibili informazioni sui propri documenti. Non tutti i motori di ricerca accettano i metadati secondo il protocollo OAI-PMH, ma se la propria collezione è “OAI-PMH complaint” (ossia è settata per rispondere alle richieste del protocollo OAI-PMH) è possibile far raggiungere al crawler comunque i propri documenti. Sarà necessario creare una pagina HTML, da cui lo spider partirà, che eseguirà delle richieste specifiche alla collezione restituendo i metadati formattati in HTML anzichè in XML. C’è un componente chiamato DP9 che fa esattamente questo in maniera automatica. DP9 si può definire come un servizio di gateway open-source che rende le proprie collezioni di documenti indicizzabili dai vari crawler. L’utilizzo di DP9 permette di rendere i propri documenti indicizzabili anche da quei motori di ricerca che non implementano le funzionalità OAI-PMH. Segnalo inoltre, sempre in riferimento a OAI-PMH, la disponibilità di numerosi software free o open-source che implementano le funzioni di Data e Service Provider.

“How do you spell internet?”
“G-O-O-G-L-E”

Da qualche mese Google ha introdotto una nuova funzione per i webmaster, ossia la possibilità di sottomettere al famoso motore di ricerca i documenti del proprio sito attraverso il protocollo OAI-PMH (Open Archive Initiative Protocol for Metadata Harvesting). Anzi più che i propri documenti i metadati dei propri documenti… ma andiamo con calma, un passo alla volta.

Cosa sono metadati? Cos’è questo protocollo? Cerchiamo di fare chiarezza in modo semplice e veloce (per quanto possibile) e di capire come il tutto possa essere utile ai webmaster.

I metadati sono letteralmente dei dati sui dati, ossia dei dati che descrivono un documento, un file o simili. Sostanzialmente possono essere considerati dei file di testo strutturati che contengono dei campi prefissati riempiti con informazioni relative al file sui quali sono costruiti. Per fare un’associazione con il “mondo reale” i metadati sono sempre esistiti nelle biblioteche… sarebbero infatti le famose schedine che identificano un libro e che permettono di trovarlo senza che si vada a cercarlo in tutti gli scaffali; oggigiorno sono sostituite da una ricerca fatta al pc (anche se non dappertutto, temo).

Ci sono diversi schemi di metadati che definiscono i campi necessari per descrivere un determinato tipo di documento; il più noto schema di metadati per i documenti bibliografici, o almeno lo schema di base per questi, è il Dublin Core. Dublin Core definisce 15 campi di base, comunque estendibili, per definire e descrivere i documenti.

I metadati quindi possono essere considerati un metodo flessibile e comodo per individuare e gestire logicamente i documenti e i file. In un ambiente distribuito dove si devono considerare milioni se non miliardi di file, l’utilizzo dei metadati permette una gestione organizzata, chiara e modulabile che altrimenti non sarebbe possibile manipolando o “spostando” ogni volta i file stessi. Mediante l’analisi di un metadato possiamo trovare l’identificatore di un dato file, la data, l’abstract e/o altri campi utili per eseguire una ricerca senza toccare i documenti e quindi la collezione che li contiene.

OAI-PMH si colloca in questo contesto permettendo lo scambio di metadati tra collezioni (repository) di documenti geograficamente distanti tra loro.

Open Archive Initiative è l’iniziativa internazionale che ha sviluppato il protocollo per la raccolta (Harvesting) dei metadati. Il suddetto protocollo si compone di due parti principali chiamate Data Provider e Service Provider; in qualche modo il funzionamento potrebbe essere avvicinato a quello di un’architettura client-server, anche se con delle differenze sostanziali.

Data Provider è la componente che contiene i metadati in origine e quindi anche i documenti o meglio i file sui quali i metadati sono stati costruiti. Service Provider invece è la componente che esegue la raccolta dei metadati salvandoli in una collezione centralizzata. Quindi per come è pensato questo protocollo avremo un Service Provider e molti Data Provider che forniscono metadati, aggiornando di volta in volta la collezione centrale. L’indicizzazione e quindi la ricerca dei documenti avverrà nella collezione centrale senza interrogare le collezioni periferiche e senza “toccare” i file originali.

Tutto questo consente una maggiore velocità di ricerca e una maggiore flessibilità nella gestione dei file. L’accentramento della ricerca è possibile perché non si spostano i file stessi (in genere pesanti dal punto di vista dei megabyte) ma i metadati, leggeri e modellabili. Una volta che attraverso i metadati si è individuato il file di interesse, il sistema eseguirà una richiesta e si riceverà il file desiderato, grazie ad una sola interrogazione (veloce e mirata) da parte del Service Provider al Data Provider che possiede il file selezionato.

Google permette di indicare e di condividere i propri metadati; in questo modo il sito personale sarà il Data Provider mentre il motore di ricerca sarà il Service Provider. C’è quindi un invio diretto a Google di dati pronti per l’indicizzazione , saranno quindi reperibili da parte degli utenti informazioni che probabilmente non sarebbero state trovate dal crawler di Google e quindi non sarebbero state raggiungibili attraverso una ricerca normale. Il webmaster otterrà una maggiore visibilità segnalando direttamente le informazioni che vorrà rendere evidenti mediante una ricerca da motore.

Le differenze maggiori tra i vari canali televisivi sono tuttora le previsioni del tempo. (Woody Allen)

Ciao a tutti, ringrazio subito Marco per lo spazio che mi concede gentilmente nel suo blog. Cercherò, anche se non garantisco nulla, di mantenere un buon livello con i miei post. Senza perdermi in preamboli che interessano a pochi vado subito al nodo della questione, ossia ESSIR 2007.

L’European Summer School in Information Retrieval è un evento cominciato nel 1990 a Bressanone e che si è ripetuto ogni 5 anni fino al 2000 e poi ogni 2 anni. Si è svolta nel 1995 a Glasgow, poi a Dublino, a Varenna e ad Aussois in Francia (storia). I grandi dell’Information Retrieval mondiale si incontrano e per una settimana tengono lezioni di carattere generale e indicano le direzioni di ricerca futura nel settore. La scuola è indirizzata principalmente a studenti di dottorato (PhD Students), ma anche a studenti universitari e professionisti di alto livello del settore. Quest’anno si è svolta nuovamente a Glasgow dal 27 al 31 agosto con più di trecento partecipanti da tutto il mondo, il gruppo più numeroso era quello australiano, seguito a ruota da quello italiano.

Le lezioni hanno avuto carattere tecnico e orientato alla ricerca, si è parlato Distributed IR, modelli statistici per l’IR, XML retrieval, users, Interaction e Information Seeking/Retrieval, Web usage, Web mining e tanto (tanto) altro. I relatori, per lo più professori universitari del settore hanno dato un indirizzo totalmente orientato alla ricerca che il pubblico composto per lo più da PhD Students ha apprezzato. Ci sono stati comunque interventi molto interessanti di ricercatori di Google, Microsoft Research e Yahoo (tra gli sponsor dell’evento).

Una bellissima esperienza dal punto di vista umano, non capita infatti tutti i giorni di essere insieme a persone provenienti da tutto il mondo e di condividere gli stessi interessi… professionali per lo meno. Inoltre personalmente, da studente che ha perso le notti sui testi di K. Van Rijsbergen, S. Robertson (ranking function BM25 tanto per citare un “lavoretto” come un altro) e soci, è qualcosa di particolarmente interessante trovarsi insieme nella stessa stanza, non solo ad ascoltarli (con l’attenzione e il rispetto del caso) ma anche a parlarci tranquillamente, non solo di IR ma del più e del meno (del tempo… tanto per essere banali o di birra Tennets che in Scozia “devi” ingurgitare a fiumi).

Come ho già detto sono stati trattati molti temi tutti relativi all’ Information Retrieval. La domanda che spesso ci si pone è: “…ma cos’è l’Information Retrival e soprattutto quali sono i suoi confini?”. E’ una domanda a cui si risponde sempre con difficoltà, infatti i confini di questa materia sono molto sfumati, comprende molti campi e per sua natura è fortemente interdisciplinare. Spesso viene associata solamente ai motori di ricerca, ma l’Information Retrieval non è solo motori di ricerca anche se tutto quello che ruota attorno a questi è una delle parti più significative della materia. ESSIR 2007 è servita anche a questo, a capire la moltitudine di problematiche che ruotano attorno all’IR non limitando la discussione solamente all’indicizzazione dei documenti, ai crawler, spider o funzioni di ranking ma ampliando la discussione a campi come i metodi e le iniziative internazionali di valutazione dei sistemi di IR, Machine Learning, classificazione o analisi degli utenti. Ovviamente tutti questi sono solamente dei flash della materia che spero di riuscire ad approfondire nel tempo. Personalmente ritengo molto vicino all’IR anche il mondo complesso e variegato delle Digital Libraries (biblioteche digitali) e della conservazione nonché della gestione dei documenti digitali.

Visto il pubblico del blog sottolineo una presentazione particolarmente interessante che riguardava le soluzioni avanzate dai grandi motori di ricerca (Google su tutti, tanto per cambiare) per fronteggiare le tecniche dei SEO. In particolare una sezione era intitolata “Anti-SEO filters”… lo so, siete curiosi di sapere di cosa si è parlato (spero almeno). Non sorprenderò nessuno dicendo che si sono analizzati temi come: “Keyword stuffing, Cloaking, Link farms e Click fraud”. Spero di riuscire a dedicare un post a queste tematiche, così da capire in che cosa consiste l’altra faccia dell’Information Retrieval! Per dirla con i Pink Floyd: “The dark side of IR”.

Gian (perdonate la confidenza), avrà un suo account ed una sua categoria dedicata.
Scriverà qui contenuti relativi all’Information Retrieval, così avrò modo di imparare nuove cose senza allontanarmi troppo da questo blog.
Gianmaria, ingegnere informatico laureato presso l’Università degli Studi di Padova (posto qui il suo cv), si sta specializzando nel settore dell’IR (per il quale ha già prodotto una pubblicazione ed ha conseguito una borsa di studio).
L’IR è quella disciplina matematica i cui concetti stanno alla base del funzionamento dei motori di ricerca.

Quasi per caso, in occasione di una cena, abbiamo scoperto di lavorare/studiare nel medesimo settore, chiaramente con sfumature diverse (lui tecnico/teorico/matematico, io più markettaro…dai su, fatemelo dire), però, per sintetizzare, sempre nel mondo dei motori di ricerca.

Attualmente, come profilo di riferimento (in attesa di un suo blog personale), posso indicare il suo account su LinkedIn: Gianmaria Silvello.

Non mi resta che fare un grosso in bocca al lupo a Gian e vedere le vostre reazioni ai suoi interessanti post.