Tf-idf

Ipotizziamo di avere un insieme di documenti di testo in italiano e di volerli classificare in base a quale sia il documento più rilevante per l'interrogazione "la mucca marrone". Un modo semplice per iniziare è escludere i documenti che non contengono tutte e tre le parole "la", "mucca" e " marrone", ma ciò lascerebbe ancora molti documenti. Per distinguerli ulteriormente, potremmo contare il numero di volte in cui ogni termine ricorre in ogni documento; il numero di volte in cui un termine ricorre in un documento è chiamato frequenza di termine. Tuttavia, nel caso in cui la lunghezza dei documenti sia molto variabile, spesso vengono apportate delle correzioni. La prima forma di ponderazione dei termini è dovuta a Hans Peter Luhn (1957) e può essere riassunta come segue^[2]:

Il peso di un termine che ricorre in un documento è semplicemente proporzionale alla frequenza del termine.

Poiché il termine "la" è estremamente comune, la frequenza del termine tenderà a enfatizzare erroneamente i documenti che utilizzano più frequentemente la parola "la", senza dare sufficiente peso ai termini più significativi "mucca" e "marrone". Per questo motivo, viene incorporato un fattore inverso di frequenza dei documenti che diminuisce il peso dei termini che ricorrono molto frequentemente nell'insieme dei documenti e aumenta il peso dei termini che ricorrono raramente. Nel 1972, Karen Spärck Jones ha concepito un'interpretazione statistica della specificità dei termini chiamata Inverse Document Frequency (idf), che è diventata una pietra miliare della ponderazione dei termini^[3]:

La specificità di un termine può essere quantificata come una funzione inversa del numero di documenti in cui compare.

La funzione può essere scomposta in due fattori:Il primo fattore della funzione è il numero dei termini presenti nel documento. In genere questo numero viene diviso per la lunghezza del documento stesso per evitare che siano privilegiati i documenti più lunghi.

${\displaystyle \mathrm {tf_{i,j}} ={\frac {n_{i,j}}{|d_{j}|}},}$

dove ${\displaystyle n_{i,j}}$ è il numero di occorrenze del termine ${\textstyle i}$ nel documento ${\textstyle j}$ , mentre il denominatore ${\textstyle |d_{j}|}$ è semplicemente la dimensione, espressa in numero di termini, del documento ${\displaystyle j}$ .

L'altro fattore della funzione indica l'importanza generale del termine ${\displaystyle i}$ nella collezione:

${\displaystyle \mathrm {idf_{i}} =\log _{10}{\frac {|D|}{|\{d:i\in d\}|}},}$

dove ${\displaystyle |D|}$ è il numero di documenti nella collezione, mentre il denominatore è il numero di documenti che contengono il termine ${\displaystyle i}$ .

Abbiamo quindi che:

${\displaystyle \mathrm {(tf{\mbox{-}}idf)_{i,j}} =\mathrm {tf_{i,j}} \times \mathrm {idf_{i}} .}$

Consideriamo un documento contenente 100 parole e nel quale il termine pluto compare 5 volte. Il fattore TF per il termine pluto è ${\displaystyle {\frac {5}{100}}=0,05}$ . Assumiamo di avere ora 1 000 documenti nella collezione e pluto compare in 10 di questi. Quindi ${\displaystyle IDF=\log _{10}{\frac {1000}{10}}=2}$ . Da questo possiamo calcolare il valore Tf-idf relativo alla parola pluto nel documento iniziale: ${\displaystyle {\mbox{TF-IDF}}=0,05\times 2=0,1}$ .

• Coseno di similitudine
• Information Retrieval

• An introduction to information Retrieval (PDF), su nlp.stanford.edu.

Portale Informatica: accedi alle voci di Wikipedia che trattano di informatica