metrica modello semantico

Costruire una metrica per valutare un modello semantico

La ricerca di tipo semantico di Inda richiede la costruzione di un modello semantico verticalizzato sul dominio del recruiting: questo modello deve essere specializzato sul lessico, le locuzioni e i significati semantici tipici dell’ambito del recruiting.

Come spiegato in un articolo precedente, la chiave per scegliere il modello migliore e per poterlo ottimizzare, sta proprio nel metodo di valutazione.

Definire un metodo di valutazione significa in particolare definire matematicamente una metrica che assegni un voto al modello sulla base di come viene eseguito un determinato compito (il cosiddetto “downstream task”). Nel caso di Inda, a livello tecnico, ciò che viene richiesto al modello semantico è un ordinamento di parole (skills, jobtitles, ecc) o di testi (CV, job descriptions, ecc) sulla base della vicinanza semantica a determinati concetti, parole o testi.

La chiave per la valutazione è quindi il confronto dell’ordinamento prodotto dal modello con quello corretto; in un articolo successivo approfondiremo la questione di come si possa costruire un ordinamento corretto – la cosiddetta ground truth – o, più precisamente, la sua miglior approssimazione possibile.

Calcolare la distanza fra ordinamenti è un problema importante in statistica, infatti sono state definite diverse metriche per confrontare matematicamente due ordinamenti (per una panoramica si può consultare, per esempio, la pagina Wikipedia dedicata alla rank correlation). In particolare, due definizioni molto usate nella letteratura scientifica sono quelle del coefficiente rho di Spearman e del coefficiente tau di Kendall: queste metriche prendono in input due ordinamenti e assegnano un indice di correlazione fra -1 e 1 in base a quanto gli ordinamenti sono simili. In particolare

  • il valore 1 corrisponde a ordinamenti identici;
  • il valore 0 corrisponde a ordinamenti completamente scorrelati: non hanno nulla a che vedere uno con l’altro, come nel caso in cui uno dei due sia prodotto in modo casuale;
  • il valore -1 corrisponde a due ordinamenti esattamente opposti: chi occupa la prima posizione del primo ordinamento si trova all’ultima posizione del secondo ordinamento, chi occupa la seconda posizione nel primo ordinamento si trova nella penultima del secondo, e così via;
  • valori intermedi dei coefficienti corrispondono a situazioni intermedie.

Nel nostro caso, l’obiettivo è confrontare l’ordinamento prodotto dal modello semantico con l’ordinamento corretto: le metriche devono quindi stabilire quanto il primo sia simile al secondo, e le differenze fra i due ordinamenti corrispondono agli errori del modello.

I coefficienti rho di Spearman e tau di Kendall, seppure molto utili dal punto di vista teorico generale, non tengono conto di un aspetto fondamentale nella valutazione di un modello semantico: le posizioni nell’ordinamento non hanno tutte la stessa importanza, e di conseguenza un errore ha importanza diversa a seconda delle posizioni coinvolte.

Questa esigenza è stato osservata e descritta in molti articoli scientifici, in riferimento a svariati task di Natural Language Processing (NLP), ma può essere compresa in modo intuitivo con un semplice esempio: supponendo di dover ordinare 100 parole per pertinenza rispetto a una certa chiave di ricerca, un errore che consista nello scambiare le posizioni 1 e 4 ha evidentemente un peso molto più grande di un errore che consista nello scambiare le posizioni 81 e 84.

Per questo motivo, il team Data Science di Inda utilizza per le sue valutazioni versioni pesate dei coefficienti rho di Spearman e tau di Kendall, in modo che ogni errore contribuisca al coefficiente di correlazione con un peso che dipende dalle posizioni coinvolte. Il modo in cui calcolare il peso dell’errore sulla base delle posizioni non è banale né tantomeno univoco, tuttavia in un articolo di ricerca che presenteremo alla conferenza Empirical Methods in Natural Language Processing – l’articolo è accessibile al fondo della pagina – proponiamo alcuni ragionamenti generali che forniscono linee guida per trovare dei “buoni pesi”.

Per tutti i dettagli tecnici, rimandiamo al nostro articolo scientifico Top-Rank-Focused Adaptive Vote Collection for the Evaluation of Domain-Specific Semantic Models, scaricabile dal form sottostante.

Scarica il paper

I dati forniti verranno trattati a mezzo di strumenti informatici al fine di dare un seguito alla tua richiesta. Inda, in qualità di titolare del trattamento dei dati, assicura che i dati forniti verranno utilizzati solamente per gli scopi indicati (vedi privacy), nel pieno rispetto del Regolamento UE n. 2016/679 (GDPR).

Recent Posts

CV anonimo e blind recruitment
lavaember cos'è
creating the ground truth
creazione ground truth
Natural Language Processing

CONTATTI

+39 011 586 2407

Via Amedeo Avogadro, 20 – Torino

Copyright © 2021 Inda

Inda è una soluzione di Intervieweb S.r.l. Società del gruppo Zucchetti P.IVA: 10067590017

Privacy policy   Cookie policy