linguistica computazionale, Slide di Linguistica

Scarica linguistica computazionale e più Slide in PDF di Linguistica solo su Docsity!

Completare testi

• I «Language Model» Linguistica Computazionale Francesco Mambrini 2024/

Predire parole 0 1

Completare e generare un

testo

Più probabili Alcune sequenze di parole (e.g. «mettersi a piovere») sono più probabili di altre!

Probabilità Alcuni concetti chiave ! In statistica

Their a couple --> They’re a couple Correggere Sono costruiti per risolvere lo stesso task (predire la sequenza più probabile) LLM Comunicazione Aumentativa e Alternativa (ACC) Facilitare

Uno dei primi chatterbot (1966) creato per imitare uno psicoterapeuta Rogersiano. Il funzionamento di ELIZA è molto semplice, ma molto efficace. Il chatterbot opera in uno dei rari domini in cui può simulare totale ingenuità, chiedendo chiarimenti sul senso delle parole o riformulando semplicemente quel che gli viene detto (–My boyfriend made come here –Is it important to you that your boyfriend made you come here?) Per questo ELIZA può funzionare con un meccanismo molto semplice: riconoscimento di pattern e sostituzione. Eliza è un sistema rule-based! Eliza (The doctor)

Come calcolare: ?

Apprendere dai dati Entrambi i modelli si basano su un’idea: i modelli apprendono a stimare le probabilità studiando una grande quantità di dati linguistici nel loro «habitat naturale»; ovvero: molti testi naturalmente prodotti dai parlanti di una lingua

Probabilità di un evento semplice Probabilità di una parola in un cotesto ????

«fame che mangerei» in ItTenTen https://app.sketchengine.eu/

Come si distribuiscono le parole- tipo in un corpus (o in un testo), ad es. nella Divina Commedia? Più di 7.000 (57%) parole su 12,838 ricorrono 1 volta sola ( hapax)! 986 parole (7%) ricorrono più di 10 volte Solo 12 parole ricorrono più di 1000 volte

• Lenci et al., p.
• Lenci et al., p.

N-gram model 0 2

Un approccio semplificato