Logo L'ink - Scrittura Professionale l'ink scrittura professionale

"Fare cose con le parole"

Semplificazione automatica del linguaggio. Storia di una sperimentazione con ChatGPT

di Giovanni Acerboni, 24 novembre 2023

 

Nell'estate del 2023 ho compiuto una sperimentazione su ChatGPT e altri Large Language Model con i miei partner storici nei progetti sull'Intelligenza: Artificiale Alessandro Panunzi (professore UniFI), Lorenzo Gregori (ricercatore UniFI), Walter Paci (dottorando UniFI) e con l'avvocata Maria Roberta Perugini.

Lo scopo della ricerca era capire se e come le intelligenze artificiali generative (Large Language Models) potessero essere utili nella semplificazione del linguaggio della scrittura professionale.

Abbiamo estratto un dataset dal mio CITPRO - Corpus dell'ITaliano PROfessionale. Il dateset comprendeva esempi di alcuni problemi tipici dell'oscurità dei testi professionali, come i periodi troppo lunghi.

Abbiamo utilizzato il dataset per verificare come ChatGPT riuscisse a semplificare e abbiamo fatto alcune scoperte molto interessanti.

ChatGPT non conosce tanto bene la lingua italiana. Al momento, conosce la grammatica, ma non la lingua. In particolare, non è in grado di compiere astrazioni, cioè di comprendere un linguaggio tecnico. E poi non sa contare. Sicché non è tanto semplice farsi dire ogni quante parole si trova un verbo. Nemmeno interrogandolo in inglese.

Il prompt desing è una questione di linguaggio, innanzitutto. ChatGPT non pensa come noi. Si potrebbe dire che non ha un approccio scientifico alla conoscenza.

Il nostro problema è stato dunque di trovare un linguaggio di comunicazione con ChatGPT.

Per esempio, un prompt semplice (zero shot) che gli chiede di semplificare una frase produce una risposta sbagliata, perché ChatGPT interpreta a modo suo l’idea di “semplificazione”. Per cui:

Le cose migliorano parecchio con prompt più complessi e che contengono istruzioni, cioè che lo addestrano. Lo hanno dimostrato esperti e non esperti a quali abbiamo fatto valutare le risposte di ChatGPT:

  1. gli esperti considerano più leggibili le frasi riscritte da ChatGPT ma non ne considerano sempre affidabile il contenuto;

  2. i non esperti continuano a trovare poco leggibili le frasi riscritte da ChatGPT.

I risultati dimostrano l’assunto della scrittura professionale: che la semplificazione riguarda come si scrive una cosa non la cosa. Sicché per un non esperto, un testo semplificato resta difficile.

Il 28 settembre abbiamo presentato la ricerca Exploiting large language models based on pretrained generative transformers to solve readability issues on Italian bureaucratic and professional texts al convegno "1st International Conference on “Automated texts In the ROMance languages” (Ai-ROM). A linguistic perspective", Organizzato dall’Institut fur Romanistik, Technische Universitat Dresden.

Gli atti del convegno, con la nostra ricerca, dovrebbero essere pubblicati nella prima metà del 2024.