Progetto Fondamentalismi

Il lavoro presenta un esperimento pilota che esplora l’uso dei modelli linguistici di grandi dimensioni (Large Language Models, LLM) nel contesto dell’Analisi Critica del Discorso (Critical Discourse Analysis, CDA).

La CDA esplora i meccanismi attraverso i quali il discorso, inteso come qualsiasi forma di evento comunicativo e come una pratica sociale, contribuisce al mantenimento o alla sovversione delle relazioni di potere. Questa ricerca analitica vuole rendere visibili le ideologie nascoste nel discorso, che non è mai neutrale.

L’approccio proposto prevede la costruzione di uno standard di riferimento basato sul consenso, ottenuto dalle annotazioni di tre valutatori umani, utilizzato poi per valutare l’accuratezza di un’analisi automatica eseguita dal LLM.

Il caso di studio esamina un corpus di trenta articoli d’opinione provenienti da giornali ideologicamente diversi, per indagare la rappresentazione mediatica dell’attacco di Hamas a Israele del 7 Ottobre 2023. Le testate scelte sono The Jerusalem Post (TJP), The Electronic Intifada (TEI) e The Washington Post (TWP); per ognuna di queste sono stati raccolti 10 articoli.

È stato creato un set di 8 domande, basate in particolare sulla teoria di Van Dijk, uno dei principali esponenti della CDA che dedica particolare attenzione all’analisi delle news. Le domande mirano a indagare le strategie discorsive e le rappresentazioni ideologiche presenti nei testi esaminati.

Le domande sono state somministrate a tre valutatori umani e al contempo all’intelligenza artificiale, dopo una rielaborazione sotto forma di prompt. In particolare, abbiamo usato Gpt-4o interrogato attraverso l’interfaccia ChatGPT. Data la frequente natura non deterministica dell’intelligenza artificiale, ciascuna domanda gli è stata sottoposta 5 volte.

Dopo aver raccolto le risposte sia degli annotatori umani che del LLM in un foglio di lavoro, è stato calcolato prima l’inter-agreement tra i 3 valutatori umani e poi quello tra le 5 risposte del LLM.

In seguito, è stato stabilito un gold standard di riferimento basato sul consenso. I risultati ottenuti hanno evidenziato sia i punti di forza dell’intelligenza artificiale applicata alla CDA, sia i suoi limiti e criticità.

Tra i primi, è emerso che il LLM:

•     riconosce in maniera adeguata caratteristiche esplicite del discorso
•     individua accuratamente i temi salienti e il loro ruolo nella narrativa
•     identifica adeguatamente il ruolo degli attori principali.

Tra i secondi, invece, rileviamo che l’intelligenza artificiale:

•     non sempre distingue le caratteristiche implicite del discorso
•     non sempre identifica correttamente gli eufemismi. Infatti, tra questi talvolta riporta
•     termini fortemente denotativi, come “mass slaughter” (massacro di massa) e “carnage” (carneficina).
•     talvolta interpreta erroneamente espressioni disumanizzanti. Difatti, ha riconosciuto espressioni come “Zionist aggression” (aggressione sionista) e “Zionist arrogance” (arroganza Sionista) come espressioni disumanizzanti.

Questo esperimento pilota rafforza l’idea che i LLM non possano essere considerati sostituti degli analisti critici umani, ma strumenti di supporto che possono assistere nell’esplorazione di grandi corpora, a evidenziare caratteristiche salienti del discorso e a generare considerazioni preliminari.