L’IA au service du fact-checking… Vraiment ?

Parmi les promesses de l’IA concernant les métiers de l’information, le fact-checking figure en bonne place. À côté des outils payants, figurent nombre d’outils gratuits ou peu onéreux qui pourraient s’avérer utiles aux professionnels de l’information pour combattre la désinformation… Mais qu’en est-il dans la réalité ?

Les contenus générés par IA sont largement susceptibles de divulguer de fausses informations. Vérifier si une information provient d’une IA constitue donc désormais une piste pour évaluer le niveau de fiabilité d’une source. Mais le contenu généré par IA est parfois tellement proche d’une production humaine dans sa forme, que nul ne peut dans ce cas faire la différence, si ce n’est… une autre IA.

Les « détecteurs d’IA » se multiplient ainsi sur la toile. Et ils peuvent détecter le texte, l’image, la vidéo ou même la voix, grâce notamment à l’analyse linguistique et à l’apprentissage automatique, à la recherche de modèles - les patterns - et d’attributs spécifiques indiquant la paternité de l’IA, tels qu’une faible variation dans la longueur des phrases et le choix des mots pour les textes, par exemple.

Pour les textes

Ce qui ressort d’une comparaison des offres d’une dizaine d’outils, c’est que parfois ceux-ci sont couplés avec la détection de plagiat traditionnelle, dans ce cas cette fonctionnalité est payante. Inversement, les détecteurs de plagiat avec une offre gratuite proposent aussi une option de détection de génération IA, mais dans une version payante.

Il est donc possible de coupler deux outils gratuits, mais si l’on veut les deux fonctionnalités dans un seul outil, il faudra payer. Nous avons donc concentré nos tests sur les outils IA conçus spécifiquement pour repérer le contenu généré par les IA génératives.

Aujourd’hui, l’un des sites les plus médiatisés – 350 000 résultats dans Google.com – est GPTZero. Cet outil est intéressant, car il promet d’aller au-delà des outils conventionnels. Non seulement il vérifie si le texte est généré par une IA, mais il va plus loin en identifiant laquelle. Il peut donc, en théorie, vérifier si le texte est issu de plusieurs modèles de langage (ChatGPT, GPT, Llama, Bart, Claude, Falcon, Jasper), et même si ce texte provient d’un mix humain+IA. L’outil s’intègre également sous forme d’extension dans Microsoft Word, Google Docs ou Chrome pour scanner les pages du web. Et la version gratuite permet d’analyser jusqu’à 10 000 mots par mois (voir Figure 1).

Figure 1 : La présentation des résultats de GPTZero s’accompagne d’un pourcentage d’erreurs.

Il a donc été testé avec une excitation particulière due à son potentiel. Et là, patatras. En termes de résultats, nous lui avons fourni un texte 100 % humain. Il l’a détecté comme tel avec une probabilité de 82 %, avec une couleur indiquant un niveau de confiance « Incertain ». Mais un autre test avec du texte généré par ChatGPT (GPT 3.5) a été détecté comme humain avec une probabilité de 88 % (et un niveau de confiance modéré). Et au troisième test, il a détecté comme humain un texte généré par ChatGPT, avec 54 % de probabilité, assorti néanmoins d’un score de confiance rouge (incertain). Pourtant notre prompt n’était pas sophistiqué, nous nous étions contentés d’un « écris un article sur… »