Quelle est la fiabilité des détecteurs de contenu généré par l'Intelligence Artificielle ?

ChatGPT comme outil rédactionnel

La Generative Artificial Intelligence, ou l’Intelligence Artificielle générative, (ou tout simplement : ChatGPT ;),) fait désormais partie de notre quotidien et de la rédaction de textes.

Cela peut être un formidable outil quand il s’agit de rédiger du texte rébarbatif ou de corriger la forme, mais même avec les prompts adéquats, cet outil ne remplace pas le fond : l’analyse, l’esprit critique, les idées et la touche personnelle d’une Intelligence Humaine.

Sachez également que tout contenu entré comme simple question (ou prompt) est conservé, et donc réutilisé…

L'IA générative et les écoles et universités

Démunies pédagogiquement face à ces outils, de nombreuses institutions font appel, souvent aveuglement, à des outils de détection de contenu généré par l’IA. Hélas, ces outils ne sont pas fiables et reportent des faux positifs…
Faisons-en le tour pour comprendre comment un contenu que vous avez rédigé peut devenir l’objet de suspicions !

Mais en fait, c'est quoi ChatGPT ?

En premier lieu, il convient de se rappeler comment les outils d’IA puisent leur savoir : des millions et des millions de pages, le plus souvent sur Internet, ont été parcourues et dont le contenu a été indexé et approprié en bonne et due forme.

L’IA détermine l’information recherchée à l’aide de probabilités selon le prompt, et la délivre à l’aide des informations qu’elle a dans sa bibliothèque avec des phrases humaines élégamment tournées.

La syntaxe et l’orthographe sont toujours excellentes car l’outil a reçu une seule bonne éducation sur l’apprentissage de la langue, façon Bescherelle, et n’a pas été nourri des mauvaises grammaires du quotidien.

Et comme il n’y a aucun esprit critique, si une fausse information est ingérée sans contre-analyse… elle ressortira fausse, mais avec l’aplomb de l’IA, donc paraissant juste.

Quelques faux positifs

Un oeil aguerri pourra rapidement détecter des faux positifs : des phrases injustement détectées comme 100% IA. Voici quelques exemples courants.

• Une vérité générale ou des informations génériques : « le solstice d’été a lieu le 21 juin » C’est une vérité générale, difficilement formulable différemment. Une telle phrase peut injustement incrémenter le score de contenu non humain, sans que cela ne soit réaliste. FAUX POSITIF !
• Une reformulation ou une correction passée dans l’IA : le fond était à vous, mais la forme sera détectée, et le tout sera considéré comme généré par de l’IA. Et votre contenu sera précieusement conservé ;) - un faux positif donc, mais fortement pénalisant. Il est préférable d'utiliser un correcteur d'orthographe type Antidote, et de s'appliquer en premier lieu, que de faire reformuler son texte par ChatGPT ou Magic Write de Canva... FAUX POSITIF... JUSTIFIÉ !
• Des fautes d’orthographe dans le texte ? Peu probable que cela provienne d'une machine ! Si l'outil de détection de contenu IA surligne une phrase contenant une faute d'orthographe ou de grammaire, c'est un FAUX POSITIF !
• Contenu non récent ? Prenez l'exemple de notre image à la une, ce contenu date de 2017, et est détecté à près de 46% comme généré par ChatGPT. Où était ChatGPT en 2017 ? ChatGPT était le premier outil de rédaction assistée par IA dévoilée au grand public en novembre 2022. Si le texte est rédigé avant novembre 2022, il ne peut donc pas avoir été rédigé par ChatGPT, et si les outils détectent un tel texte comme 100% IA, vous êtes en présence d'un FAUX POSITIF !

MyStudies vous informe sur les LLM et les logiciels de détection d'IA

• Les outils de détection de contenu rédigé par une intelligence artificielle générative
• Quel est le meilleur LLM - Gemini, Copilot ou ChatGPT ?
• IA : les plus grosses bourdes des IA en 2024
• IA : rétrospective des évolutions des IA en 2024
• L'Intelligence Artificielle et la rédaction d'une commande : pourquoi c'est un no-go