ChatGPT : Stanford lance DetectGPT, un outil dédié à l'enseignement supérieur
Des chercheurs de Stanford lancent DetectGPT, l'un des premiers outils de détection des textes générés par ChatGPT dédié à l’enseignement supérieur.
Une équipe de chercheurs de l’Université américaine Stanford ont mis au point un nouveau système appelé DetectGPT, permettant de déterminer si un texte (en totalité ou en partie) a été généré par ChatGPT, sans avoir à entraîner un modèle spécifique ou à collecter de grands ensembles de données. La détection s'appuie sur les particularités des fonctions de probabilité logarithmique des grands modèles de langage. L'équipe a testé son logiciel sur un ensemble de faux articles écrits par ChatGPT et celui-ci serait fiable à 95%.
L’outil est destiné aux professeurs, notamment ceux de l’enseignement supérieur. Il pourrait rassurer la communauté éducative, qui semble inquiète depuis que ChatGPT a été dévoilé au grand public fin novembre 2022, estimant qu’il pourrait devenir une méthode de triche efficace et généralisée.
Un outil investi par les étudiants
ChatGPT a en effet du succès auprès des étudiants. À Lyon, le 10 janvier, le Progrès dévoilait que plus de 50% d’une classe avait utilisé le robot conversationnel dans un devoir. Les textes de la moitié des élèves présentaient des "similitudes troublantes" et étaient construits exactement de la même manière. L’enseignant en handicapologie, démuni, leur avait tout de même attribué la note de 11,75 sur 20.
Face à cette problématique, certains établissements interdisent l’utilisation de l’outil, à l’instar de l’ensemble des écoles publiques new-yorkaises. En France, c’est l'Institut d'études politiques (IEP) de Paris, Sciences Po, qui a ouvert la voie en annonçant cette nouvelle règle vendredi, dans une lettre adressée aux étudiants.
Des sanctions pouvant aller jusqu'à l'exclusion
"L’utilisation de ChatGPT à Sciences Po, ou de tout autre outil ayant recours à l’IA est, à l’exception d’un usage pédagogique encadré par une enseignante ou un enseignant, strictement interdite lors de la production de travaux écrits ou oraux par les étudiantes et étudiants sous peine de sanctions qui peuvent aller jusqu’à l’exclusion de l’établissement voire de l’enseignement supérieur", prévenait Sergeï Guriev, directeur de la formation et de la recherche de l’IEP.
Contacté par téléphone, il a tout de même relativisé : "Comme la grande majorité des examens se déroulent sur table, il n’y a pas un gros risque". Il a par ailleurs assuré qu’il faisait "naïvement confiance à ses étudiants", estimant "qu’ils ne s’étaient certainement pas inscrits à Science Po, une école dans laquelle on vient se construire une culture personnelle et un esprit critique, pour faire du plagiat".
Plusieurs outils de détection sur le marché
Interdire l’utilisation du système implique de pouvoir détecter son utilisation, et c’est là qu’intervient DetectGPT, qui, néanmoins, n’est pas le premier outil du genre. OpenAI avait lui-même déjà mis à disposition un détecteur, nommé GPT-Output-Detector.
Début janvier, Edward Tian, un étudiant en informatique de l’Université de Princeton, avait lui aussi mis en ligne un outil dédié à identifier l’utilisation de ChatGPT dans un texte, baptisé GPTZero. Ce matin il a annoncé sur twitter une nouvelle version, GPTZeroX, elle aussi conçue pour les professeurs. Néanmoins, son outil n’est pas fiable à 100% et est beaucoup moins efficace sur une langue autre que l'anglais. Les professeurs non-anglophones doivent donc traduire le texte avant de le tester. D’autres, comme originality.ai et detector.dng.ai, font le même travail.
"Une fausse impression d'excellence"
On se demande tout de même si les craintes de la communauté éducative sont légitimes, et si ces outils de détections présentent un réel intérêt, car ChatGPT est moins efficace qu’il n’y paraît. Ce type de système n'invente rien, il s'appuie sur une vaste quantité de données collectées sur Internet pour créer, à partir des informations recueillies, des textes qui semblent écrits par un humain. Mais il n’est pas capable de faire preuve de créativité ou d’imagination, il ne fait que savamment mélanger les textes déjà présents sur Internet. Par ailleurs, plus un sujet est spécifique et moins de sources sont disponibles, plus il aura tendance à se reposer sur une seule et même réponse. Et ce, sans être capable d'attester de sa véracité, bien évidemment.
Sam Altman, co-fondateur d'OpenAI, l’a reconnu lui-même sur Twitter : "ChatGPT est incroyablement limité, mais suffisamment bon dans certains domaines pour créer une fausse impression d'excellence. C'est une erreur de lui faire confiance pour quoi que ce soit d'important à l'heure actuelle. Nous avons beaucoup de travail à faire sur sa robustesse et son exactitude."
Des lacunes encore facilement détectables
On peut alors imaginer, d’abord, que les logiciels anti-plagiat déjà utilisés depuis plusieurs années par les universités fonctionneront aussi pour ChatGPT. Ensuite, que les professeurs seront capables de détecter quand ce n’est pas l’élève qui a écrit le texte même sans logiciel. Car au-delà du style utilisé, certaines lacunes trahissent ChatGPT dans sa version actuelle : présence récurrente de mots génériques, impersonnels et de formules bateau, homogénéité du ton, majuscules là où il n’en faudrait pas…
De plus, lorsque la même question est posée à l’outil par plusieurs étudiants, leurs réponses tendent à être très similaires, avec les mêmes constructions grammaticales, le même raisonnement et les mêmes exemples. C’est sans doute plus compliqué à détecter sur les copies des élèves les plus malins qui mélangeront les propositions de ChatGPT et leur contenu propre, mais celles-ci, les outils de détection aussi auront eux aussi du mal à les identifier. Le problème n'est pas nouveau : le plagiat est en recrudescence depuis des années, notamment suite à l'avènement de Wikipedia et la disponibilité en ligne de quantités toujours plus importantes de travaux de recherche.
SUR LE MÊME SUJET
ChatGPT : Stanford lance DetectGPT, un outil dédié à l'enseignement supérieur
Tous les champs sont obligatoires
0Commentaire
Réagir
