ChatGPT fait parler de lui depuis 2022 et, que certains étudiants veuillent l’admettre ou non, l’outil d’IA est utilisé dans le cadre scolaire. Aujourd’hui, des chercheurs ont comparé la qualité de dissertations rédigées par des élèves de l’enseignement secondaire avec du contenu généré par une machine à partir du modèle linguistique ChatGPT.
Ils ont constaté, sans surprise, que le chatbot ChatGPT surpassait les étudiants sur tous les critères, excellant particulièrement dans la maîtrise de la langue, rapporte TechXplore.
Essais rédigés par des étudiants contre l’IA
ChatGPT a connu un revers lorsque la version 3.5 a échoué à l’Abitur bavarois, un examen de fin d’études secondaires en Allemagne. Cependant, son successeur, la version 4, a fait des progrès significatifs et a obtenu une bonne note près de 6 mois plus tard, selon des chercheurs de l’université de Passau.
L’étude, intitulée « A large-scale comparison of human-written versus ChatGPT-generated essays », a exploré l’impact potentiel du contenu généré par l’IA sur le système éducatif.
Les chercheurs ont évalué des textes générés par des machines et des dissertations d’étudiants sur la base des directives du ministère de l’éducation de Basse-Saxe. Le professeur Steffen Herbold, chair de AI Engineering à l’université de Passau et initiateur de l’étude, s’est dit surpris du résultat apparent.
Les deux versions du chatbot d’OpenAI ont obtenu de meilleurs résultats que les élèves, GPT-3 se situant dans la moyenne et GPT-4 obtenant le meilleur score. Cette révélation suggère que les écoles ne devraient pas ignorer le potentiel de ces nouveaux outils d’intelligence artificielle.
L’étude interdisciplinaire a nécessité la collaboration d’informaticiens et d’experts en linguistique informatique et en enseignement de l’informatique. Ute Heuer, didacticienne en informatique, a souligné l’importance de préparer les enseignants aux défis et aux opportunités présentés par la disponibilité croissante des modèles d’intelligence artificielle.
En mars, Heuer a organisé un cours de formation intitulé « ChatGPT — Opportunité et défi », auquel ont participé 139 enseignants, issus pour la plupart d’écoles allemandes. Les enseignants ont été initiés aux concepts technologiques qui sous-tendent les générateurs de textes généraux et ChatGPT avant d’évaluer des textes en anglais sans en connaître l’origine.
Les enseignants ont utilisé les échelles de notation du ministère de l’Éducation de Basse-Saxe pour évaluer les essais sur la base de critères tels que le sujet, l’exhaustivité, la logique, le vocabulaire, la complexité et la maîtrise de la langue. GPT-4 a obtenu un score de 5,25, GPT-3 un score de 5,03, tandis que les élèves ont obtenu une moyenne de 3,9 pour la maîtrise de la langue, d’après l’évaluation des 111 enseignants participants.
Maîtrise des langues par l’IA
Annette Hautli-Janisz, jeune professeur de rhétorique informatique et de traitement du langage naturel à l’université de Passau, a fait remarquer que les scores élevés obtenus par la machine ne signifient pas que les élèves maîtrisent mal l’anglais. Il s’agit plutôt d’une preuve de la performance exceptionnelle des modèles d’intelligence artificielle.
D’un point de vue linguistique, Hautli-Janisz et Zlata Kikteva, étudiante en doctorat, ont analysé les textes et obtenu des informations sur le développement linguistique des modèles d’IA.
L’étude démontre non seulement l’amélioration des modèles au fil du temps, mais soulève également des questions intéressantes sur le potentiel impact du langage généré par l’IA sur la communication humaine.
Les textes générés par l’IA devenant de plus en plus courants, l’étude suggère qu’il est nécessaire d’examiner comment l’exposition au langage généré par la machine peut influencer et façonner le langage humain à l’avenir. Les conclusions de l’équipe de recherche ont été publiées dans Scientific Reports.
