Entre audit et autoréférence : analyse de contenu des auto-évaluations de modèles de langage à propos d’un protocole de gouvernance de l’interaction utilisateur-IA dans la recherche en sciences de gestion

Abstract

Cette étude examine la manière dont différentes familles de grands modèles de langage (LLM) interprètent et auto-évaluent un protocole de gouvernance de l’interaction utilisateur-IA, dénommé Pacte Utilisateur-GenIA, conçu pour encadrer l’usage de l’intelligence artificielle générative par les étudiants de master et de doctorat en gestion. L’objectif était d’identifier et de comparer, par l’analyse de contenu, les significations que les systèmes eux-mêmes attribuent à leurs capacités, à leurs limites et aux risques d’application du protocole, ainsi que les représentations qu’ils construisent les uns des autres. Une approche qualitative fondée sur Bardin a été adoptée, avec un corpus de douze avis technico-critiques produits par six modèles de fondation (Gemini, Qwen, DeepSeek, Llama, ChatGPT et Claude) en réponse à deux prompts structurés, soumis à un codage catégoriel a priori et a posteriori. Les résultats ont mis en évidence trois catégories émergentes : la stratification contestée des capacités techniques déclarées ; l’asymétrie du rapport coûts-bénéfices tout au long du cycle de recherche, favorable à la structuration théorico-méthodologique et défavorable à la collecte et à l’analyse empiriques ; et un schéma systématique de biais autoréférentiel, dans lequel chaque modèle tend à s’attribuer, ainsi qu’aux systèmes architecturalement proches, une plus grande rigueur critique et une moindre complaisance qu’à ses concurrents. Parmi les limites figurent l’absence de vérification inter-codeurs humaine, la nature déclarative et non comportementale du corpus et sa délimitation temporelle à août 2026. L’étude apporte une contribution théorique à la littérature sur la gouvernance algorithmique et la confiance organisationnelle dans les systèmes intelligents, ainsi qu’une contribution pratique à la formulation de protocoles institutionnels d’usage de l’IA générative dans les programmes de post-graduation.

Keywords