La réputation de synthèse : ce qu’un modèle de langage dit d’une entreprise

Un acheteur qui préparait une décision d’achat lisait des sources : un site, des avis, un article, parfois un rapport. Il les lisait mal, partiellement, mais il les lisait. De plus en plus, il pose une question à un modèle de langage et lit une réponse. Cette réponse n’est pas une source. C’est une synthèse, produite à partir de sources que l’acheteur ne voit pas, selon des règles qu’il ne connaît pas.

J’appelle réputation de synthèse l’image d’une entreprise telle qu’elle ressort de ces réponses. Elle constitue l’hypothèse H3 du programme de recherche : cette réputation existe, elle diffère de la réputation documentaire, et les outils de veille classiques ne la voient pas.

Pourquoi la veille ne la voit pas

Un outil de veille cherche des documents qui contiennent un nom. Il suppose que la réputation est la somme de ces documents. Une réponse de modèle ne correspond à aucun document : elle n’est indexée nulle part, elle n’a pas d’adresse, elle change d’une formulation de la question à l’autre et d’un modèle à l’autre.

Trois propriétés la distinguent :

• Elle est générée, pas publiée. Deux personnes qui posent la même question n’obtiennent pas nécessairement la même réponse. La réputation de synthèse est une distribution de réponses possibles, pas un texte.
• Elle mélange mémoire et recherche. Une partie de la réponse vient des données d’entraînement du modèle, figées à une date ; une autre vient, pour les systèmes qui y ont recours, de documents récupérés au moment de la question^[3]. Une information corrigée en ligne peut ainsi survivre dans la mémoire du modèle.
• Elle peut être fausse sans source fautive. Les modèles produisent des affirmations plausibles que rien n’étaye : la littérature parle d’hallucination^[2]. Une homonymie, une confusion entre deux sociétés au nom proche, et une entreprise hérite d’un litige qui n’est pas le sien.

Ce que l’on sait déjà de l’optimisation de ces réponses

Des travaux récents ont montré que la visibilité d’une source dans les réponses des moteurs génératifs peut être modifiée par la façon dont cette source est rédigée : ajout de citations, de statistiques, de formulations faisant autorité^[1]. Ces travaux portent sur la visibilité d’un contenu. Ils ne disent rien de l’image d’ensemble qui résulte, pour une entreprise donnée, de l’agrégation de toutes ces réponses. C’est cet écart que vise le programme.

Un protocole d’audit

Pour qu’une réputation de synthèse soit mesurable, il faut la traiter comme un phénomène statistique. Le protocole retenu comporte cinq étapes :

1. constituer un panel de requêtes réalistes, du point de vue d’un acheteur (« que vaut le cabinet X », « X ou Y pour tel besoin », « avis sur X ») ;
2. interroger plusieurs modèles, à plusieurs reprises par requête, à intervalles réguliers ;
3. extraire de chaque réponse des assertions élémentaires (« X est spécialisé en… », « X a fait l’objet de… ») ;
4. confronter chaque assertion au graphe de référence de l’entreprise : exacte, inexacte, invérifiable ;
5. mesurer la polarité, l’exactitude et la stabilité de l’ensemble, et leur évolution dans le temps.

Le résultat n’est pas une note. C’est un profil : ce que les modèles affirment avec constance, ce qu’ils affirment de façon erratique, et ce qu’ils affirment à tort.

Limites

Les modèles évoluent, parfois sans annonce. Un audit n’a de valeur qu’à sa date et pour les versions testées. Le panel de requêtes oriente les réponses : il doit être documenté et stable d’une mesure à l’autre. Enfin, rien ne permet encore d’affirmer que la réputation de synthèse pèse sur les décisions d’achat dans les mêmes proportions que les sources qu’elle résume. C’est précisément ce que les études de cas doivent établir.

Le cadre juridique, lui, reste pensé pour des contenus publiés. Le Digital Services Act organise les obligations des plateformes à l’égard des contenus qu’elles hébergent^[4] ; la situation d’une affirmation générée à la demande, et jamais publiée, pose des questions que le droit n’a pas encore tranchées.