Une IA peut-elle sortir du cadre ?

Après vingt ans à poser des questions aux humains, j’ai commencé à en poser une aux machines.

Je sais presque rien sur presque tout

Un expert sait presque tout sur presque rien. Moi, je sais presque rien sur presque tout.

La formule est évidemment caricaturale, mais elle décrit assez bien quelque chose que j’ai fini par comprendre après plus de vingt ans de journalisme, d’interviews, de débats, de modérations et parfois de consulting stratégique : bien que je ne sois généralement pas la personne qui en sait le plus dans la pièce, parfois, je pose LA bonne question. Pourquoi ? Pendant longtemps, j’ai considéré que c’était ce qui me rendait « bonne » dans mon métier : une posture comme une donnée du métier.

Face à un dossier, je passe assez naturellement d’un niveau d’analyse à un autre. Une question économique peut m’amener vers la politique, puis vers la psychologie d’un acteur, l’histoire d’une institution, une dynamique sociale ou un problème d’incitations. Je peux rapprocher une situation d’une autre qui appartient apparemment à un univers très différent, puis revenir au problème de départ avec une question nouvelle.

Ce n’est pas passer du coq à l’âne : le déplacement EST précisément l’opération. Il permet parfois de voir qu’une contrainte présentée comme technique est surtout organisationnelle, qu’un problème de communication cache un rapport de force, qu’une donnée considérée comme un résultat n’est qu’une variable intermédiaire, ou qu’une décision présentée comme binaire cesse de l’être dès qu’on change l’échelle de temps.

Cette manière de raisonner ne garantit évidemment pas de meilleures réponses. Je peux me tromper, faire une mauvaise analogie, surinterpréter un signal ou manquer une information que l’expert voit immédiatement. Mais elle produit assez régulièrement des questions qui n’étaient pas présentes dans le cadre initial.

Et parfois, la question fructueuse n’est pas : « Quelle est la bonne réponse ? » mais : « Pourquoi sommes-nous en train de répondre à cette question-là ? »

Puis les machines se sont mises à raisonner

L’arrivée des IA génératives a rendu cette vieille habitude professionnelle beaucoup plus intéressante à mes yeux. En quelques années, les modèles sont devenus capables d’absorber des dossiers considérables, de comparer des options, d’expliciter des risques, de produire des scénarios, de rechercher des contradictions et de soutenir des raisonnements complexes. En parallèle, les approches de red teaming, les systèmes adversariaux, les architectures multi-agents et les « AI sparring partners » se multiplient. Le coût du raisonnement machine baisse, et la possibilité de faire critiquer une analyse par une autre IA devient progressivement banale.

Une grande partie du débat porte donc, assez logiquement, sur les performances comparées des humains et des machines. Sur certaines tâches formalisées, les progrès sont spectaculaires. Mais une question me gêne dans la manière dont nous racontons parfois cette progression : qu’appelons-nous exactement « raisonner » ? C’est vrai, ça : on ne sait même pas précisément définir ce qu’est l’intelligence qu’on veut déjà s’en remettre à une — ou plusieurs — qui seraient « artificielles » ? Bref, j’ai fait ce que je fais d’habitude : j’ai posé la question pour moi évidente que, pourtant, je ne vois pas beaucoup posée.

Nous savons mesurer certaines opérations cognitives parce que nous savons les isoler, les décrire et construire des tests autour d’elles. Mais cela ne signifie pas nécessairement que nous avons identifié tout ce qui compte dans un raisonnement humain utile.

Que se passe-t-il, par exemple, avec les savoir-raisonner qui n’ont jamais eu besoin d’être formalisés ? Ceux que nous rangeons sous des mots assez vagues — intuition, expérience, curiosité, culture générale, flair, transversalité — parce qu’ils sont plus faciles à reconnaître dans la pratique qu’à définir dans un benchmark ?

Ma propre manière de travailler m’a fourni un petit terrain d’essai. Non parce qu’elle serait supérieure, mais parce que j’en connais l’histoire et que j’ai pu observer, pendant des années, qu’elle produisait parfois un effet utile.

Une IA peut-elle réellement sortir du cadre — ou, plus précisément, se déplacer entre plusieurs cadres possibles lorsque le problème l’exige ?

Break the Frame

C’est de cette question qu’est née une petite expérience que j’ai appelée Break the Frame.

L’idée de départ était volontairement simple. Je ne voulais pas demander à une IA : « Trouve les faiblesses de cette réponse » ou « Joue l’avocat du diable ». Je voulais lui demander de remonter d’un étage : ne considère pas comme nécessairement valide le problème tel qu’il est formulé. Ne tiens pas automatiquement pour acquis les objectifs déclarés, les contraintes présentées, les options proposées ni les relations causales contenues dans le dossier.

Autrement dit : avant de résoudre le problème, examine la construction du problème.

Le protocole lui demande notamment de distinguer faits établis, inférences, hypothèses et inconnues ; de rechercher les faux dilemmes, les variables absentes susceptibles de modifier la décision, les contraintes qui ne sont peut-être pas réelles, les intérêts et incitations des acteurs, les explications concurrentes et les effets indirects ou de second ordre.

La question expérimentale n’est donc pas simplement de savoir si cette consigne rend l’IA « plus critique ». Elle est de savoir si elle provoque une mobilité cognitive différente : est-ce que la machine cesse parfois de chercher la meilleure solution à P pour se demander si P est réellement le problème qu’il faut résoudre ?

Trois façons de regarder le même dossier

Pour tester cette idée, j’ai commencé par reconstruire des décisions réelles à un instant T0. Des décisions d’entreprise, de collectivités… L’important était de faire construire par une IA une question importante qui s’était posée à une grosse organisation, à un moment nommé T0, d’anonymiser cette entreprise, puis de construire deux dossiers différents : un qui présente tous les éléments de décision pertinents et la question qui s’est posée ; un second, qui resterait secret jusqu’à ce que le test soit complet et qui donnerait le résultat de la décision effectivement prise et ses conséquences. Le principe est important : au moment de l’analyse, ni l’humain ni les IA ne doivent connaître ce qui s’est passé ensuite, sans quoi, forcément, leurs réponses seraient biaisées.

Chaque dossier est alors soumis à trois analyses différentes.

La première, H, est une analyse humaine. H n’est surtout pas un corrigé. Dans cette première série, H est aussi une condition imparfaite et très particulière : c’est moi. Je suis à l’origine de l’hypothèse et j’incarne précisément le type de raisonnement transversal qui l’a fait naître. Je peux donc servir de point de comparaison, certainement pas de vérité terrain.

La deuxième, IA-S, reçoit une consigne exigeante mais conventionnelle : analyser la situation, recommander la meilleure décision avec les informations disponibles, comparer les options, expliciter les avantages et risques, identifier les incertitudes et demander les informations supplémentaires nécessaires. Je tenais à ce que cette baseline ne soit pas artificiellement faible. La comparaison n’a aucun intérêt si l’on oppose BTF à un mauvais usage de l’IA.

La troisième, IA-A, reçoit le même dossier, mais avec le protocole adversarial Break the Frame.

H ↔ IA standard ↔ IA adversariale, tous aveugles à la suite des événements.

Une fois les trois analyses produites, seulement alors, j’ouvre le dossier R : ce qui s’est réellement passé après T0. R n’est pas davantage un corrigé. Une bonne décision peut avoir un mauvais résultat ; une mauvaise décision peut être sauvée par les circonstances. Mais la réalité ultérieure permet de regarder quelles variables se sont effectivement révélées importantes, quels mécanismes ont joué et quelles questions posées à T0 paraissent, rétrospectivement, particulièrement pertinentes.

Trois cas, et déjà un problème

J’ai mené cette première série sur trois décisions réelles. Je raconterai les cas séparément dans le Labo IA, avec les dossiers et les résultats lorsque leur présentation sera suffisamment propre. À ce stade, je préfère résumer, parce qu’on ne va pas y passer trois heures pour un premier article qui vous demande déjà d’être très patient avec moi pour lire autant.

Mais les trois essais font déjà apparaître un motif.

L’IA standard a généralement tendance à faire très bien ce qu’on lui demande : résoudre le problème fourni. Le protocole adversarial produit un travail différent. Il remonte plus volontiers vers la construction du problème, conteste davantage les prémisses et fait apparaître des variables ou des options qui ne sont pas immédiatement présentes dans le cadrage initial.

Cela ne signifie pas pour autant qu’il reproduit spontanément le type de déplacement qui m’intéresse.

Dans les trois premiers cas, l’analyse adversariale a rarement dépassé le cadre réel de la question posée autant que H pouvait le faire. Elle pouvait déconstruire méthodiquement un cadre sans nécessairement effectuer le saut vers un autre référentiel qui ferait apparaître une question entièrement nouvelle. Inversement, elle était souvent plus systématique que H et pouvait identifier des éléments que l’analyse humaine avait manqués.

Et surtout, quelque chose d’assez embarrassant est arrivé : après plusieurs heures passées sur chaque cas, il est devenu difficile de répondre proprement à la question la plus évidente.

Laquelle des trois analyses est « meilleure » ?

Une analyse pouvait aboutir à une recommandation historiquement pertinente sans avoir effectué le déplacement cognitif qui m’intéressait. Une autre pouvait révéler une prémisse remarquable sans que cette découverte change finalement la décision. H pouvait voir une structure que les machines n’avaient pas vue et, dans le même dossier, manquer un risque qu’elles avaient parfaitement identifié.

Le classement devenait moins intéressant que la cartographie des opérations réalisées.

Trouver la réponse, trouver la question

C’est probablement la première vraie leçon de Break the Frame : il faut distinguer au moins deux performances.

Étant donné un problème P, quelle est la meilleure solution ? C’est une tâche sur laquelle une IA moderne peut être extraordinairement forte.

Étant donné un problème présenté comme P, P est-il réellement le problème qu’il faut résoudre ? C’est cette seconde tâche qui m’intéresse davantage.

Et il existe peut-être une troisième possibilité : le changement de question peut émerger sans avoir été explicitement demandé, parce que le raisonnement circule entre plusieurs référentiels et rencontre ailleurs une structure qui transforme la lecture du problème initial.

C’est ce mouvement que j’appelle ici, faute de terme plus satisfaisant, transversalité. Non pas posséder une quantité encyclopédique de connaissances disparates, mais savoir circuler entre elles sans perdre le fil du problème ; changer de niveau, d’échelle ou de domaine lorsqu’un autre cadre devient plus fécond.

La question n’est plus alors de faire « penser l’IA comme moi ». Elle devient : quelles opérations composent réellement ce savoir-raisonner ? Lesquelles sont reproductibles par une machine ? Lesquelles apparaissent spontanément chez elle ? Lesquelles exigent une instruction explicite ? Et que gagne-t-on — ou que perd-on — lorsque l’on essaie de les formaliser ?

Peut-être que nous ne mesurons pas la bonne chose

C’est ici que la petite expérience BTF rejoint une question beaucoup plus large.

Quand nous disons qu’une IA devient meilleure que l’humain en raisonnement, nous parlons nécessairement des formes de raisonnement que nous avons réussi à définir et à évaluer. C’est déjà considérable. Mais ce périmètre mesurable n’est peut-être pas identique à l’ensemble des savoir-raisonner qui comptent dans la vie professionnelle, sociale ou politique.

Combien de capacités cognitives humaines utiles sont aujourd’hui traitées comme du style, de l’intuition, de la curiosité, de la culture générale ou simplement une manière personnelle de réfléchir, alors qu’elles constituent peut-être des opérations de raisonnement à part entière ?

La question me paraît d’autant plus importante que les IA deviennent performantes et peu coûteuses. Le risque n’est pas seulement de surestimer ce qu’elles savent faire. Il est aussi de définir progressivement le « bon raisonnement » à partir de ce que nous savons mesurer chez elles — puis de dévaloriser, dans les organisations, les capacités humaines qui résistent mal à cette formalisation. Or certaines pourraient pourtant être précisément celles dont nous avons besoin lorsqu’un système produit une réponse extraordinairement cohérente à une question mal posée ! Bref, est-on en train de faire avec l’IA précisément ce que je constate empiriquement avec le numérique en général : plutôt que d’adapter la machine à l’humain, d’adapter progressivement l’humain à la machine ? Si tel était le cas, nous aurions un problème, un vrai, sur lequel il va falloir se pencher.

Je n’ai évidemment aucune démonstration de cela. Break the Frame est un terrain beaucoup trop modeste pour en fournir une. Mais il permet au moins de transformer une intuition professionnelle en une série de questions un peu plus précises.

Ce que Break the Frame n’est pas

Soyons clairs : évidemment, Break the Frame ne prétend pas être une expérience scientifique.

Trois cas ne démontrent rien, le protocole évolue, la condition humaine est constituée d’une seule personne, qui est également à l’origine de l’hypothèse, l’évaluation n’est pas aveugle et nous ne disposons pas encore d’une métrique suffisamment robuste pour classer proprement les productions.

MAIS : BTF se veut être une exploration structurée. Son objectif est de faire émerger des hypothèses plus précises, des catégories observables et, éventuellement, un protocole qui pourrait un jour être testé de manière plus sérieuse par des gens dont c’est le métier.

La suite consiste donc moins à accumuler des dizaines de cas qu’à améliorer ce que nous observons : quelles prémisses sont acceptées ou contestées ? Quelles variables absentes apparaissent ? Quels changements de niveau sont effectués ? Quelles options nouvelles deviennent visibles ? Quel est le delta entre le cadre initial et le cadre final ? Et surtout : ces déplacements améliorent-ils réellement la décision, ou produisent-ils simplement davantage de sophistication et de bruit ?

Et si Break the Frame n’était que le premier cas ?

Plus j’avance, moins je suis certaine que la question la plus intéressante soit « est-ce que BTF marche ? »

La transversalité n’est peut-être qu’un exemple parmi d’autres de savoir-raisonner humains difficiles à isoler. Il pourrait en exister autour de l’intuition experte, de la détection de signaux faibles, de la contextualisation sociale, du changement d’échelle, de l’analogie, ou de cette étrange capacité à savoir que quelque chose manque avant même de pouvoir dire quoi.

Je ne sais pas encore lesquels de ces objets sont réellement distincts, lesquels portent déjà des noms très précis dans des disciplines que je connais mal, ni lesquels survivraient à une expérimentation sérieuse. C’est justement une bonne raison de ne pas les transformer trop vite en théorie.

À mesure que nous apprenons à mesurer ce que les intelligences artificielles savent faire, j’ai envie de regarder d’un peu plus près ce que les humains savent faire sans avoir jamais eu besoin de le mesurer.

Break the Frame est donc mon premier cobaye.

Pour l’instant, l’hypothèse de travail tient en trois phrases : certains problèmes décisionnels sont moins limités par notre capacité à trouver une bonne réponse dans un cadre donné que par notre capacité à identifier le cadre dans lequel la bonne question devient visible. Un raisonnement humain transversal peut parfois effectuer spontanément ce déplacement. Break the Frame teste s’il est possible de provoquer plus systématiquement une partie de cette mobilité chez une IA — et de comprendre ce qui se passe lorsque les propriétés du raisonnement humain et du raisonnement machine se rencontrent.

La suite sera publiée ici, dans le Labo IA. Y compris si l’expérience finit par montrer que l’idée de départ était mauvaise.