Trois machines qui ont « réussi » le test de Turing

Le test de Turing a pour nom Imitation Game en anglais. Il s’inspire d’un jeu en vogue dans la société anglaise à la fin de la Seconde Guerre mondiale, dans lequel des personnes cherchent à deviner le genre de deux personnes qu’elles ne voient pas, au travers de leurs réponses. Alan Turing (1912-1954) décline le principe avec une machine qu’il oppose à un humain. La machine est déclarée intelligente si elle parvient à tromper au moins 30 % des juges suite à une conversation de 5 minutes par échange de messages. Le test est contesté : la machine peut user de stratagèmes pour paraître plus humaine, en hésitant par exemple à donner des réponses qu’elle obtient dans un délai impossible pour un homme, la durée du test est trop courte, les sujets sont choisis… Malgré les débats autour de ce qu’elle dit de l’intelligence d’une machine, l’épreuve a marqué les débuts de l’intelligence artificielle et souligné la progression des travaux. Le concept du test de Turing a été repris par un inventeur américain, Hugh Loebner, qui organise une remise de prix annuelle, de 1990 à 2019, pour les machines. Des récompenses pour différents niveaux d’intelligence sont décernées et les règles du test sont aménagées pour la manifestation, qui prend un tour plus promotionnel que scientifique. 

D’autres défis ont utilisé des jeux comme repère d’intelligence : en 1997, le programme Deeper Blue remportait une partie contre le champion du monde d’échecs, le Russe Garry Kasparov, et en 2011, l’ordinateur Watson remportait deux manches sur trois au jeu Jeopardy contre les deux meilleurs compétiteurs du jeu. Les questions étaient posées en langage naturel.

Trois machines ont marqué l’histoire et sont réputées avoir réussi le test de Turing, et par la même occasion, montré ses limites.

ELIZA, le psychothérapeute

ELIZA est un des premiers programmes informatiques de traitement du langage naturel. Joseph Weizenbaum, chercheur au laboratoire d’intelligence artificielle du Massachusetts Institute of Technology (MIT), le présente en 1966. Il entend démontrer la superficialité du dialogue humain-machine avec ce programme qui reconnaît certains mots-clés et qui suit un script. Le script Doctor s’inspire de la posture d’un psychothérapeute rogérien, qui pratique une thérapie centrée sur la personne créée par le psychologue Carl Rogers. La machine fait répéter l’interlocuteur, ponctue le discours de petites phrases générales et renvoie des questions à son interlocuteur, créant l’illusion de l’attention et de la compréhension. Le résultat dépasse les espérances du chercheur. Le jugement des testeurs est faussé car ils sont fascinés par cette prouesse technique incomparable. L’interaction avec ELIZA leur semble si réaliste qu’ils en oublient la machine.

Testez une version d’ELIZA en français

PARRY, le psychopathe

Alors que le psychiatre américain Kenneth Colby travaille à l’université de Stanford sur l’application de l’informatique et de l’intelligence artificielle à la psychiatrie, il écrit un programme qui imite le comportement d’un humain atteint d’une maladie mentale : la schizophrénie paranoïde. Cette maladie est caractérisée par un discours désorganisé, des hallucinations auditives et des délires de persécution. Le modèle est plus évolué qu’ELIZA. Kenneth Colby conçoit un modèle grossier d’un malade et une stratégie conversationnelle qui parviennent à tromper, en 1972, un groupe de psychiatres dans un test sur le modèle de Turing. Les examinateurs, spécialistes des maladies mentales, ne sont pas parvenus à distinguer les patients humains du programme PARRY dans plus de 50 % des cas.

Les deux machines, PARRY et ELIZA, incarnant deux entités complémentaires, ont été mises en contact, ce qui a produit d’étranges conversations.

Eugene Goostman, l’adolescent allophone

En 2014, l’université de Reading annonce le succès du programme informatique Eugene Goostman au test de Turing organisé dans les locaux de la Royal Society de Londres. Eugene Goostman est un chatbot conçu et développé en Russie en 2001 par Vladimir Veselov, Eugene Demchenko et Sergey Ulasen. Il simule un jeune de 13 ans qui ne maîtrise pas totalement l’anglais et parvient à convaincre 33 % des 30 juges qu’il est un humain, en 5 minutes de conversation et sur des sujets illimités.

Sa crédibilité repose sur l’âge qu’il prétend avoir et qui conditionne ses connaissances. Sa langue maternelle n’étant pas l’anglais, ses tournures incorrectes et ses difficultés de compréhension sont excusées. Avant lui, Cleverbot, le robot conversationnel ou chatbot conçu en 1988 par le programmeur britannique Rollo Carpenter, était également parvenu, en 2011, à tromper de nombreux examinateurs, mais sur un temps de conversation plus court.

La fin du test de Turing ?

Les agents conversationnels en mesure de réussir le test de Turing sont désormais nombreux et réalistes. Toutefois, ils restent spécialisés dans un domaine et appliquent une stratégie de contournement pour entretenir l’illusion d’une compétence dans un domaine qu’ils ne connaissent pas. Pour mesurer les compétences de leurs chatbots intelligents, des chercheurs de Google ont élaboré un nouveau test qui permet d’évaluer leurs créations comme la fantastique Meena. Le Prix Loebner qui récompensait encore l’utilisation du test de Turing s’est arrêté en 2019. Néanmoins, le test de Turing reste présent dans les pages web, dissimulé sous l’acronyme CAPTCHA pour « Completely Automated Public Turing Test to Tell Computers and Humans Apart ». Il s’agit de ces questionnaires obtenus par un clic sous l’intitulé « Je ne suis pas un robot » et qui vous demandent d’effectuer des tâches impossibles pour un robot spammeur : la reconnaissance de parties d’images, de sons ou de lettres déformées et mélangées.