Anthropic recrute des chercheurs pour étudier la conscience et le bien-être de l’I.A.

L’année dernière, Anthropic a embauché son tout premier chercheur en bien-être de l’IA, Kyle Fish, pour examiner si les modèles d’IA sont conscients et méritent une considération morale. Aujourd’hui, la start-up à croissance rapide cherche à ajouter un autre employé à temps plein à son équipe modèle de bien-être alors qu’elle redouble d’efforts dans ce domaine de recherche petit mais en plein essor.

La question de savoir si les modèles d’IA pourraient développer la conscience – et si la question justifie des ressources dédiées – a suscité un débat dans toute la Silicon Valley. Alors que certains dirigeants éminents de l’IA mettent en garde contre le fait que de telles enquêtes risquent d’induire le public en erreur, d’autres, comme Fish, soutiennent qu’il s’agit d’un domaine d’étude important mais négligé.

« Étant donné que nous avons des modèles qui sont très proches de l’intelligence et des capacités humaines et, dans certains cas, à ceux-ci, il faut beaucoup de choses pour vraiment exclure la possibilité d’une conscience », a déclaré Fish dans un récent épisode du podcast 80,000 Hours.

Anthropic a récemment publié une offre d’emploi pour un ingénieur de recherche ou un scientifique pour rejoindre son programme modèle de bien-être. « Vous serez parmi les premiers à travailler pour mieux comprendre, évaluer et répondre aux préoccupations concernant le bien-être potentiel et le statut moral des systèmes d’IA », peut-on lire dans la liste. Ses responsabilités comprennent la conduite de projets de recherche technique et la conception d’interventions visant à atténuer les dommages causés au bien-être. Le salaire pour le poste varie entre 315 000 $ et 340 000 $.

Anthropic n’a pas répondu aux demandes de commentaires de l’Observer.

La nouvelle recrue travaillera aux côtés de Fish, qui a rejoint Anthropic en septembre dernier. Auparavant, il a cofondé Eleos AI, une organisation à but non lucratif axée sur le bien-être de l’IA, et a co-écrit un article décrivant la possibilité d’une conscience de l’IA. Quelques mois après l’embauche de Fish, Anthropic a annoncé le lancement de son programme de recherche officiel dédié au bien-être et aux interventions modèles.

Dans le cadre de ce programme, Anthropic a récemment donné à ses modèles Claude Opus 4 et 4.1 la possibilité de sortir des interactions des utilisateurs jugées nuisibles ou abusives, après avoir observé « un schéma de détresse apparente » lors de tels échanges. Au lieu d’être forcés de rester indéfiniment dans ces conversations, les mannequins peuvent désormais mettre fin aux communications qu’ils trouvent aversives.

Pour l’instant, la majeure partie des interventions sociales d’Anthropic resteront peu coûteuses et conçues pour minimiser les interférences avec l’expérience utilisateur, a déclaré Fish à 80 000 heures. Il espère également explorer comment la formation des modèles pourrait soulever des préoccupations en matière de bien-être et expérimenter la création d’une « sorte de sanctuaire de modèles » – un environnement contrôlé semblable à un terrain de jeu où les modèles peuvent poursuivre leurs propres intérêts « dans la mesure où ils les ont ».

Anthropic est peut-être la grande entreprise la plus publique à investir dans le bien-être modèle, mais elle n’est pas la seule. En avril, Google DeepMind a publié une offre d’emploi pour qu’un chercheur puisse explorer des sujets tels que la « conscience machine », selon 404 Media.

Pourtant, le scepticisme persiste dans la Silicon Valley.Mustafa Suleyman, PDG de Microsoft AI, a fait valoir le mois dernier que la recherche sur le bien-être modèle est « à la fois prématurée et franchement dangereuse ». Il a averti qu’encourager un tel travail pourrait alimenter des illusions sur les systèmes d’IA, et que l’émergence d’une « IA apparemment consciente » pourrait susciter des appels aux droits de l’IA.

Fish, cependant, maintient que la possibilité d’une conscience d’I.A. ne doit pas être écartée. Il estime à 20 % la probabilité que « quelque part, dans une partie du processus, il y ait au moins une lueur d’expérience consciente ou sensible ».

Alors que Fish cherche à agrandir son équipe avec une nouvelle embauche, il espère également élargir la portée du programme de bien-être d’Anthropic. « Jusqu’à présent, la plupart de ce que nous avons fait a eu pour saveur d’identifier les fruits à portée de main où nous pouvons les trouver, puis de poursuivre ces projets », a-t-il déclaré. « Au fil du temps, nous espérons aller plus loin dans la direction de viser réellement des réponses à certaines des questions les plus importantes et de travailler à rebours à partir de celles-ci pour élaborer un programme plus complet. »