“Noise”, l’impuissance du jugement humain - Kahneman, Sibony, Sunstein

Arnaud Weiss
18 Janvier 2022

Daniel Kahneman, prix Nobel, spécialiste des sciences cognitives et de l’économie comportementale, est l’un de mes chercheurs préférés. Il a dédié sa carrière à comprendre les mécanismes derrière nos choix et les erreurs de jugement dont nous sommes victimes. C’est notamment lui qui a vulgarisé la notion de biais cognitif. Son ouvrage le plus reconnu, Thinking Fast and Slow (voir mon résumé), a mis en évidence la faiblesse de nos intuitions dans le domaine statistique.

Dans Noise, Kahneman s’intéresse avec O. Sibony et C. R. Sunstein à un autre vecteur d’erreur de jugement : le bruit. Ses découvertes s’appliquent directement à l’univers RH, où les jugements sont pléthores, du recrutement à la revue de performance.


Dans cet article découvrez :

- Qu'est-ce que le bruit ?

- Comment il impacte les décisions RH ?

Le “bruit” : des variations injustifiées dans les jugements humains


La notion de biais cognitif a été largement documentée. 


Selon Jean-François Le Ny, psychologue spécialisé dans la cognition : « Un biais est une distorsion (déviation systématique par rapport à une norme) que subit une information en entrant dans le système cognitif ou en sortant. Dans le premier cas, le sujet opère une sélection des informations, dans le second, il réalise une sélection des réponses ».

Prenons un exemple : l’effet de halo. Une première impression positive, comme une apparence plaisante, entraîne un jugement plus positif des autres caractéristiques d’un individu, comme sa compétence. M. Clifford et E. Walster ont montré que des enfants étaient jugés plus intelligents que d'autres par leurs enseignants en fonction de leur physique*.


Comme vous le voyez, avec un biais, l’erreur de jugement est homogène et s’explique causalement (beauté ➞ intelligence).


Maintenant que nous avons clarifié la notion de biais, qu’est-ce que le bruit ? Le bruit est la variance non désirée et inexpliquée observable dans les jugements humains.

Par exemple, lorsque face à un même délit cinq juges attribuent des peines complètement différentes, nous sommes face à un phénomène de bruit. Ou encore quand deux médecins donnent des diagnostics différents à un même patient. Ces différences de jugement sont indésirables et ne s’expliquent pas par un biais qui les rendrait prédictibles.


Mais sur quoi reposent ces différences de jugement entre les individus ? Cela peut être des différences de perception, mais aussi des facteurs externes non pertinents dans le cadre de la décision comme notre humeur, la météo ou le temps écoulé depuis notre dernier repas. Une étude a montré que dans un tribunal israëlien, la probabilité d'une décision favorable passe de 65 % à l’ouverture à près de 0 % dans le dernier jugement avant la pause méridienne****.


Le bruit concerne également les différences d’appréciation injustifiées pour un même individu. Les chercheurs Grimstad et Jørgensen ont montré que lorsqu’on demandait à un développeur d’estimer le temps nécessaire pour compléter une tâche à plusieurs jours d’intervalle, la projection variait de 71% en moyenne*****.


Le bruit n’est pas un biais

Le bruit est donc bien différent du concept de biais, même si tous deux désignent des distorsions de jugement. Prenons une illustration simple pour comprendre la différence entre les deux concepts. Chez Acme Corp, lors d’un processus de recrutement pour un poste de chef de projet, trois professionnels RH sur-évaluent systématiquement les candidats bien habillés ou beaux. C’est un biais. 



Maintenant, intéressons-nous à une autre entreprise. Chez Beam Corp, pour le même candidat, les évaluations varient largement, sans pour autant qu’on observe de biais. C’est ce que l’on appelle du bruit. Trois professionnels RH qualifiés issus d’une même entreprise ne devraient pas avoir autant de divergences dans leur jugement. Des variations modérées sont normales et acceptables, mais pas des différences extrêmes.


Une autre illustration intéressante de la différence entre le biais et le bruit est fournie dans leur ouvrage par les auteurs et retranscrite dans un article de la Harvard Business Review**. Sur cette cible, dans le cas du biais (figure C), tous les tirs sont manqués ET groupés. On pourrait imaginer que c’est à cause d’une malfonction sur le fusil. A l’inverse, pour le bruit (figure B), les tirs sont manqués mais dispersés aléatoirement. On ne peut se risquer à avancer de justification.


Le bruit est omniprésent dans les organisations

La plupart des organisations (y compris la vôtre ?) pensent être à l’abri de ce phénomène. Pourtant, d’après Kahneman, Sibony et Sunstein, “partout où il y a des jugements, il y a du bruit, et beaucoup plus qu’on ne l’imagine”.


Les auteurs nous donnent quelques exemples de secteurs sujets à des niveaux de bruit élevés :
- Les jugements relatifs au droit d’asile. Aux Etats-Unis, la probabilité pour un réfugié d’obtenir le droit d’asile relève d’une loterie. Une étude intitulée “Refugee Roulette”*** a montré que pour un même panel de cas, certains juges acceptaient 88% des demandes, alors que d’autres seulement 5%. La probabilité d’être admis dépend donc principalement du juge qui examine votre cas.

- La médecine. Quand on demande à plusieurs docteurs d’examiner un patient unique, ils donnent souvent des diagnostics différents. Ce phénomène est particulièrement fort en psychiatrie qui laisse une large place à la subjectivité. Dans le cadre d’une étude américaine, plusieurs psychiatres reconnus étaient invités à diagnostiquer des mêmes patients sans se parler. Ils tombaient sur le même diagnostic entre 4 et 15% des cas… ******. Même dans un domaine plus objectif comme la radiologie, une étude a montré que parmi différents radiologues le taux de faux négatif observé est entre 0 et plus de 50%.*******

Vous l’aurez compris, le bruit est omniprésent dans les organisations, dès que des jugements humains sont présents. Ce phénomène se caractérise par son caractère non désiré et inexplicable, à l’inverse du biais. Les implications pour l’univers RH, où les évaluations sont constantes (recrutement, performance…), sont énormes. Dans un deuxième article à venir, je m'intéresserai aux actes RH les plus sensibles au bruit et aux méthodologies proposées par Kahneman, Sibony et Sunstein pour le réduire.


Vous avez aimé cet article ? Lisez mon résumé du précédent ouvrage de Kahneman, Thinking Fast and Slow. Si vous voulez recevoir nos dernières publications, suivez-nous sur Linkedin et abonnez-vous à notre newsletter.

Références

*Clifford, M.M et Walster, E.H, « The effect of physical attractiveness on teacher expectation », Sociology of education, vol. 46,‎ 1973, p. 248-258 (lire en ligne [archive])

** https://hbr.org/2016/10/noise

***https://www.stanfordlawreview.org/print/article/feature-refugee-roulette-disparities-in-asylum-adjudication/

**** Shai Danziger, Jonathan Levav, and Liora Avnaim-Pesso, “ Extraneous factors in judicial decisions”, PNAS April 26, 2011 108 (17) 6889-6892 (lien). Les résultats de cette étude sont aujourd’hui sujets à débat - The irrational hungry judge effect revisited: Simulations reveal that the magnitude of the effect is overestimated - Andreas Glöckner - Judgment and Decision Making, Vol. 11, No. 6, November 2016, pp. 601-610 (lien)

***** Stein Grimstad, Magne Jørgensen, “Inconsistency of expert judgment-based estimates of software development effort“ Journal of Systems and Software 80 (lien)

****** Liblich et al. e-5

*******Craig A. Beam et al. “Variability in the interpretation of screening mammography by radiologists” 1996