• Dominique Delaporte

La justesse des sondages, le choix de l’échantillon et les biais.

Mis à jour : 12 sept. 2019

Ou pourquoi les sondages dérapent vite vers des résultats erronés.

Ou encore : comment les stats nous aident à comprendre nos échecs. Attention : même si l'anecdote est amusante, la suite se "corse" un peu.


Aujourd’hui, à partir d’une expérience personnelle, voici mes commentaires sur quelques biais des sondages.

Voilà ce qui m’est arrivé samedi dernier : MAVILLE, à la demande de l’ensemble des habitants des quartiers, vient de nous confier la mise en place, la gestion et l’animation de boites à lire dans notre commune par l’intermédiaire d’une association d’habitants créée à cette occasion.

Profitant de la journée des associations, j’ai donc tenu un stand pour présenter le projet aux habitants de « MAVILLE ». 4 heures debout à expliquer le fonctionnement envisagé pour l’animation des boites et 24 inscrits à une réunion de présentation pour peaufiner le fonctionnement et répondre aux objections et autres propositions d’amélioration des présents à cette réunion. Tout s’est bien passé jusqu’au moment où une prof’ de français (c’est ainsi qu’elle s’est présentée) a mis en doute toute la belle construction de mon projet en le critiquant très fort. J’ai compris qu’elle confondait librairie sur l’espace public et cours de littérature au lycée, écocitoyenneté/économie circulaire et éducation culturelle.


1/ Et voila le biais de confirmation d’hypothèse[1], celui qui remet en cause tout le processus préalablement établi. Tant mieux : il est préférable de prendre des coups avant d’aller plus loin pour rectifier plutôt que de voir le projet sombrer par manque de contradiction.

Examinons ensemble pourquoi le nombre de 24 inscriptions est un chiffre qui finalement ne veut rien dire. Imaginons que ce résultat est celui d’un sondage.


Mon objectif était d’avoir environ 20 inscriptions. J’en ai reçu 24 . Hourra !


2/ D’abord l’échantillon : individus participants au Forum des Associations. Le piquenique qui suivait a réuni environ 800 personnes. On peut donc imaginer 1 000 visiteurs à ce Forum.

MAIS 20/7500 (nb habitants de ma commune) = 0.26%. Je vais plutôt élargir au nombre de visiteurs soit 20/1000 = 2%. C’est beaucoup mieux et dans les normes de réponse à une promotion commerciale.

1000 visites pour 7500 habitants : beau succès ! Un taux de retour de plus de 13%. C’est bien. Sauf qu’on est là dans un « recrutement » à double détente. En effet sur 1000 visites, seule une trentaine de personnes se sont arrêtées et seulement 24 personnes se sont inscrites donc 24/1000 = 2.4%. On est dans la moyenne. Sauf que...

J’utilise la formule de calcul de taille de l’échantillon aléatoire : n= i² x 0.02 *0.98/0.01² où 0.02 représente la réponse attendue (20/1000) et 0.01 l’intervalle de confiance, ici 1%. C’est à dire que la taille répondra avec une justesse de +ou- 1%, la réponse sera donc entre 10 et 30 inscrits. Pas très juste en réalité.

Le résultat est 753 personnes. Il aurait donc fallu que le nombre de personnes s’arrêtant au stand soit de 753. Or je n’en ai vu que 30 environ.


A retenir absolument : la taille de l’échantillon ne dépend jamais de la population mère mais bien du taux de réponses que vous attendez et de l’intervalle de confiance.


3/ Étudions les biais, c’est-à-dire tout ce qui a pu fausser les résultats :


Premier biais : sélection de 1000 participants au sondage, intéressés par les associations, peu de badauds.

Premier biais et demi (!) : notre stand se situait entre une peintre et une association de tricoteuses, en face des sports de combat pour les petits. Pour le coup on peut dire que l’emplacement était lui bien aléatoire.

Second biais : est comportement car les visiteurs cherchaient une association pour s’inscrire à une activité sociale et collective,

Troisième biais : mon affiche et son accroche « Nouveau : boites à lire ! ». Voir la photo. Ne se sont arrêtées que les personnes connaissant le concept de Boites à livres.


Quatrième biais après explication de ma part, et devant cette méconnaissance du fonctionnement des boites à livres, j’ai modifié mon discours et j’ai « vendu » l’inscription à mon fichier comme une invitation à participer à une réunion informative dans 3 semaines.

Dernier biais : le biais de confirmation d’hypothèse que j’ai exposé ci-dessus. Je n’avais pas envisagé d’être prise à partie par une visiteuse du Forum, ni son agressivité ni le dévoiement/détournement du concept de boites à lire.

J’ai donc identifié au moins 6 biais, 6 bonnes raisons de fausser les résultats


A retenir : toute intervention de la part du sondeur, même inconsciente, introduit un biais dans les sondages et fausse les résultats, qui deviennent alors inexploitables.


Conclusion : cette demi-journée est un coup d’épée dans l’eau, même si j’ai passé un moment très convivial. Je dirais que tout est faux finalement dans la liste d’inscrits car je dois maintenant reprendre ma campagne de recrutement à zéro.

Pour cela je vais travailler sur :

- Une autre population mère : l’ensemble des habitants abonnés à la newsletter de MAVILLE c’est-à-dire les ¾ de la population environ, qui parait tous les vendredis

- Dans la newsletter : Une invitation à participer à une réunion plénière afin d’expliquer voire modifier la façon d’animer les boites selon les interventions des participants.

- Et inciter les bénévoles à s’inscrire par quartier pour gérer les boites.


Et voilà : c’est aussi simple que cela. Ou comment expliquer simplement des statistiques plutôt compliquées.

PS : je vais reprendre cet exemple personnel dans le tome 2 du Manuel que je suis en train d’écrire et qui s’appellera : « le business plan facile ! ».

PPS : une fiche intéressante sur les biais http://www.cedip.developpement-durable.gouv.fr/IMG/pdf/Fiche_62_cle581f59.pdf.


[1] Le biais de confirmation d'hypothèse est la tendance naturelle qu'ont les êtres humains à privilégier les informations qui confortent leurs préjugés, leurs idées reçues, leurs convictions, leurs hypothèses. Ce biais cognitif consiste à accorder plus de poids aux preuves qui confirment les croyances de départ. Il contribue donc à un excès de confiance dans celles-ci et à les renforcer, même devant des preuves qui les infirment. Ce mode de raisonnement peut conduire à des désastres lorsqu'il est mis en oeuvre dans les domaines militaires, politiques, économiques, sociaux. http://www.toupie.org/Biais/Biais_confirmation_hypothese.htm. Voir aussi https://fr.wikipedia.org/wiki/Biais_de_confirmation

3 vues
  • Facebook Social Icône
  • LinkedIn Social Icône

©2019 by Dominique Delaporte. Proudly created with Wix.com