Bakary Sambe et son équipe expliquent dans leur rapport avoir utilisé la méthodologie d’enquête Connaissances, attitudes et pratiques (Cap), «une approche relativement nouvelle dans le domaine de la protection de l’enfant» pour Save The Children et appliquée aux «phénomènes migratoires» pour l’Organisation des Nations unies contre la drogue et les crimes (Onudc).
L’objet de cette contribution est de comparer les standards développés dans le Manuel de référence de Save The Childen# que l’équipe dit avoir utilisé et la méthodologie décrite dans la version du rapport de 21 pages publiée dans son site web officiel en date du mercredi 26 octobre 2016.
Le papier est axé sur six points : (i) les méthodes de recherche, (ii) les limites propres à l’enquête Cap, (iii) le plan d’échantillonnage et la généralisabilité, (iv) l’expertise utilisée, (v) le format du rapport et enfin, (vi) les règles éthiques en recherche dans le domaine des sciences sociales.
Le Manuel de Save The Children définit l’enquête Cap comme «l’étude quantitative d’une population spécifique qui consiste à collecter des informations sur ce que les individus savent, comment ils se sentent et se comportent par rapport à un sujet spécifique»#.
Le Manuel prévient dès le début à la page 5 que : «Bien que la méthodologie d’enquête paraisse simple, les connaissances, attitudes et pratiques sont très complexes et, la qualité et la validité des données peuvent être compromises sur différents points. Il est donc crucial que toute enquête Cap soit menée par un chercheur expérimenté, capable de prévoir et de gérer ces difficultés dès l’étape de la conception et au-delà».
Sur les méthodes de recherche
Le Manuel propose trois méthodes de recherche :
Méthode Quantitative : priorise l’impartialité, l’exactitude, l’objectivité et la validité des données. Décrit et explique des phénomènes en utilisant des indicateurs et des agrégats. Utilise des enquêtes avec un questionnaire standard.
Méthode Qualitative : souligne la valeur de l’observation et la richesse de l’interprétation subjective. Décrit et explique des phénomènes en utilisant des informations détaillées issues d’un nombre limité d’observations ou d’entretiens. Elle est basée sur des observations directes, des entretiens, des focus groupes et des études de cas.
Méthode Participative : Met l’accent sur l’importance des participants et des bénéficiaires dans l’évaluation. Le principal outil est le brainstorming.
Le rapport de l’étude de Bakary Sambe n’a pas clairement défini la méthodologie comme le préconise le Manuel. Toutefois, il a indiqué avoir utilisé un questionnaire sans l’annexer au rapport. Ce qui va à l’encore des bonnes pratiques en matière de rigueur scientifique pour montrer la crédibilité de l’enquête, notamment la SMARTitude des indicateurs étudiés (Spécificité, Mesurabilité, Applicabilité, Pertinence et définition dans le Temps).
Sur les limites propres à l’enquête Cap
Le Manuel définit à la page 15 ce qu’une enquête Cap ne pourra pas faire.
Les connaissances, attitudes et comportements sont complexes et les questionnaires d’enquête ne permettent pas souvent de capturer les nuances importantes. En effet, un questionnaire peut s’avérer trop rigide pour pouvoir capturer les nombreux facteurs susceptibles d’interagir et d’influer sur les résultats.
Pour le cas d’espèce, que faire si le questionnaire n’est pas annexé au rapport ?
Les enquêtes Cap ne permettent pas de montrer les liens de causalité : la causalité signifie que vous pouvez démontrer qu’une caractéristique ou une variable spécifique est la cause d’un résultat ou d’un effet donné (par exemple, le comportement). Une enquête Cap peut vous aider à identifier un lien entre deux variables, mais la causalité est impossible à établir pour les raisons décrites ci-dessus. Une enquête Cap ne permettra pas d’expliquer les mécanismes logiques qui amènent un individu à adopter un certain comportement.
Pourtant, le titre de l’étude révèle bien que les auteurs cherchent à expliquer les causes (ou à forcer une relation de cause à effet). D’ailleurs, dans la section Traitement des données, les auteurs déclarent avoir fait des croisements pour comprendre les raisons.
Il existe peu de questions d’enquête standard validées dans le domaine la protection de l’enfant. Il est généralement plus difficile qu’on ne le pense de concevoir des questions d’enquête et celles-ci doivent être soigneusement formulées et examinées afin que les répondants aient la même compréhension de la langue et du contenu de la question.
Quid du domaine étudié par l’équipe de Bakary Sambe? Quelles définitions ont-ils donné aux concepts utilisés ? Est-ce que les enquêtés partageaient la même compréhension ? Par exemple, la définition du concept au paragraphe 2 de la page 7 du rapport, mettrait tous ceux qui s’opposaient à la traite négrière et à la colonisation dans le phénomène étudié, du moins pour ceux qui lisaient avec les lunettes du colonisateur.
Bref, les auteurs ont ignoré toutes les grandes limites inhérentes à toute enquête Cap, même réalisée par des professionnels assermentés. A la place, ils ont préféré parler «des embouteillages et l’état délabré des transports en commun» et du «ramadan sous une chaleur caniculaire».
Le Plan d’échantillonnage et la Généralisabilité
Le manuel définit l’échantillon de l’enquête comme l’ensemble des personnes interrogées qui sont sélectionnées pour participer à une enquête et représentant une population plus large.
Il précise que la manière dont les répondants sont sélectionnés (c.-à-d. de manière aléatoire,
stratifiée ou par convenance) aura un impact sur la manière de prévenir ou d’atténuer les biais éventuels, et dans quelle mesure des généralisations peuvent être étendues à l’ensemble de la population en toute confiance.
En nous basant sur les résultats du dernier recensement général de la population de 2013, les localités objet de l’étude ont une population globale d’environ 2,1 million d’habitants et la tranche d’âge concernée dans l’étude représente environ 39,7% soit 834.000 jeunes.
L’équipe de Bakary a choisi un échantillon de 400 jeunes et traités finalement les réponses de 300 jeunes sans grande explication, soit 0,03% de la population totale.
L’étude s’est tue sur comment ils ont été choisis dans la rue, dans les ménages, dans les lieux de travail ou dans des lieux de culte. Quel était l’unité d’échantillonnage? Pourquoi tel jeune et pas tel autre ? L’étude a simplement ignoré la démarche très pédagogique détaillée dans le Manuel de Save The Children et comment ils sont passés de l’échantillon à l’univers de l’étude. Le manuel précise que de nombreuses enquêtes Cap utilisent l’échantillonnage en grappes, une méthode d’échantillonnage qui tire au hasard un échantillon aléatoire à partir de sous-ensembles de la population regroupés en grappes plutôt qu’à partir des individus ; les interviews sont alors conduites avec un certain nombre d’individus dans chaque grappe pour atteindre la taille de l’échantillon désirée.
Le manuel précise que la Généralisabilité est le point à partir duquel on peut supposer que des résultats sont valables pour la population cible toute entière, pas simplement pour l’échantillon. Pour assurer la généralisabilité, le processus d’échantillonnage et les données doivent répondre à des normes méthodologiques rigoureuses.
En lisant le rapport, il est vraisemblable que l’étude de Bakary ait choisi un échantillon «par convenance» dont le Manuel conclut qu’«il ne résistera pas aux critiques pour avoir produit des données biaisées…Les échantillons de convenance ne sont pas recommandés si vous avez d’autres alternatives car le manque de crédibilité et la non-généralisabilité d’un échantillon de convenance limite considérablement vos possibilités d’utiliser les données».
L’expertise utilisée pour l’étude
Pour une enquête aussi importante et pour la crédibilité des résultats, il est toujours indiqué de mentionner les titres des membres de l’équipe pour montrer sa pluridisciplinarité.
Pourtant, le Manuel recommande vivement «de rechercher l’aide d’un statisticien au moment d’élaborer un plan d’échantillonnage, surtout si vous pensez que vous allez utiliser l’échantillonnage randomisé pour obtenir des données représentatives…. Un statisticien pourra vous montrer comment faire un échantillonnage aléatoire ou systématique pour prévenir ou amoindrir les biais dans la sélection et vous aidera à calculer un échantillon correspondant aux paramètres que vous pouvez spécifier pour la précision et la confiance».
Qui est qui dans l’équipe de Bakary ?
Le format du rapport
Le format du rapport montre un grand amateurisme pour une étude de ce genre. A titre d’exemple :
La section «objectif» parle du «test de l’enquête» et rien sur l’objectif même de l’étude (page 3)
La section méthodologie parle du profil des enquêteurs et des enquêtés au lieu de la méthodologie (pages 3 et 4)
Titre de graphe et contenu différents (page 4)
Voici le format d’un rapport d’enquête-type Cap réalisé par l’Unicef sur les six pratiques familiales essentielles au Burkina Faso (juste les deux premières parties en disent long sur la rigueur scientifique) :
RESUME EXECUTIF CHAPITRE 1 – PRESENTATION DE L’ETUDE ET DE LA METHODOLOGIE
1.1 Contexte et justification de l’étude
1.2 Objectifs de l’étude
1.3 Les résultats attendus
1.3 La méthodologie
1.3.1 Plan de sondage
1.3.2 Les outils de collecte des données
1.4 La conduite de l’étude
1.4.1 Une approche participative
1.4.2 Le recrutement et la formation des enquêteurs et enquêtrices
1.4.3 La collecte des données sur le terrain
1.5 Traitement et analyse des données
CHAPITRE 2 – CARACTERISTIQUES SOCIO-DEMOGRAPHIQUES ET CULTURELLES DE LA POPULATION ETDUDIEE
2.1 Présentation des blocs de régions
2.2 Les caractéristiques des ménages
2.3 Les caractéristiques des femmes enquêtées
Règles éthiques en recherche en sciences sociales.
On va conclure sur quatre (4) règles éthiques en recherche dans le domaine des sciences sociales, surtout quand on manipule les techniques statistiques. Elles font partie des conclusions de Bryman et Bell (2007), publiées dans Oxford University Press. Ils ont comparé les directives éthiques de neuf associations professionnelles de sciences sociales :
- Toute tromperie ou exagération par rapport aux buts et objectifs de la recherche doit être évitée.
- Les appartenances sous n’importe quelles formes, les sources de financement, ainsi que tout possible conflit d’intérêts doivent être déclarés.
- Toute communication en relation avec la recherche doit être faite avec honnêteté et transparence.
- Toute information fallacieuse, ainsi que toute représentation biaisée des données primaires doivent être évitées.
Ibrahima Thierno LO
Économètre-Statisticien
Spécialiste en Suivi et Evaluation
# « Enquêtes sur les connaissances, attitudes et pratiques en matière de protection de l’enfant, Guide des programmes de protection de l’enfant pour concevoir et appliquer pas-à-pas les méthodes d’enquête CAP», Dec. 2012. Le manuel est téléchargeable gratuitement sur internet.
# Page 8 du Manuel de Save the Children