Évaluer une cible en mouvement : concevoir des évaluations pour des programmes adaptatifs

La conception centrée sur l’humain (HCD) est de plus en plus utilisée comme approche complémentaire aux méthodes traditionnelles de programmation de la santé mondiale afin de concevoir et d’optimiser des solutions innovantes. Elle a une capacité unique à apporter de nouvelles idées à des problèmes bien ancrés, à intégrer les perspectives de multiples parties prenantes et à apporter un point de vue humain fort. Les différences entre les approches d’évaluation conventionnelles et la fluidité inhérente à la HCD et à la mise en œuvre adaptative rendent invariablement difficile aux praticiens la réflexion sur la meilleure approche d’évaluation de la HCD ou des programmes adaptatifs. Pour combler ce manque de connaissances, notre webinaire a examiné certains des obstacles à l’évaluation des projets de santé basés sur des approches itératives avec des experts de Adolescents 360 de PSI ( A360 ), CyberRwanda de Ylabs et Vihara Innovation Network . Les programmes d’intervention tels que A360 de PSI et le CyberRwanda de YLabs utilisent des approches de HCD et de mise en œuvre adaptative pour s’assurer qu’ils conçoivent et mettent en œuvre les bonnes solutions. Voici quelques-uns des points clés qui ont été soulignés et débattus.

Combiner les approches de HCD et de perspectives des adolescents pour obtenir des preuves solides et un plus grand impact des programmes

ILe processus HCD ouvre la voie à la mise en œuvre et à l’évaluation en garantissant que l’intervention finale est souhaitée par de nombreux acteurs clés et qu’elle peut être mise en œuvre et à l’échelle. Grâce à l’approche de mise en œuvre adaptative, les résultats des tests de routine auprès des utilisateurs permettent d’élaborer des itérations du programme. L’application de la HCD pendant les phases de mise en œuvre et d’évaluation de l’intervention se prête bien à l’apprentissage adaptatif et à l’itération, permettant l’introduction continue de nouvelles informations. Cela s’explique par le fait que la HCD est intrinsèquement collaborative. Par exemple, CyberRwanda a pu utiliser des entretiens, des discussions de groupe cible et des sessions de co-conception pour mieux comprendre les données quantitatives.

Pour A360, les approches HCD et de mise en œuvre adaptative sont complémentaires. « Nous avons trouvé une grande complémentarité entre ces deux approches. Elles s’appuient sur une culture de la curiosité et de la concentration sur l’humain, qui exploite diverses perspectives pour obtenir et interpréter des idées et des données, utilise une approche collaborative et itérative pour générer des solutions, et confie la direction à ceux qui sont les plus proches du point d’impact », Matthew Wilson, Directeur de projet, A360.

Défis des évaluations conventionnelles des résultats

1. La conception de l’intervention et la stratégie de mise en œuvre ne sont pas connues dès le départ, qu’il s’agisse de savoir à qui s’adresse l’intervention, comment elle sera mise en œuvre, où elle sera mise en œuvre, avec quelle intensité elle sera mise en œuvre.
2. Les praticiens ne peuvent pas présumer de la cohérence du modèle d’intervention et de la stratégie de mise en œuvre au fur et à mesure qu’ils évoluent pendant la durée du projet.
3. La documentation du processus de conception itératif, de la prise de décision, des tests en cours de route est soit absente, soit incompatible avec une évaluation acceptable.
4. Limitation des ressources financières et séquençage presque linéaire de chaque discipline.
5. Une relation délicate entre les différentes équipes des disciplines, chacune remettant silencieusement en question la validité de l’autre.
6. Des priorités et des styles d’apprentissage différents d’une discipline à l’autre, d’où un manque de langage commun.
7. Historiquement, les concepteurs ont une compréhension limitée et n’intègrent pas les priorités de mesure dans le processus de conception.

Atténuer les difficultés pour évaluer rigoureusement les interventions d’IA et de HCD

• Garder à l’esprit l’“essence” de l’intervention : En trouvant l’équilibre entre l’adaptation et le maintien de l’“essence” de l’intervention, il est possible d’éviter les dérives, malgré l’itération constante. Il faut pour cela que les responsables de la mise en œuvre changent d’état d’esprit, deviennent systématiques et investissent dans les capacités.
• Les modèles d’évaluation doivent également être réactifs et adaptatifs. : Cela a des implications pour les responsables de la mise en œuvre, les évaluateurs et les donateurs. Ainsi, les responsables de la mise en œuvre et les évaluateurs gagneraient à s’engager à fond et à communiquer ouvertement afin de bien comprendre, en temps utile, la conception de l’intervention et la stratégie de mise en œuvre.
• Les responsables de la mise en œuvre doivent également avoir une bonne compréhension des protocoles d’évaluation : Cela leur permettra de comprendre les implications des changements potentiels ou réels dans la conception de l’intervention ou la stratégie de mise en œuvre.
• Garder à l’esprit l’“essence” de l’intervention : En trouvant l’équilibre entre l’adaptation et le maintien de l’“essence” de l’intervention, il est possible d’éviter les dérives, malgré l’itération constante. Il faut pour cela que les responsables de la mise en œuvre changent d’état d’esprit, deviennent systématiques et investissent dans les capacités.
• Les modèles d’évaluation doivent également être réactifs et adaptatifs. : Cela a des implications pour les responsables de la mise en œuvre, les évaluateurs et les donateurs. Ainsi, les responsables de la mise en œuvre et les évaluateurs gagneraient à s’engager à fond et à communiquer ouvertement afin de bien comprendre, en temps utile, la conception de l’intervention et la stratégie de mise en œuvre.
• Les responsables de la mise en œuvre doivent également avoir une bonne compréhension des protocoles d’évaluation : Cela leur permettra de comprendre les implications des changements potentiels ou réels dans la conception de l’intervention ou la stratégie de mise en œuvre.

Solutions proposées

• Améliorer la capacité des créateurs et des équipes de conception à comprendre et à prendre en compte les indicateurs de réussite des programmes. Par exemple, en impliquant les équipes de conception dans des discussions sur l’élaboration de programme qui sont fondées sur la théorie du changement (TdC) et en les exposant à l’articulation d’une TdC et à la définition des résultats intermédiaires, des jalons et des indicateurs du programme.
• Promouvoir la collaboration entre les équipes de conception et de recherche pour trouver le bon équilibre. Cette collaboration aidera les équipes de projet à identifier et à s’aligner sur les principaux objectifs de recherche, en utilisant des données quantitatives et qualitatives, pour mesurer l’impact du projet et identifier les défis actuels.
• Utilisation d’approches de mesure rapides et utilitaires dans les phases de conception pour étayer les hypothèses créatives et le développement de prototypes dans le processus de conception et relier les efforts aux indicateurs. Par exemple, des expériences de combinaison de techniques et d’outils d’apprentissage en s’inspirant de la recherche sur la HCD et des stratégies de suivi, d’évaluation et d’apprentissage pour permettre une meilleure mesure dans les phases de conception. Cela permettra de combiner la rigueur des approches de mesure et la rapidité des cycles d’apprentissage de la conception pour élaborer de nouveaux modèles d’apprentissage.
• Passage à des évaluations agiles, adaptatives et axées sur l’utilité. On ne peut mesurer que ce que l’on conçoit. Il est donc nécessaire de mettre en place des structures d’octroi de subventions et d’affecter des ressources pour permettre aux concepteurs de travailler avec les équipes chargées des programmes à l’élaboration du suivi et de l’évaluation. Cela permettra de mettre davantage l’accent sur la capacité d’apprentissage et d’adaptation d’un programme. Il est évidemment important de mesurer les résultats, mais ne serait-il pas puissant que la capacité d’apprentissage et d’adaptation soit une mesure de succès explicitement valorisée par les donateurs et les responsables de la mise en œuvre ?
• De meilleures capacités de documentation : Il est important d’enregistrer chaque changement et chaque adaptation afin de pouvoir en rendre compte au cours du processus d’évaluation ou d’analyse des données.
• Il ne suffit pas d’être capable de s’adapter à la mise en œuvre, les praticiens doivent faire preuve de souplesse dans les processus. Par conséquent, les praticiens doivent s’assurer que les mesures utilisées tiennent compte du degré d’adaptabilité d’un programme.

Intervenants

• Anne Lafond, Directrice, Centre d’information, de surveillance et d’évaluation de la santé (CHIME) & Conseillère principale, HCDExchange
• Matthew Wilson, Directeur de projet, Adolescents 360
• Fifi Ogbondeminu, Directeur adjoint de projet, Adolescents 360
• Hanieh Khosroshah, Concepteur principal de produits, YLabs
• Laetitia Kayitesi, Directrice de recherche, YLabs
• Divya Datta, Directrice de la stratégie de conception et de l’innovation, Vihara Innovation Network

À propos de Adolescents 360 (A360) : Adolescents 360 est une approche de la programmation contraceptive qui met l’accent sur les filles et dont l’objectif est d’accroître l’utilisation volontaire des contraceptifs modernes par les filles, tout en les aidant à choisir la vie qu’elles souhaitent mener.

À propos de CyberRwanda : CyberRwanda est une plateforme numérique développée par YLabs qui cible directement le consommateur. Elle est mise en œuvre par Society for Family Health, Rwanda (SFH) qui fournit des informations sur la santé et l’emploi et oriente les jeunes vers les pharmacies locales afin d’améliorer l’accès à la contraception et à d’autres produits de santé.

À propos du réseau d’innovation Vihara : Vihara est une agence d’apprentissage, d’innovation et de mise en œuvre basée en Inde qui a travaillé dans 21 pays de l’hémisphère sud sur des programmes de santé et de bien-être en utilisant des techniques de science comportementale, de conception centrée sur l’humain et de prototypage.

Ressources

1. Visionnez l’enregistrement du webinaire
2. Mise en œuvre de programmes de santé sexuelle et reproductive des adolescents adaptés et centrés sur les jeunes : enseignements tirés du projet Adolescents 360 en Tanzanie, en Éthiopie et au Nigeria (2016-2020).
3. Défis et opportunités dans l’évaluation de programmes intégrant une conception centrée sur l’humain : leçons tirées de l’évaluation d’Adolescents 360
4. Suivi et évaluation : 5 vérifications factuelles pour la gestion adaptative
5. Comment suivre et évaluer un programme adaptatif : 7 points à retenir
6. Essai contrôlé randomisé (ECR) — Étude d’impact (2018 – 2021)