Méthodes de planification, d'instauration et d'évaluation des programmes

Description

Le rapport technique Getting To Outcomes 2004: Promoting Accountability through Methods and Tools for Planning, Implementation, and Evaluation a été conçu pour permettre aux professionnels d'augmenter leur responsabilité par rapport à leurs programmes et d'améliorer la qualité de ceux-ci. L'approche Getting to Outcomes (GTO) a été mise au point pour combler l'écart entre la recherche et la pratique en renforçant la capacité au niveau des professionnels et des programmes (p. ex., choisir des pratiques fondées sur des données probantes et planifier, instaurer, évaluer et maintenir des pratiques efficaces). Le présent exposé sommaire contient les outils découlant du rapport (reportez-vous à l'exposé sommaire Méthodes pour planifier, instaurer, évaluer les programmes afin de connaître les méthodes).

L'approche repose sur des méthodes d'évaluation traditionnelles, une évaluation de l'autonomisation, une responsabilité fondée sur des résultats et une amélioration continue de la qualité. Bien que les méthodes d'évaluation traditionnelles se fondent généralement sur des évaluateurs externes, travaillant indépendamment des professionnels, l'évaluation de l'autonomisation favorise des relations de collaboration entre les évaluateurs et les professionnels. Cette évaluation repose sur l'idée selon laquelle les programmes sont plus susceptibles de réussir quand les évaluateurs collaborent avec les professionnels et leur fournissent les outils et les occasions pour planifier, instaurer, évaluer et mettre au point eux-mêmes un système d'amélioration continue de la qualité.

La responsabilité fondée sur des résultats est axée sur ceux des programmes et sur les leçons qui peuvent être tirées des effets et de l'efficacité de ces derniers, plutôt que sur le processus ou l'issue. L'amélioration continue de la qualité (ACQ) est une technique qui fait partie de la gestion de la qualité totale. Elle repose sur des principes d'amélioration de la qualité, de réduction des erreurs et des coûts et d'augmentation de la satisfaction des clients.

L'approche GTO se compose de 10 questions sur la responsabilité : six de planification (étapes 1 à 6), deux d'évaluation (étapes 7 et 8) et deux qui touchent l'utilisation de données pour améliorer et maintenir les programmes (étapes 9 et 10). Les questions sur la responsabilité sont les suivantes :

1. Besoins et ressources : Quels sont les conditions et les besoins sous-jacents au sein de la population?
2. Buts : Quels sont les buts, les populations cibles et les objectifs (résultats souhaités) qui permettront de répondre aux besoins et de changer les conditions sous-jacentes?
3. Pratique exemplaire : Quels modèles fondés sur des données probantes et quels programmes de pratiques exemplaires pouvez-vous utiliser pour atteindre vos buts?
4. Adaptation : Quelles mesures devez-vous prendre pour que le programme choisi s'adapte au contexte communautaire?
5. Capacités : Quelles capacités organisationnelles faut-il pour instaurer le programme?
6. Plan : Quel est le plan pour ce programme?
7. Processus : Comment allez-vous évaluer la qualité d'instauration du programme?
8. Résultats : Dans quelle mesure le programme a-t-il fonctionné?
9. Amélioration continue de la qualité : Comment allez-vous intégrer des stratégies d'amélioration continue de la qualité?
10. Durabilité : Comment des programmes efficaces seront-ils maintenus?

Voici les trois principales caractéristiques du système GTO :

1. L'approche GTO peut être utilisée à tout stade de la planification, de l'instauration et de l'évaluation des programmes. Les professionnels peuvent choisir les questions sur la responsabilité qui sont utiles à un moment donné, selon le stade d'élaboration de leurs programmes.
2. L'approche GTO n'est pas linéaire. Bien que présenté de manière linéaire, le système GTO peut être utilisé de manière itérative, où l'apprentissage pourra s'appliquer aux étapes antérieures.
3. L'approche GTO favorise la compétence culturelle en programmation. Les professionnels peuvent intégrer les caractéristiques ethniques ou culturelles, les expériences, les normes et les valeurs des populations visées à chaque stade d'élaboration des programmes.

Étapes de l’utilisation de la méthode/de l’outil

Les 10 sections de la ressource fournissent des méthodes pouvant aider à planifier, instaurer, puis évaluer les programmes.

1. Besoins et ressources : Quels sont les conditions et les besoins sous-jacents au sein de la population?
Évaluer les besoins et les ressources (pp. 17-27)

• 1re étape: former un comité d'évaluation ou un groupe de travail pour recueillir des données (inclure des intervenants clés).
• 2e étape: déterminer les données permettant actuellement d'évaluer les facteurs de risque et de protection.
• 3e étape: établir les données que la coalition doit encore recueillir.
• 4e étape: déterminer les meilleurs moyens de rassembler les données et de dresser un plan de collecte de données.
• 5e étape: mettre en place un plan de collecte de données.
• 6e étape: analyser et interpréter les données.
• 7e étape: choisir les facteurs de risque et de protection qu'il faut surtout évaluer.
• 8e étape: utiliser ces facteurs prioritaires pour fixer les buts et les objectifs et choisir les programmes ou les stratégies à mettre en œuvre.

2. Buts : Quels sont les buts, les populations cibles et les objectifs (résultats souhaités) qui permettront de répondre aux besoins et de changer les conditions sous-jacentes?
Caractéristiques d'objectifs utiles (pp. 35-36) :

• Ils sont précis et mesurables.
• Ils spécifient ce qui changera, pour qui, dans quelle mesure et quand.
• Il peut y avoir plusieurs objectifs par but.
• Les énoncés d'objectifs sont logiquement reliés pour favoriser l'atteinte des buts.

3. Pratique exemplaire : quels modèles fondés sur des données probantes et quels programmes fondés sur des pratiques exemplaires pouvez-vous utiliser pour atteindre vos buts?
Critères d'évaluation de programmes fondés sur des données probantes (p. 44) :

• la mesure dans laquelle le programme repose sur une théorie ou un modèle bien défini
• la mesure dans laquelle la population visée a suffisamment fait l'objet de l'intervention (dosage)
• la qualité et l'appropriation des procédures de collecte et d'analyse des données
• la mesure dans laquelle il existe de solides données probantes pour soutenir un lien de cause à effet

Il existe trois niveaux de données probantes pour les programmes (p. 45) :

1. Les programmes prometteurs ont été raisonnablement bien évalués et montrent qu'ils donnent des résultats positifs. Ces programmes ne peuvent être évalués comme des programmes efficaces, car les conclusions ne sont pas assez constantes ou le modèle d'évaluation manque de rigueur.
2. Les programmes efficaces ont été évalués rigoureusement et montrent qu'ils donnent constamment des résultats positifs.
3. Les programmes modèles remplissent les conditions pour être jugés efficaces ET peuvent être transmis des créateurs à d'autres consultants.

Étapes à suivre pour établir un équilibre entre la fidélité et l'adaptation lorsqu'il s'agit d'instaurer une innovation (p. 47)

• Déterminer les aspects adaptables du programme et la raison pour laquelle il y a lieu d'adapter les éléments de programme en question.
• Comprendre les éléments centraux du programme et la théorie qui sous-tend ce dernier. Retirer lesdits éléments risque de nuire gravement aux résultats.
• Évaluer les ressources humaines, financières, techniques et structurelles (les liens) qu'il faudra pour suivre et gérer la fidélité et les changements qu'il faudra peut-être apporter en vue de l'instauration.

Étapes à suivre pour choisir un programme fondé sur des données probantes ou des pratiques exemplaires (pp. 52-53) :

• Examiner les ressources fondées sur des données probantes ou des pratiques exemplaires qui existent dans votre domaine de contenu.
• Déterminer en quoi les résultats du programme fondé sur des données probantes ou des pratiques exemplaires correspondent aux buts et aux objectifs dudit programme.
• Choisir le programme.

4. Adaptation : quelles mesures devez-vous prendre pour que le programme choisi s'adapte au contexte communautaire?

L'adaptabilité du programme est la mesure dans laquelle un programme choisi qui repose sur des pratiques exemplaires s'adapte aux programmes actuels et au contexte communautaire.

Étapes à suivre pour déterminer l'adaptabilité du programme (pp. 59-61) :

Songez à ce qui suit :

• le cadre culturel et le degré de préparation de la population visée établis par voie d'analyse
• en quoi le programme choisi s'adapte à la population visée
• en quoi le programme choisi s'adapte aux autres programmes offerts à l'échelle locale à votre population cible
• la philosophie et les valeurs de votre organisme, et si le programme est compatible avec elles

5. Capacités : quelles capacités organisationnelles vous faut-il pour instaurer le programme?
Délimiter les capacités qu'exige surtout le fait de planifier, d'instaurer et d'évaluer le programme (pp. 64-70)

• Capacités du personnel: qualifications, formation, niveau de dotation
• Capacités techniques (expertise): accès au matériel de programme, au personnel possédant les compétences appropriées en évaluation
• Capacités financières: financement adéquat
• Capacités structurelles (liens officiels): partager les ressources et renforcer les liens entre les organismes par la collaboration

Degré de préparation de la population (pp. 71-72)
Le modèle PREVENT pour évaluer et augmenter le degré de préparation de la population :

• Problème défini par évaluation des besoins
• Reconnaissance du problème par la population
• Existence de fonds
• Vision
• Énergie pour mobiliser et soutenir
• Nourrir la création d'un réseau avec des intervenants
• Talent ou leadership

6. Plan : quel est le plan pour ce programme?
Planifier des programmes culturellement appropriés (pp. 85-86)

• Le personnel est-il représentatif de la population visée?
• Le matériel de programme est-il applicable à la population visée?
• Des experts ou des membres de la population visée ont-ils examiné le plan et le matériel de programme?
• Le programme tient-il compte du contexte linguistique, socio-économique, culturel et historique de la population visée?
• Le personnel est-il culturellement compétent pour travailler avec la population visée?

7. Processus : Comment allez-vous évaluer la qualité d'instauration du programme?
Matrice d'évaluation du processus (p. 95)
Plusieurs questions d'évaluation du processus sont indiquées avec les activités de collecte de données correspondantes. Les questions figurant dans l'outil de planification d'une évaluation de processus sont les suivantes :

• Le programme était-il conforme au plan de base en ce qui touche la prestation des services?
• Quelles sont les caractéristiques du programme?
• Quelles sont les caractéristiques des participants?
• À quel point les participants étaient-ils satisfaits du programme?
• Comment le personnel perçoit-il le programme?
• Quels étaient les dosages pour chaque participant au programme?
• Quels étaient les niveaux de qualité des éléments de programme (surveillance de la fidélité)?

8. Résultats : Dans quelle mesure le programme a-t-il fonctionné?
Évaluer des résultats (pp. 115-133)

Déterminez ou complétez ce qui suit :

1. Qu'est-ce qui sera mesuré?
2. Quels sont les meilleurs genres de résultats à mesurer?
3. Donnez quelques ressources à utiliser pour trouver des mesures de résultats?
4. Quels critères appliquerez-vous pour choisir les résultats?
5. Choisissez un modèle d'évaluation qui convient à votre programme et à vos questions d'évaluation.
6. Choisissez les méthodes de mesure.
7. Déterminez qui vous évaluerez par vos méthodes de mesure.
8. Déterminez quand vous effectuerez l'évaluation.
9. Rassemblez les données.
10. Obtenez un consentement éclairé.
11. Garantissez la confidentialité des données et l'anonymat des personnes qui les fournissent.
12. Analysez et interprétez les données.
13. Évaluez les résultats du programme par rapport à des points de référence.
14. Mettez en balance les résultats et le coût du programme.

9. Amélioration continue de la qualité : Comment allez-vous intégrer des stratégies d'amélioration continue de la qualité?
Étapes à suivre pour appliquer une stratégie d'ACQ (pp. 138-140)

• Examinez les changements compte tenu du contexte du programme.
• Servez-vous des renseignements tirés des processus de planification, d'instauration et d'évaluation.

10. Durabilité : comment allez-vous maintenir des programmes efficaces?
Principaux éléments pour maintenir des programmes efficaces (pp. 144-146)

• Efficacité des programmes
• Plan de durabilité des programmes
• Champions des programme
• Processus de négociation des programmes
• Financement des programmes
• Formation
• Force institutionnelle
• Intégration aux programmes ou services en place
• Adaptation à la collectivité ou à l'organisme hôte

Évaluation

Le Dr Chinman et ses collègues ont évalué et perfectionné l'approche Getting to Outcomes (GTO) pendant plus de 10 ans. Chinman, Hunter, Ebener, Paddock et coll. (2008) ont mené une étude quasi expérimentale sur 10 programmes de prévention de la toxicomanie, où l'approche GTO avait été appliquée ou non. Il s'agissait de comparer la capacité des professionnels (connaissances, attitudes, compétences) à choisir des pratiques efficaces et à planifier, instaurer, évaluer et maintenir ces pratiques. L'intervention GTO faisait intervenir la distribution de manuels GTO, l'offre d'une formation et la prestation d'une assistance technique sur place au personnel affecté aux programmes. Le processus GTO a permis à ce dernier d'améliorer davantage sa capacité que les programmes de référence. Un lien a été établi entre le passage de la base de référence à une période de deux ans au chapitre de la capacité des professionnels et le nombre d'heures d'assistance technique. Grâce à GTO, il a été possible de documenter l'amélioration des résultats pour plusieurs programmes.

Dans l'étude de Chinman et coll. (2009), une évaluation formative du processus GTO à plus grande échelle a été effectuée dans les systèmes de prévention de la toxicomanie en vigueur au Tennessee et au Missouri. Au Tennessee, on a appliqué au hasard l'intervention GTO ou la pratique standard (modèle d'EEAC) à 54 programmes. Au Missouri, 36 programmes qui ont fait l'objet d'une intervention GTO ont été comparés à neuf programmes similaires où l'intervention n'a pas été appliquée (modèle quasi expérimental). Après un an, les analyses ont révélé que les programmes où l'approche GTO a été employée ont amélioré leur capacité à permettre d'instaurer des pratiques efficaces par rapport aux autres, même si des problèmes d'instauration se sont présentés.