Mesurer l’impact d’une action de prévention : du ressenti aux comportements

« Les participants ont adoré. »

C’est une bonne nouvelle. Mais est-ce suffisant pour conclure qu’une action de prévention a été efficace ?

Journée Sécurité, formation, atelier immersif, serious game, campagne de sensibilisation… Les entreprises investissent du temps et des moyens pour faire évoluer les pratiques. Pourtant, une fois l’action terminée, l’évaluation se résume encore souvent à un questionnaire de satisfaction ou au nombre de participants.

Or, apprécier une animation, apprendre quelque chose, modifier ses pratiques et obtenir des effets durables sur la sécurité sont quatre choses différentes.

Pour les professionnels QSE, HSE et les préventeurs, l’enjeu est donc de construire une mesure adaptée à l’objectif poursuivi, sans tomber dans l’usine à gaz.

À retenir

Mesurer l’impact d’une action de prévention ne consiste pas à chercher un indicateur miracle. Il faut croiser plusieurs niveaux de mesure : l’expérience vécue, les apprentissages, l’évolution des comportements et, lorsque c’est possible, les résultats observables dans l’organisation.

L’essentiel est de définir ce que l’on souhaite faire évoluer avant de lancer l’action, puis de choisir quelques indicateurs cohérents avec cet objectif.

Pourquoi le taux d’accidents ne suffit pas

Lorsqu’il est question de mesurer l’efficacité de la prévention, le premier réflexe consiste souvent à regarder le taux de fréquence, le taux de gravité ou le nombre d’accidents.

Ces données sont évidemment utiles. Mais elles ne permettent pas toujours d’attribuer une évolution à une action précise.

Une baisse de l’accidentologie peut être influencée par de multiples facteurs et une politique menée depuis de nombreuses années, on ne peut pas l’attribuer à une action isolée menée sur un temps donné.

À l’inverse, une action de sensibilisation pertinente peut ne produire aucun effet immédiatement visible dans les statistiques d’accidents.

L’INRS recommande d’ailleurs d’évaluer chaque action en comparant les résultats aux objectifs fixés et de combiner différents types d’indicateurs : actions réalisées, risques observés, accidents et presque-accidents, absentéisme ou encore données issues des ressources humaines.

Autrement dit : si votre seul indicateur est « avons-nous eu moins d’accidents ? », vous risquez de passer à côté d’une bonne partie de l’histoire.

Premier niveau : l’action a-t-elle embarqué les participants ?

Avant de chercher un changement de comportement, une première question mérite d’être posée : les participants ont-ils réellement adhéré à l’expérience proposée ?

Cela peut sembler superficiel. Ça ne l’est pas forcément.

Intérêt, utilité perçue, facilité d’utilisation, motivation ou engagement donnent des indications sur la capacité d’un dispositif à mobiliser son public. Une méta-analyse récente portant sur 157 études de formation à la sécurité distingue justement plusieurs niveaux de résultats : les réactions des participants, les apprentissages, le transfert vers les situations de travail puis les indicateurs de sécurité. Elle montre que les effets observés sont importants sur les réactions et l’apprentissage, significatifs sur le transfert, mais plus faibles lorsqu’on regarde directement les résultats globaux de sécurité.

Mesurer le ressenti a donc du sens, à condition de ne pas s’arrêter là.

C’est notamment l’approche retenue lors de l’évaluation d’un Dojo Sécurité développé par Coven pour Airbus Helicopters. Le dispositif prend la forme d’un parcours immersif de 120 m² combinant mises en situation, ateliers collaboratifs, maquettes interactives et mécaniques de jeu autour de la prévention des risques.

Pour évaluer cette première dimension de son impact, le questionnaire AttrakDiff a été utilisé auprès de participants. Initialement développé dans le domaine de l’expérience utilisateur, AttrakDiff évalue notamment la qualité pragmatique d’un dispositif, son utilité et sa facilité d’utilisation, sa capacité à stimuler et à créer de l’identification, ainsi que son attractivité globale. Sa version française a fait l’objet d’un travail de traduction et de validation scientifique.

Dans le cas du Dojo Airbus, les premiers résultats placent l’expérience dans la zone « Désiré » du référentiel AttrakDiff, avec une attractivité globale évaluée à un très bon niveau. Parmi les qualificatifs ressortant le plus positivement figurent notamment « pratique », « efficace », « original », « captivant », « plaisant » ou « motivant ».

Ces résultats permettent de répondre à une première question : l’expérience proposée donne-t-elle envie aux collaborateurs de s’impliquer ?

Mais ils ne permettent pas encore, à eux seuls, d’affirmer qu’un comportement de sécurité a durablement changé.

Et cette distinction est essentielle.

Deuxième niveau : que reste t-il de cette action ?

Une action de prévention peut être plaisante sans être pédagogique.

La mesure doit donc également chercher à savoir ce que les participants ont compris, retenu ou sont désormais capables d’identifier.

Selon l’objectif de l’action, cela peut passer par un quiz avant/après, une mise en situation, l’identification d’un risque, la résolution d’un cas ou une question demandant au participant d’expliquer la conduite à tenir.

L’idéal est de mesurer non seulement la connaissance juste après l’action, mais aussi sa persistance quelques semaines plus tard.

Car la question intéressante n’est pas seulement :

« Avez-vous compris le message ? »

Mais plutôt :

« Que reste-t-il de ce message une fois revenu sur le terrain ? »

Troisième niveau : les pratiques ont-elles évolué ?

C’est probablement le niveau le plus intéressant… et le plus difficile à mesurer.

Un collaborateur peut connaître parfaitement une règle sans l’appliquer systématiquement dans les conditions réelles de travail.

Pour aller plus loin, l’entreprise peut donc observer des indicateurs comportementaux : qualité des remontées de presque-accidents, utilisation d’un droit d’arrêt, respect d’un rituel sécurité, évolution des observations terrain, participation aux briefs ou encore capacité à identifier une situation dangereuse.

Les managers et encadrants ont ici un rôle essentiel : ce sont souvent eux qui peuvent observer si les messages abordés pendant une sensibilisation se retrouvent réellement dans les pratiques quotidiennes.

Dans le cas du Dojo Airbus, cette logique explique pourquoi la mesure de l’expérience utilisateur ne constitue qu’une première étape : des évaluations complémentaires sont prévues pour explorer l’appropriation des règles, les comportements et les pratiques dans la durée.

Enfin, relier l’action aux résultats de prévention

Le dernier niveau concerne les effets observables dans l’organisation : moins d’incidents, davantage de remontées de situations dangereuses, une meilleure qualité des analyses de risques ou une participation accrue aux rituels sécurité.

Les indicateurs à suivre dépendent de l’objectif initial. Ils doivent donc être définis avant la conception de l’action, et non après.

Augmenter la remontée de situations dangereuses, améliorer le taux d’utilisation d’une aide mécanique ou encore renforcer la culture sécurité ne se mesure pas de la même manière. Dans tous les cas, un simple questionnaire de satisfaction à chaud ne suffit pas.

Mesurer pour améliorer, pas simplement pour prouver

La mesure d’impact ne sert pas seulement à présenter une jolie slide au comité de Direction. Elle permet surtout de comprendre ce qui fonctionne et ce qui doit être amélioré.

Une action appréciée mais peu mémorisée devra peut-être être retravaillée. Une animation moins spectaculaire, mais qui suscite davantage de discussions sur le terrain, pourra être reconduite. Un dispositif efficace à court terme pourra aussi nécessiter des rappels.

L’objectif n’est donc pas de prouver à tout prix que l’action « fonctionne », mais de savoir ce qu’elle produit réellement pour pouvoir l’améliorer.

Le Dojo Sécurité Airbus illustre cette démarche : mesurer d’abord l’expérience vécue, puis compléter l’évaluation par des données sur l’appropriation et les pratiques.

Entre « ils ont aimé » et « cela a changé quelque chose sur le terrain », il reste quelques indicateurs à observer.

Sources

• INRS – Mettre en œuvre une démarche de prévention : recommandations sur l’évaluation des actions et les différents indicateurs de prévention.
• Journal of Applied Psychology – How does training contribute to workplace safety? A meta-analysis examining the effects of safety training
• Lallemand et al. – Création et validation d’une version française du questionnaire AttrakDiff
• Coven France – L’impact mesuré du Dojo Sécurité Airbus Helicopters