Coefficients de concordance et de corrélation : indices de fiabilité des outils diagnostiques

Dans un article récent, nous avions expliqué les notions de fiabilité, de répétabilité, de reproductibilité et de validité en prenant l’exemple des tests de flexion dans le cadre de l’exploration des anomalies de locomotion [¹]. Nous avions introduit la notion de concordance entre des examens réalisés par une même personne ou entre des personnes différentes.

Pour évaluer la concordance, le choix de la méthode dépend de la nature de la mesure effectuée, qualitative ou quantitative. Dans le cas d’une variable qualitative (boiteux ou non boiteux, par exemple), c’est le coefficient de concordance kappa qui est utilisé. Dans le cas d’une variable quantitative, continue ou ordinale, telle que la mesure d’une force avec un instrument connecté, c’est le coefficient de corrélation intraclasse qui est appliqué. Ce dernier, et le coefficient kappa, s’interprètent de la même manière. Des valeurs ont été proposées pour les interpréter (^{tableau 1}).

Nous proposons d’illustrer ces notions dans le cadre de l’évaluation de la reproductibilité des observations et outils utilisés pour évaluer la locomotion du cheval.

Principe et illustrations

Le calcul du kappa

Le coefficient kappa se calcule de la manière suivante :

kappa = Pr (a) – Pr (e) / 1 – Pr (e)

où Pr (a) est l’accord relatif entre les évaluateurs et Pr (e) la probabilité d’un accord aléatoire. Si les évaluateurs sont totalement en accord, κ = 1. S’ils sont totalement en désaccord, ou en accord uniquement dû au hasard, κ ≤ 0.

Supposons que deux vétérinaires (V1 et V2) sont chargés de déterminer, dans un groupe de 50 chevaux, ceux qui présentent, ou pas, une boiterie. Chacun d’eux observe chaque cheval et le note comme boiteux ou non boiteux (oui ou non), obtenant ainsi des résultats hypothétiques (^{tableau 2}).

L’accord relatif entre les observateurs est :

a + d / a + b + c + d,

soit

(20 + 15) / (20 + 5 + 10 + 15) = 35 / 50 = 0,7.

Pour calculer la probabilité d’un accord aléatoire, le vétérinaire 1 classe (20 + 5) chevaux dans la catégorie “boiteux”, soit la moitié des cas. Le vétérinaire 2 en place 60 % dans cette même catégorie. La probabilité que les deux vétérinaires notent les chevaux “boiteux” est de 0,5 × 0,6 = 0,3. De façon similaire, le vétérinaire 1 identifie (10 + 15) chevaux "non boiteux", soit 25 / 50 = 50 %. Le vétérinaire 2 en repère (5 + 15), soit 20 / 50 = 40 %. La probabilité que les deux vétérinaires notent les chevaux “non boiteux” est de 0,5 × 0,4 = 0,2.

La probabilité que les deux vétérinaires soient en accord est de (0,3 + 0,2) = 0,5, ce qui correspond à la probabilité d’un accord aléatoire.

Le coefficient kappa est donc de 0,7 – 0,5 / 1 – 0,5 = 0,2 / 0,5 = 0,4.

Utilité du kappa comme outil diagnostique des boiteries

Chez le cheval, la boiterie est un motif fréquent de consultation. Lors de l’examen clinique vétérinaire, sa détection repose en général sur un examen visuel subjectif du cheval en mouvement. Les observations portent par exemple sur les mouvements de l’encolure et de la tête, des tuber coxae, des tuber sacrae, ou sur l’amplitude de la descente des boulets [³]. Des systèmes de gradation existent afin de pouvoir déterminer la gravité de la boiterie et en assurer le suivi. Le plus connu est le système mis en place par l’American Association of Equine Practitioners (AAEP) en 1999 qui grade les boiteries de 0 à 5 [³, ⁸]. Des échelles de 0 à 10 ou de 0 à 8 sont aussi décrites [³]. Avec l’expérience, les praticiens peuvent élaborer leur propre échelle.

Une étude montre qu’un vétérinaire peut évaluer de façon concordante un cheval vu sur le terrain et quinze jours plus tard sur une vidéo réalisée lors de l’examen initial (kappa 0,61), et est également capable de déceler une évolution de la boiterie au cours du temps en adaptant le score chaque fois qu’il revoit l’animal [⁵]. La répétabilité est donc considérée modérée. La concordance peut être moins bonne entre des vétérinaires différents (kappa 0,41). La reproductibilité est donc considérée faible. Une autre étude a évalué la concordance des observations de boiteries sur le cercle : le kappa entre les évaluateurs n’était que de 0,31 (0,38 chez les vétérinaires plus expérimentés, et 0,25 chez les moins expérimentés) [⁶]. Elle était de 0,33 sur les membres thoraciques et de 0,11 sur les membres pelviens. La concordance entre des examens successifs par un même vétérinaire était de 0,57. D’autres auteurs ont montré qu’il est plus facile d’identifier une boiterie d’un membre thoracique que d’un membre pelvien, et que dans les cas de boiterie légère, les erreurs consistent en l’absence d’identification de boiterie aux membres thoraciques et à l’attribution de la boiterie au membre sain pour les membres pelviens [⁸]. Ils concluent que quel que soit le niveau d’expertise, l’évaluation de boiteries légères reste insuffisamment fiable. Dans un souci de préciser la mesure de l’anomalie de locomotion, différents outils ont vu le jour. La plateforme de force est majoritairement utilisée en clinique et difficilement transportable dans le cadre de la pratique vétérinaire équine. Des systèmes plus faciles à utiliser ont été développés. Les capteurs d’inertie (inertial sensor system, ISS), font partie des outils connectés utilisés pour l’évaluation des boiteries. Plateforme de force, ISS et évaluation subjective ont été comparés dans un modèle induit de boiterie : la meilleure concordance apparaissait entre ISS et évaluation subjective [²]. Lorsqu’on provoque une boiterie avec une pression progressive de la sole (fer et vis), l’ISS détecte plus rapidement une boiterie que l’observation concertée de trois vétérinaires [⁷]. Des limites à l’utilisation des “machines” ont cependant été décrites [⁴]. Les données des chevaux de référence sont collectées sur une ligne droite au trot ; or certaines boiteries ne sont remarquables qu’en longeant en cercle ou monté. Les cas de boiteries multiples restent difficiles à interpréter. Enfin, les données ne peuvent pas être interprétées seules en l’absence de l’œil humain : par exemple, un cheval distrait par un élément externe pourrait modifier l’amplitude du mouvement de tête enregistré par l’ISS, un élément dont le système ne tient pas compte.

Utilité du coefficient intraclasse pour évaluer un outil connecté

Tout instrument diagnostique doit être testé afin d’évaluer la répétabilité et la reproductibilité de ses mesures. Une balance qui indiquerait un poids de 50 kg, puis de 60 kg dix minutes après, ne serait manifestement pas un instrument fiable. Récemment, une guêtre connectée a été développée (^{photo 1}) et est en cours de validation. L’objectif du dispositif est de détecter avec précision les anomalies de locomotion aux membres antérieurs des chevaux. Les guêtres sont munies d’un capteur mesurant une force exprimée en newtons (N). Afin de préciser la fiabilité du dispositif, une série de mesures chez les chevaux sains ont été réalisées dans des conditions standardisées sur neuf chevaux non boiteux dans un manège. Les chevaux ont été filmés (^{photo 2}). Les images ont été visionnées par deux vétérinaires expérimentés qui conclurent à l’absence de boiterie sur toutes les séquences visionnées. Une portion précise du manège a été utilisée pour réaliser les tests en ligne droite. Un emplacement et une longueur de longe précis ont été choisis pour réaliser les tests sur le cercle. Douze observations ont été réalisées au trot et au pas, trois fois de suite (^{tableau 3}). Pour les séries une et deux les guêtres ont été placées par une même personne. C’est une autre personne qui a placé les guêtres pour la série trois (^{photo 3}). Les mesures ont été enregistrées dans un tableur Excel. Pour chaque membre, on dispose d’une valeur moyenne du signal enregistrée en newtons. Les coefficients de corrélation intraclasse ont été calculés par un programme informatique pour répondre aux questions de reproductibilité et de répétabilité.

La répétabilité des mesures

Si les examens sont répétés dans un laps de temps court, et de la même façon avec les guêtres connectées, la question est de savoir si le résultat obtenu est identique. Il s’agit de déterminer le coefficient de corrélation intraclasse entre les données obtenues lors des deux séries pour chaque membre, et chacune des douze observations. L’analyse montre que le coefficient de corrélation intraclasse moyen est de 0,92 entre la série 1 et la série 2.

La reproductibilité des mesures

Si les examens sont répétés dans des conditions différentes, le résultat est-il le même ? Le coefficient de corrélation intraclasse moyen est de 0,93 entre la série 2 et la série 3 et de 0,90 entre la série 1 et la série 3. Ces résultats indiquent une très bonne concordance, même lorsque les guêtres sont placées par des personnes différentes. Les observations restent bien concordantes, lors d’un déplacement de gauche à droite ou de droite à gauche, sur la ligne droite au trot (0,91) et au pas (0,98), et sur le cercle au trot (0,92) et au pas (0,94). Il existe une différence significative entre les données recueillies au pas et celles au trot (p < 0,05). En revanche, il n’y a pas de différence significative entre les données enregistrées au trot lent et au trot rapide en ligne droite et sur le cercle, ni entre les enregistrements réalisés en ligne droite ou sur le cercle, quelle que soit l’allure. De même, au pas comme au trot, les enregistrements effectués à main gauche et à main droite ne diffèrent pas significativement.

La différence de signal entre les deux membres

Dans cette population de base de chevaux sains, il ne devrait pas y avoir de grande différence entre les valeurs des membres gauches et droits. Néanmoins, une différence existe probablement, soit physiologique, soit liée à la technique. En effet, les valeurs obtenues pour les membres gauches et droits sont différentes (p < 0,05) pour certaines des douze observations, lors des trois séries et de façon variable (pas nécessairement pour le même type d’observations). Cette différence de signal sur les douze tests réalisés est en moyenne de 2,17 N, pour des valeurs récoltées de 16,34 N en moyenne. Une différence d’environ 13 % peut donc être enregistrée avec le dispositif de guêtres proposé, correspondant soit à des variations physiologiques naturelles chez des chevaux sains, soit aux limites de détection d’asymétries de locomotion par l’œil humain, la signification de ces asymétries restant à déterminer. Par ailleurs, cette différence de signal n’est pas statistiquement différente entre les tests. Elle doit être prise en compte dans l’étape suivante de validation qui évaluera le dispositif chez des animaux boiteux et tentera de déterminer l’utilité potentielle du système. Idéalement, et afin de limiter les biais, cette étude pourrait être réalisée dans le cadre d’un modèle de boiterie induite.

Conclusion

Les publications référencées dans cet article et l’exemple de démarche d’évaluation d’un instrument illustrent la nécessité de connaître la fiabilité et les limites des outils utilisés dans l’évaluation des anomalies de locomotion chez le cheval. Les limites inhérentes à toute technique de mesure et à l’interprétation des données doivent rappeler qu’il est intéressant de multiplier et d’étudier les autres tests, passifs et dynamiques, pour mieux comprendre l’origine de la boiterie.

• 1. Burton M, Brogniez L, Perrin R et coll. Reproductibilité et validité des tests diagnostiques. Prat. Vét. Équine. 2019;204:45-48.
• 2. Donnell JR, Frisbie DD, King MR et coll. Comparison of subjective lameness evaluation, force platforms and an inertial-sensor system to identify mild lameness in an equine osteoarthritis model. Vet. J. 2015;206 (2):136-142.
• 3. Dyson S. Can lameness be graded reliably. Equine Vet. J. 2011;43:379-382.
• 4. Dyson S. Recognition of lameness: man versus machine. Vet. J. 2014;201 (3):245-248.
• 5. Fuller CJ, Bladon BM, Driver AJ, et coll. The intra- and inter-assessor reliability of measurement of functional outcome by lameness scoring in horses. Vet. J. 2006;171 (2):281-286.
• 6. Hammarberg M, Egenvall A, Pfau T et coll. Rater agreement of visual lameness assessment in horses during lungeing. Equine Vet. J. 2016;48 (1):78-82.
• 7. McCracken MJ, Kramer J, Keegan KG et coll. Comparison of an inertial sensor system of lameness quantification with subjective lameness evaluation. Equine Vet. J. 2012;44 (6):652-656.
• 8. Starke SD, Oosterlinck M. Reliability of equine visual lameness classification as a function of expertise, lameness severity and rater confidence. Vet. Rec. 2019;184 (2):63.