Accord (concordance) entre juges (évaluateurs, correcteurs, observateurs)

Dans des situations d'évaluation ou de recherche, il est fréquent que des individus ou des objets soient classés dans un ensemble de catégories, définies sur la base d'un certain critère et qui constituent généralement les modalités d'une variable nominale ou ordinale. Pour vérifier l'objectivité de la démarche, celle-ci peut être réalisée de manière indépendante par deux (ou plusieurs) "juges", considérés comme étant également aptes à effectuer l'opération. On dispose alors de deux (plusieurs) classements des mêmes éléments, dont on souhaite déterminer le degré de concordance ou (ce qui revient au même) le degré d'accord entre les juges qui les ont produits (accord inter-juges ou "fidélité" inter-juges).
Ce problème est souvent résolu en appliquant des méthodes corrélationnelles (calcul de coefficients de corrélation), dont le choix dépend du nombre de classements dont on dispose (deux ou plusieurs) ainsi que des caractéristiques métriques des échelles utilisées pour effectuer ces classements (nominales, ordinales ou, éventuellement, quantitatives).
Dans le cas de deux classements on aura recours, suivant les cas, au coefficient Kappa de Cohen (échelles nominales), au coefficient rhô de Spearman (échelles ordinales) ou au coefficient r de Bravais-Pearson (échelles quantitatives). Si le nombre de classements est supérieur à deux, il existe des méthodes qui généralisent les précédentes, comme par exemple le coefficient de concordance de Kendall ou le coefficient de corrélation intra-classe. Signalons également que la théorie de la généralisabilité et, notamment, l'analyse dite de facettes , permet dans certains cas d'évaluer l'ampleur des différences entre juges, ainsi que de repérer ceux dont le comportement est le plus "atypique".
 
Voir aussi: objectivité