Kappa de Cohen · Alpha de Krippendorff · Accord code par code. Pour vérifier un codage qualitatif fait à deux : chercheur et IA, deux chercheurs, ou l'IA contre elle-même.
🔒Calcul 100 % local. Vos données restent dans votre navigateur : rien n'est envoyé, rien n'est enregistré. Vous pouvez même couper votre connexion avant de coller vos codes.
1Collez vos codages
Un segment par ligne, un codeur par colonne. Copiez directement depuis Excel ou Google Sheets (les colonnes sont reconnues), ou importez un fichier CSV. Vous pouvez ajouter une colonne d'identifiant et une colonne de verbatim : elles servent à lire les désaccords, pas au calcul.
Cellule vide = segment non codé par ce codeur (valeur manquante). Pour dire « aucun code », écrivez aucun ou -.
2Indiquez le rôle de chaque colonne
Il faut au moins deux colonnes « Codeur ». Avec trois codeurs ou plus, l'outil calcule aussi les accords deux à deux, ce qui permet par exemple de comparer deux passages de l'IA pour tester sa stabilité.
Colonne
Rôle
Aperçu
3Résultats
Accord deux à deux (kappa de Cohen)
Chaque case compare deux codeurs. Le kappa de Light est la moyenne de ces valeurs.
Accord code par code
Pour chaque code, la question posée est : « ce code s'applique-t-il ou non à ce segment ? ». C'est ce tableau qui dit quelles définitions du codebook réécrire. Seuils de Krippendorff (2004) : α ≥ 0,80 fiable ; entre 0,667 et 0,80, conclusions provisoires ; en dessous, à réviser.
Matrice de confusion
En vert, les segments codés pareil. En rouge, les confusions : une case rouge chargée signale deux codes dont la frontière est floue dans le codebook.
Désaccords à examiner
Paragraphe pour votre section méthode
Rédigé à partir de vos résultats. À adapter : précisez qui sont les codeurs (le modèle d'IA et sa version, par exemple) et ce que vous avez fait des désaccords.
Comment lire ces chiffres
Pourquoi pas simplement le pourcentage d'accord ?
Deux codeurs qui tirent leurs codes au hasard tombent parfois d'accord. Si un code couvre 80 % des segments, ils seront d'accord très souvent sans avoir rien compris. Le kappa et l'alpha retirent cette part d'accord due au hasard : 0 signifie « pas mieux que le hasard », 1 signifie « accord parfait ».
Kappa de Cohen ou alpha de Krippendorff ?
Le kappa de Cohen compare exactement deux codeurs et ignore les segments où l'un des deux n'a rien codé. C'est l'indicateur le plus demandé par les relecteurs.
L'alpha de Krippendorff accepte deux codeurs ou plus et les valeurs manquantes. C'est l'indicateur recommandé en analyse de contenu, avec des seuils clairs : 0,80 pour conclure, 0,667 au minimum pour des conclusions provisoires.
Avec deux codeurs et des données complètes, les deux valeurs sont très proches. Donner les deux est une bonne pratique.
Pourquoi un code rare a-t-il un kappa bizarre ?
Quand un code apparaît dans très peu de segments (ou presque tous), le kappa devient instable : un seul désaccord peut le faire chuter. C'est le « paradoxe du kappa ». L'outil signale ces codes. Pour eux, regardez les désaccords un par un plutôt que le chiffre, ou codez davantage de segments.
Les intervalles de confiance
Ils sont obtenus par bootstrap : l'outil retire au hasard 1 000 échantillons de segments (avec remise) et recalcule l'indicateur à chaque fois. L'intervalle va du 2,5e au 97,5e centile. Un intervalle large signifie que l'échantillon est trop petit pour conclure : un kappa de 0,82 avec un intervalle de 0,61 à 0,95 ne prouve pas grand-chose.
Utiliser l'outil pour valider un codage par IA
Fixez l'unité de codage (phrase, paragraphe, tour de parole) et rédigez le codebook.
Codez vous-même un échantillon de 10 à 20 % des segments.
Faites coder le même échantillon par l'IA, à partir du seul codebook, sans lui montrer votre codage.
Faites-le coder une deuxième fois dans une nouvelle conversation. Collez les trois colonnes : si l'IA ne s'accorde pas avec elle-même, elle ne peut pas servir de second codeur.
Réécrivez les définitions des codes en rouge, puis recommencez sur un autre échantillon.
Une limite à connaître
Si vous vous réclamez de l'analyse thématique réflexive (Braun & Clarke), l'accord inter-codeurs n'a pas de sens dans ce cadre : la subjectivité du chercheur y est une ressource, pas un biais à mesurer. Ne publiez pas de kappa dans ce cas.
Références. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. · Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology (2e éd.). Sage. · Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. · Light, R. J. (1971). Measures of response agreement for qualitative data. Psychological Bulletin, 76(5), 365–377. · O'Connor, C., & Joffe, H. (2020). Intercoder reliability in qualitative research. International Journal of Qualitative Methods, 19.