topic Re: Kappa Score in Discussions

Kappa Score

mgerusdurand — Fri, 09 Jun 2023 00:20:26 GMT

Bonjour,

Malgrès mes recherches je n'ai pas trouver réponse à mon problème donc le voici:

Il me faut calculer un kappa score sur une table de contingence. J'ai bien les mêmes catégories pour les 2 valeurs mais JMP 15 ne veut pas me calculer le Kappa. Pourtant la formule de Kappa n'a pas de restriction étant donné qui s'agit du ratio de la différence de probabilité entre réelle et attendue sur l'inverse de la probabilité attendue.

Pourriez-vous m'aider svp?

Merci d'avance

Re: Kappa Score

Dan_Obermiller — Thu, 27 Aug 2020 21:23:47 GMT

Actually, JMP did calculate Kappa for you: it is 0.

To see this, let's walk through the calculation.

Pr(a) = Probability of agreement = Agreeing on value 1 + Agreeing on value 2 + Agreeing on value 3 = 0/30 + 0/30 + 29/30 = 0.967.

Pr(e) = Probability expected (you use the marginal totals here) = Expected value 1 + Expected value 2 + Expected value 3 = 0/30 * 1/30 + 0/30 * 0/30 + 29/30 * 30/30 = 0.967.

kappa = 0 / (1-.967) = 0.

Re: Kappa Score

mgerusdurand — Fri, 28 Aug 2020 07:46:57 GMT

Bonjour,

Merci pour cette réponse. Oui en effet en regardant mieux le Kappa est bien de 0.

Mais alors je trouve ca étrange. Cela veut dire que mes 97% de concordance sont juste dû au hasard?

De premier abord je dirai que d'avoir 29 fois la même réponse sur 30 est plutôt supérieur au hasard non?

Y'a t-il alors un meilleur test de concordance à faire pour ces données?

Merci encore pour votre aide.

Marie

Re: Kappa Score

Dan_Obermiller — Fri, 28 Aug 2020 12:45:03 GMT

I would not really interpret kappa in this case. The issue is that value 1 is ALWAYS 3. There is no variability with that value 1. There are several reasons that could happen, but that is the issue. Statistics work with variability and there is no variability there.

Re: Kappa Score

Dan_Obermiller — Fri, 28 Aug 2020 12:46:09 GMT

One additional thought: You could say that Value 2 will give a result of 3 29/30 times. Just ignore Value 1 since it is always a 3.

Re: Kappa Score

mgerusdurand — Fri, 28 Aug 2020 12:55:38 GMT

Thanks a lot Dan,

Usually scores are dispatched from 0 to 3 it is why I decided to applied Kappa, but in this case I guess I will do as you said and just talk about overall concordance as Kappa is not applicable here.

Best