Cohens Kappa

Cohens Kappa ist ein statistisches Maß für die Interrater-Reliabilität von Einschätzungen zweier Rater, das Jacob Cohen 1960 vorschlug.

Die Gleichung für Cohens Kappa lautet

$\kappa ={\frac {p_{0}-p_{c}}{1-p_{c}}}$

wobei $p_{0}$ der gemessene Übereinstimmungswert der beiden Schätzer und $p_{c}$ die zufällig erwartete Übereinstimmung ist. Wenn die Rater in allen ihren Urteilen übereinstimmen, ist $\kappa =1$; sofern sich nur zufällige Übereinstimmungen zwischen den beiden Ratern feststellen lassen, nimmt es einen Wert von $\kappa <=0$ an. Greve und Wentura (1997, S. 111) berichten von verschiedenen Einschätzungen hinsichtlich des $\kappa$-Wertes. Als Resümee lässt sich festhalten, dass $\kappa$-Werte von .40 bis .60 vielleicht noch annehmbar sind, aber Werte unter .70 mit etwas Skepsis betrachtet werden sollten. Interrater-Reliabilitätswerte von $\kappa$>=.75 scheinen gut bis ausgezeichnet.

Nominalskalen

Wenn lediglich Übereinstimmungen und Nicht-Übereinstimmungen zwischen den beiden Ratern abgeprüft werden, fallen alle auftretenden Beurteilungsunterschiede gleich ins Gewicht. Dies ist insbesondere bei Nominalskalen sinnvoll. Dabei kann das Datenmaterial (also die Urteilshäufigkeiten $h$) bei einem Item oder Merkmal mit $z$ (nominalen) Kategorien $Kat$ von beiden Einschätzern in einer $zxz$ Kontingenztafel (also mit $z$ Zeilen und $z$ Spalten) abgetragen werden:

Vorlage:Highlight1 |	Vorlage:Highlight1 colspan="3" | Rater B	Vorlage:Highlight1 style="border-left-style: double;"|Randhäufigkeiten $h_{i.}$
Vorlage:Highlight1|Rater A	Vorlage:Highlight1|$Kat_{1}$	Vorlage:Highlight1 style="width:8em; text-align:center;"|...	Vorlage:Highlight1|$Kat_{z}$	Vorlage:Highlight1 style="border-left-style: double;"|$\sum$
Vorlage:Highlight1|$Kat_{1}$	$h_{11}$	...	$h_{1z}$	$h_{1.}=\sum _{i}^{z}h_{1i}$
Vorlage:Highlight1|.	.	...	.	.
Vorlage:Highlight1|.	.	...	.	.
Vorlage:Highlight1|.	.	...	.	.
Vorlage:Highlight1|$Kat_{z}$	$h_{z1}$	...	$h_{zz}$	$h_{z.}=\sum _{i}^{z}h_{zi}$
Vorlage:Highlight1 style="border-top-style: double;"|Randhäufigkeiten $h_{.i}$	$h_{.1}=\sum _{i}^{z}h_{i1}$	...	$h_{.z}=\sum _{i}^{z}h_{iz}$	$\sum \sum =N$

Dann gilt für den Anteil der übereinstimmenden Einschätzungen der Rater (=Mitteldiagonale der Kontingenztafel) $p_{0}$:

$p_{0}={\frac {\sum _{i=1}^{z}h_{ii}}{N}}$.

Für die erwarteten Übereinstimmungen werden die Produkte der Randsummen (=Zeilensumme x Spaltensumme) einer Kategorie $Kat$ aufsummiert und schließlich ins Verhältnis zum Quadrat der Gesamtsumme gesetzt:

$p_{c}={\frac {1}{N^{2}}}\cdot \sum _{i=1}^{z}{h_{i.}\cdot h_{.i}}$.

Scott (1955) schlug für seinen <Koeffizienten $\pi$, der nach derselben Ausgangsformel wie $\kappa$ berechnet wird, vor, die erwarteten Übereinstimmungen wie folgt zu bestimmen:

$p_{c}={\frac {1}{N^{2}}}\cdot \sum _{i=1}^{z}{({\frac {h_{i.}\cdot h_{.i}}{2}})^{2}}$.

Sofern die Randverteilungen unterschiedlich sind, ist Scotts $\pi$ immer größer als Cohens $\kappa$.

Mehrfachstufung der Meßobjekte

Sind die Rater aber aufgefordert, die Schätzobjekte mehrfach zu stufen (d.h. statt der k nominalen Kategorien geht es nun um Abstufungen und kann für diese Abstufungen mindestens ein Ordinal-Skalenniveau angenommen werden), sollten aber diskonkordant größere Abweichungen der Rater voneinander stärker ins Gewicht fallen als kleinere Abweichungen. In diesem Fall sollten ein gewichtetes Kappa berechnet werden, bei dem für jede Zelle ij der Kontingenztafel ein Gewichtungsfaktor $v_{ij}$ definiert wird, das sich z.B. daran orientieren könnte, wie groß die Abweichung von der Mitteldiagonalen ist (z.B. als quadrierte Abweichungen Mitteldiagonalzellen=0, Abweichungen um 1 Kategorie=1, Abweichungen um 2 Kategorien=$2^{2}$=4 usw.). Dann gilt für dieses (gewichtete) Kappa (vgl. Bortz 1999):

$\kappa =1-{\frac {\sum _{i}^{z}\sum _{j}^{z}v_{ij}\cdot h_{ij}}{\sum _{i}^{z}\sum _{j}^{z}v_{ij}\cdot {\frac {h_{i.}\cdot h_{.j}}{N}}}}$

Literatur und Quellen

• Cohen, J. (1960). A coefficient of agreement for nominal scales, Educational and Psychological Measurement, 20, 37-46.

• Cohen, J. (1968) Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70, 213-220.

• Fleiss, J. L. (1981) The measurement of interrater agreement. In: ders., Statistical methods for rates and proportions, 2ed (S. 212-236, Kapitel 13). New York: John Wiley & Sons.

• Scott, W. A. (1955). Reliability of content analysis: The case nominal scale coding. Public Opinion Quarterly, 19, 321-325.

• Bortz, J., Lienert, G. A. & Boehnke, K. (1990). Verteilungsfreie Methoden in der Biostatistik, Kap. 9. Berlin: Springer.

• Bortz, J. (1999). Statistik für Sozialwissenschaftler (5. Aufl.), Berlin: Springer.

• Greve, W. & Wentura, D. (1997). Wissenschaftliche Beobachtung: Eine Einführung. Weinheim: PVU/Beltz.

Weblinks

• Berechnung von Cohens Kappa - einfache Webanwendung zur Berechnung von Cohens Kappa