Statistik - Cohens Kappa-Koeffizient

Der Kappa-Koeffizient von Cohen ist eine Statistik, die die Übereinstimmung zwischen Bewertern für qualitative (kategoriale) Elemente misst. Es wird allgemein angenommen, dass es ein robusteres Maß ist als die einfache Berechnung der prozentualen Übereinstimmung, da k die zufällige Übereinstimmung berücksichtigt. Cohens Kappa misst die Übereinstimmung zwischen zwei Bewertern, die jeweils N Elemente in C sich gegenseitig ausschließende Kategorien einteilen.

Der Kappa-Koeffizient von Cohen wird durch die folgende Funktion definiert und angegeben:

Formel

$ {k = \ frac {p_0 - p_e} {1-p_e} = 1 - \ frac {1-p_o} {1-p_e}} $

Wo -

  • $ {p_0} $ = relative beobachtete Übereinstimmung zwischen den Bewertern.

  • $ {p_e} $ = die hypothetische Wahrscheinlichkeit einer Zufallsvereinbarung.

$ {p_0} $ und $ {p_e} $ werden unter Verwendung der beobachteten Daten berechnet, um die Wahrscheinlichkeiten jedes Beobachters zu berechnen, wobei jede Kategorie zufällig gesagt wird. Wenn die Bewerter vollständig übereinstimmen, ist $ {k} $ = 1. Wenn unter den Bewertern keine andere Übereinstimmung besteht als die, die zufällig zu erwarten wäre (wie durch $ {p_e} $ angegeben), ist $ {k} $ ≤ 0 .

Beispiel

Problemstellung:

Angenommen, Sie haben Daten zu einer Gruppe von 50 Personen analysiert, die einen Zuschuss beantragt haben. Jeder Zuschussvorschlag wurde von zwei Lesern gelesen und jeder Leser sagte entweder "Ja" oder "Nein" zu dem Vorschlag. Angenommen, die Nichtübereinstimmungszählungsdaten lauten wie folgt, wobei A und B Leser sind, die Daten auf der linken Seite mit diagonaler Neigung die Anzahl der Übereinstimmungen und die Daten auf der rechten Seite mit diagonaler Neigung Uneinigkeiten zeigen:

B
Ja Nein
EIN Ja 20 5
Nein 10 15

Berechnen Sie den Kappa-Koeffizienten von Cohen.

Lösung:

Beachten Sie, dass es 20 Vorschläge gab, die sowohl von Leser A als auch von Leser B bewilligt wurden, und 15 Vorschläge, die von beiden Lesern abgelehnt wurden. Somit ist die beobachtete verhältnismäßige Übereinstimmung

$ {p_0 = \ frac {20 + 15} {50} = 0,70} $

Um $ {p_e} $ (die Wahrscheinlichkeit einer zufälligen Einigung) zu berechnen, beachten wir Folgendes:

  • Leser A sagte 25 Bewerbern "Ja" und 25 Bewerbern "Nein". Somit sagte Leser A in 50% der Fälle "Ja".

  • Leser B sagte 30 Bewerbern "Ja" und 20 Bewerbern "Nein". Somit sagte Leser B 60% der Zeit "Ja".

Unter Verwendung der Formel P (A und B) = P (A) x P (B), wobei P die Wahrscheinlichkeit des Auftretens eines Ereignisses ist.

Die Wahrscheinlichkeit, dass beide zufällig "Ja" sagen, beträgt 0,50 x 0,60 = 0,30, und die Wahrscheinlichkeit, dass beide "Nein" sagen, beträgt 0,50 x 0,40 = 0,20. Somit beträgt die Gesamtwahrscheinlichkeit einer zufälligen Übereinstimmung $ {p_e} $ = 0,3 + 0,2 = 0,5.

Wenn wir nun unsere Formel für Cohens Kappa anwenden, erhalten wir:

$ {k = \ frac {p_0 - p_e} {1-p_e} = \ frac {0,70 - 0,50} {1-0,50} = 0,40} $