Likelihood-Quotienten-Test

Vorlage:Hinweisbaustein Der Likelihood-Quotienten-Test (kurz LQT), auch Plausibilitätsquotiententest ({{#invoke:Vorlage:lang|full|CODE=en|SCRIPTING=Latn|SERVICE=englisch}} likelihood-ratio test), ist ein statistischer Test, der zu den typischen Hypothesentests in parametrischen Modellen gehört. Viele klassische Tests wie der F-Test für den Varianzenquotienten oder der Zwei-Stichproben-t-Test lassen sich als Beispiele für Likelihood-Quotienten-Tests interpretieren. Einfachstes Beispiel eines Likelihood-Quotienten-Tests ist der Neyman-Pearson-Test.

Definition

Formal betrachtet man das typische parametrische Testproblem: Gegeben ist eine Grundmenge von Wahrscheinlichkeitsverteilungen <math>P_\theta</math>, abhängig von einem unbekannten Parameter <math>\theta</math>, der aus einer bekannten Grundmenge <math>\Theta</math> stammt. Als Nullhypothese <math>H_0</math> soll getestet werden, ob der Parameter zu einer echten Teilmenge <math>\Theta_0</math> gehört. Also:

<math>H_0\colon \theta \in \Theta_0</math>.

Die Alternative <math>H_1</math> lautet entsprechend:

<math>H_1\colon \theta \in \Theta_1</math>,

wobei <math>\Theta_1</math> das Komplement zu <math>\Theta_0</math> in <math>\Theta</math> bezeichnet.

Die beobachteten Daten sind Realisierungen von Zufallsvariablen <math>X_1, \dotsc, X_n</math>, die jeweils die (unbekannte) Verteilung <math>P_\theta</math> besitzen und stochastisch unabhängig sind.

Der Begriff des Likelihood-Quotienten-Tests suggeriert bereits, dass die Entscheidung des Tests auf der Bildung eines Likelihood-Quotienten bzw. Plausibilitätsquotienten (Quotient zweier Likelihood-Funktionen bzw. Plausibilitätsfunktionen) beruht. Man geht dabei so vor, dass man ausgehend von den Daten <math>x = (x_1, \dotsc, x_n)</math> und den zu den einzelnen Parametern gehörenden Dichtefunktionen <math>f^{X_1, \dotsc, X_n}(\cdot; \theta)</math> den folgenden Ausdruck berechnet:

<math>\Lambda(x):=\frac{\sup_{\theta \in \Theta_0} f^{X_1, \dotsc, X_n}(x_1, \dotsc, x_n; \theta)}{\sup_{\theta \in \Theta} f^{X_1, \dotsc, X_n}(x_1, \dotsc, x_n; \theta)}</math>.

Heuristisch gesprochen: Man bestimmt anhand der Daten zunächst den Parameter aus der gegebenen Grundmenge, der die größte Wahrscheinlichkeit dafür liefert, dass die gefundenen Daten gemäß der Verteilung <math>P_\theta</math> realisiert worden sind. Der Wert der Dichtefunktion bezüglich dieses Parameters wird dann als repräsentativ für die gesamte Menge gesetzt. Im Zähler betrachtet man als Grundmenge den Raum der Nullhypothese, also <math>\Theta_0</math>; für den Nenner betrachtet man die gesamte Grundmenge <math>\Theta</math>.

Es lässt sich intuitiv schließen: Je größer der Quotient ist, desto schwächer ist die Evidenz gegen <math>H_0</math>. Ein Wert von <math>\Lambda(x)</math> in der Nähe von Eins bedeutet, dass anhand der Daten kein großer Unterschied zwischen den beiden Parametermengen <math>\Theta</math> und <math>\Theta_0</math> zu erkennen ist. Die Nullhypothese sollte in solchen Fällen also nicht verworfen werden.

Demnach wird bei einem Likelihood-Quotienten-Test die Hypothese <math>H_0</math> zum Niveau <math>\alpha</math> abgelehnt, falls

<math>\Lambda(x)< k^*_\alpha</math>

gilt. Hierbei ist der kritische Wert <math>k^*_\alpha</math> so zu wählen, dass <math>\sup_{\theta\in\Theta_0} P_{\theta}(\Lambda(X) < k^*_{\alpha})=\alpha </math> gilt.

Die konkrete Bestimmung dieses kritischen Werts ist in der Regel problematisch.

Beispiel 1

Für unabhängige Zufallsvariablen <math>X_1, \dotsc, X_n</math>, die jeweils eine Normalverteilung mit bekannter Varianz <math>\sigma^2</math> und unbekanntem Erwartungswert <math>\mu</math> besitzen, ergibt sich für das Testproblem <math>H_0\colon \mu = \mu_0</math> gegen <math>H_1\colon \mu = \mu_1</math> mit <math>\mu_0 < \mu_1</math> der folgende Likelihood-Quotient:

<math>\Lambda(X) = \exp\left(\frac{1}{\sigma^2} \sum_{l=1}^{n} X_l \left(\mu_1 - \mu_0\right)\right) k\left(\mu_0, \mu_1, \sigma^2\right)</math>

mit der von den konkreten Daten unabhängigen Konstanten <math>k(\mu_0, \mu_1, \sigma^2) = \exp \left(-\frac{n}{2 \sigma^2} (\mu_1^2 - \mu_0^2)\right)</math>. Man erhält dann, dass <math>\Lambda(X) > \tilde c</math> äquivalent zur Ungleichung

ist. Dies liefert als Resultat den bekannten Gauß-Test; man wählt <math>c = \mu_0 + \frac{\sigma}{\sqrt n} u_{1-a}</math>, wobei <math>u_{1-a}</math> das <math>(1-\alpha)</math>-Quantil einer Standardnormalverteilung bezeichnet.

Approximation der Likelihood-Quotienten-Funktion durch eine Chi-Quadrat-Verteilung

Unter bestimmten Voraussetzungen lässt sich die im Allgemeinen schwierig zu betrachtende Teststatistik <math>\Lambda(X)</math> durch Chi-Quadrat-verteilte Zufallsvariablen annähern, so dass sich vergleichsweise leicht asymptotische Tests herleiten lassen. In der Regel ist das möglich, wenn die Nullhypothese sich durch eine lineare Parameter-Transformation als ein Spezialfall der Alternativ-Hypothese darstellen lässt, wie im unten genannten Beispiel des Münzwurfes. Präzise formuliert ist neben eher technischen Annahmen an die Verteilungsfamilie <math>P_\theta</math> die folgende Annahme einer „Parametrisierbarkeit der Nullhypothese“ fundamental:

Es seien der Parameterraum der Alternative <math>\Theta \subset \R^d</math> und der Nullhypothese <math>\Delta \subset \R^c</math> gegeben, beide Mengen seien offen und es gelte: <math>c < d</math>. Zudem existiere eine zweimal stetig differenzierbare Abbildung <math>h\colon \Delta \rightarrow \Theta</math> mit <math>h(\Delta)= \Theta_0</math>, deren Jacobi-Matrix <math>h'(\eta)</math> für jedes <math>\eta \in \Delta</math> vollen Rang besitzt.

Dann gilt:

<math>T_n := -2\log \Lambda(X) \rightarrow \chi^2_{d-c}</math>,

wobei die Zufallsvariablen in Verteilung konvergieren.

Die Beweisidee beruht auf einer Aussage über die Existenz von Maximum-Likelihood-Schätzern in allgemeinen parametrischen Familien und ihrer Konvergenz gegen eine normalverteilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist.

Beispiel 2: Münzwurf

Ein Beispiel ist der Vergleich, ob zwei Münzen die gleiche Wahrscheinlichkeit haben, Kopf als Ergebnis zu erhalten (Nullhypothese). Wird die erste Münze <math>N</math>-mal geworfen mit <math>n</math> Kopfwürfen und die zweite Münze <math>M</math>-mal geworfen mit <math>m</math> Kopfwürfen, dann ergibt sich die Kontingenztabelle unter Beobachtungen. Unter Gültigkeit der Nullhypothese (<math>p=q</math>) und der Alternativhypothese (<math>p\neq q</math>) ergeben sich die Wahrscheinlichkeiten wie unter Alternativhypothese und Nullhypothese.

	Beobachtungen		Alternativhypothese (H1)		Nullhypothese (H0)
	Münze 1	Münze 2	Münze 1	Münze 2	Münze 1	Münze 2
Kopf	<math>n</math>	<math>m</math>	<math>p</math>	<math>q</math>	<math>r</math>	<math>r</math>
Zahl	<math>N-n</math>	<math>M-m</math>	<math>1-p</math>	<math>1-q</math>	<math>1-r</math>	<math>1-r</math>

Unter Gültigkeit der Nullhypothese ergibt sich die Likelihood-Funktion als

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzung <math>\hat{r}=(n+m)/(N+M)</math>.

Unter Gültigkeit der Alternativhypothese ergibt sich die Likelihood-Funktion als

und es folgt mit Hilfe der Log-Likelihood-Funktion die Schätzungen <math>\hat{p}=n/N</math> bzw. <math>\hat{q}=m/M</math>.

Damit ergibt sich <math>\Lambda</math> als

<math>\Lambda(n,m)=\frac{\left(\frac{n+m}{N+M}\right)^{n+m} \left(1-\frac{n+m}{N+M}\right)^{N-n+M-m}}{\left(\frac{n}{N}\right)^n \left(1-\frac{n}{N}\right)^{N-n} \left(\frac{m}{M}\right)^m \left(1-\frac{m}{M}\right)^{M-m}}</math>

und als Prüfwert

<math>-2\log(\Lambda(m,n))</math>,

der mit einem vorgegebenen kritischen Wert aus der <math>\chi^2_1</math>-Verteilung verglichen wird. Da wir in der Alternativhypothese zwei Parameter (<math>p</math>, <math>q</math>) und in der Nullhypothese einen Parameter (<math>r</math>) haben, ergibt sich die Anzahl der Freiheitsgrade als <math>2-1=1</math>.

Literatur

P. J. Bickel, K. Doksum: Mathematical statistics. Holden-Day.