\documentclass[a4]{article}

\usepackage[ngerman]{babel}
\usepackage{graphicx}
\usepackage{url}
\usepackage{amssymb}
%\usepackage[thinspace,mediumqspace]{SIunits}
\usepackage[utf8]{inputenc}
\usepackage[margin=2.5cm,nohead]{geometry}

\renewcommand{\vec}[1]{\mathbf{#1}}

\bibliographystyle{unsrt}

\author{Armin Burgmeier}
\date{27. November 2009}
\title{Parameteranpassung mit kleinsten Quadraten \\und Maximum Likelihood}

\begin{document}
\nocite{Blobel:3519032430}

\maketitle

\section{Schätzwerte}
\label{sec:estimators}

\subsection{Einführung}

Physikalische Messungen sind immer fehlerbehaftet. Man misst niemals den
wahren Wert, stattdessen werden die einzelnen Messwerte um diesen herum
schwanken. Die Messwerte folgen somit einer Verteilung die sich durch ihre
\emph{Wahrscheinlichkeitsdichte} $f\left(\vec{x}\right)$ beschreiben lässt. Im
Allgemeinen hängt diese Wahrscheinlichkeitsdichte von Parametern $\vec{a}$
eines Modells ab das die Messdaten beschreiben soll. Je nach Wahl von
$\vec{a}$ ändert sie sich. Zum Beispiel kann $\vec{a}$ Steigung und
Achsenabschnitt einer Geraden sein auf der die Messwerte liegen sollen. Wir
notieren dazu $f\left(\vec{x}|\vec{a}\right)$, was die
Wahrscheinlichkeitsdichte von $\vec{x}$ angibt wenn die Modellparameter
gerade $\vec{a}$ sind.

Im einfachsten Fall ist $f\left(\vec{x}|\vec{a}\right)$ symmetrisch um den
wahren Wert verteilt, sodass es reicht den \emph{Mittelwert} der Verteilung zu
bestimmen um den wahren Wert zu erhalten.

Es gibt auch Situationen wo es gar keinen \glqq wahren\grqq\, Wert gibt,
sondern nur eine Verteilung. Dies kann bei quantenmechanischen Prozessen der
Fall sein, oder auch wenn man sich zum Beispiel für die mittlere Schuhgröße
aller Bundesbürger interessiert. Die Schuhgröße folgt einer gewissen
Verteilung, aber es gibt keine \glqq wahre Schuhgröße\grqq.

$f\left(\vec{x}|\vec{a}\right)$ selbst kann auch nicht gemessen werden. Was
man misst ist lediglich eine \emph{Stichprobe} von $N$ Werten die dieser
Verteilung folgen. Im Beispiel der Schuhgrößen bedeutet das, dass es kaum
möglich sein dürfte jeden Deutschen nach seiner Schuhgröße zu fragen.
Stattdessen muss eine möglich repräsentative Gruppe von $N$ Leuten gefunden
werden deren Schuhgrößen dann als Stichprobe dienen.

Man bezeichet nun als \emph{Schätzfunktion} eine Funktion die aus solchen
Stichproben einen Wert für die Modellparameter $\vec{a}$ berechnet. Das
Ergebnis bezeichnet man als \emph{Schätzwert} und wird in der Regel mit
$\hat{\vec{a}}$ bezeichnet.

\subsection{Kriterien für Schätzwerte}

Es ist klar dass manche Schätzfunktionen besser geeignet sind als andere.
Wenn man den Mittelwert einer Verteilung schätzen will ist es intuitiv dass
man dazu den Mittelwert der Stichprobe als Schätzwert verwendet. Allerdings
wäre es ebenfalls eine gültige Schätzfunktion wenn man einfach den größten
Wert der Stichprobe als Schätzwert nehmen würde - dieser ist dann natürlich
kein sonderlich guter Schätzwert. Um die Güte von Schätzwerten zu beurteilen
gibt es vier Kriterien (die oft nicht alle gemeinsam erfüllt werden können):

\begin{enumerate}
\item \textbf{Konsistenz}

Man nennt einen Schätzwert $\hat{\vec{a}}$ \emph{konsistent} wenn er sich für
größer werdende Stichproben dem wahren Wert $\vec{a}_0$ beliebig nahe kommt.
Diese Eigenschaft ist so essentiell dass sie praktisch von allen
Schätzverfahren gefordert wird.

\begin{equation}
\lim_{n \to \infty} \hat{\vec{a}} = \vec{a}_0
\end{equation}

\item \textbf{Erwartungstreue}

Ein \emph{erwartungstreuer} Schätzer zeichnet sich dadurch aus, dass sein
Erwartungswert gleich dem wahren Wert $\vec{a}_0$ ist. Dazu sollte man sich
klarmachen, dass jeder Schätzwert wieder einer Verteilung folgt: Eine andere
Stichprobe führt in der Regel zu einem anderen Schätzwert.

\begin{equation}
\mathrm E\left[\hat{\vec{a}}\right] = \vec{a}_0
\end{equation}

\begin{figure}
  \centering
  \includegraphics[width=0.45\textwidth]{../code/out/moyal.pdf}
  \includegraphics[width=0.45\textwidth]{../code/out/bias.pdf}
  \caption{Links: Moyal-Verteilung mit Mittelwert $7{,}5$. Rechts: Bei einer
           Stichprobe von $20$ Messwerten zeigt die rote Kurve die Verteilung
           des Schätzwertes, der durch eine Mittelung der Stichprobe entsteht.
           Die blaue Kurve entsteht durch Weglassen der 9 größten Werte und
           Mittelung über die restlichen 11.}
  \label{fig:moyal}
\end{figure}

Abbildung \ref{fig:moyal} zeigt ein Beispiel für eine erwartungstreue und eine
nicht erwartungstreue Schätzung: Bildet man den Mittelwert einer Stichprobe
von 20 Werten um den Mittelwert einer Moyal-Verteilung (hier $7{,}5$) zu
schätzen, so ist der Erwartungswert dieses Schätzwertes erwartungstreu (rote
Kurve). Lässt man die 9 größten Werte weg und bildet dann den Mittelwert, so
erhält man eine verschobene Verteilung.

Die Größe $b = \mathrm E[\vec{\hat{a}}] - a_0$ heißt \emph{Verzerrung} (engl.
\emph{Bias}) und kann, wenn sie bekannt ist, korrigiert werden. Dies muss
allerdings multiplikativ geschehen damit die relative Breite erhalten bleibt:

\begin{equation}
\hat{\vec{a}}^\prime = \frac{\mathrm E\left[\hat{\vec{a}}\right] - b}{\mathrm E\left[\hat{\vec{a}}\right]} \hat{\vec{a}}
\end{equation}

\item \textbf{Effizienz}

Die \emph{Varianz} $\mathrm V\left[\hat{\vec{a}}\right]$ eines Schätzwerts
sollte klein sein, sodass die Wahrscheinlichkeit hoch ist, dass der Schätzwert
nahe am Erwartungswert $\mathrm E\left[\hat{\vec{a}}\right]$ liegt. Die
\emph{Effizienz} eines Schätzers ist definiert als das Verhältnis der
kleinstmöglichen Varianz zu seiner Varianz. Die kleinstmögliche Varianz ist
 durch die Rao-Cramér-Frechet-Grenze gegeben.

\begin{equation}
\mathrm{Eff}\left[\vec{\hat{a}}\right] = \frac{\mathrm V\left[\vec{\hat{a}}\right]}{\mathrm{V_{min}}}
\end{equation}

Die blaue Kurve in Abbildung \ref{fig:moyal} hat eine größere Effizienz als
die rote, da ihre relative Breite kleiner ist. Wenn man die Verzerrung also
hinreichend gut kennt kann es Sinn machen, den blauen Schätzwert zu verwenden
und die Verzerrung im Anschluss zu korrigieren um eine bessere Effizienz zu
erhalten.

\item \textbf{Robustheit}

Ein Schätzwert heißt \emph{robust} wenn er von einzelnen Ausreißern
(verursacht zum Beispiel durch Fehler im Messgerät) oder anderen falschen
Annahmen nicht beeinflusst wird. Oft geschieht dies durch Weglassen von
einer bestimmten Prozentzahl der größten und/oder kleinsten Messwerte.

\end{enumerate}

Die beiden Kriterien der Robustheit und Effizienz stehen oft im Widerspruch
miteinander, sodass man sich auf einen Kompromiss einigen muss der von
Experiment zu Experiment unterschiedlich sein kann.

\section{Maximum Likelihood}
\label{sec:ml}

Die Maximum-Likelihood-Methode ist nun ein spezielles Schätzverfahren welches
neben den kleinsten Quadraten häufig zur Anwendung kommt. Es basiert auf der
\emph{Likelihood-Funktion} die im Fall unkorrelierter Messwerte wie folgt
definiert ist:

\begin{equation}
\mathcal{L}\left(\vec{x}|\vec{a}\right) = f_1\left(x_1|\vec{a}\right) \cdot f_2\left(x_2|\vec{a}\right) \cdot \ldots = \prod_i f_i\left(x_i|\vec{a}\right)
\end{equation}
Dabei ist $f_i\left(x|\vec{a}\right)$ die Wahrscheinlichkeitsdichte der
Verteilung des $i$-ten Messwerts $x_i$, die im allgemeinen von den
Modellparametern $\vec{a}$ abhängt. Die Likelihood-Funktion ist also eine
Wahrscheinlichkeitsdichte in $\vec{x}$ (nicht in $\vec{a}$!), die angibt wie
wahrscheinlich es ist einen bestimmten Satz an Messwerten $\left\{x_i\right\}$
zu erhalten. Der Schätzwert $\hat{\vec{a}}$ wird nach der
Maximum-Likelihood-Methode nun so gewählt, dass es am wahrscheinlichsten ist,
die Messwerte zu erhalten die man tatsächlich gemessen hat:

\begin{equation}
\mathcal{L}\left(\left\{x_i\right\}|\hat{\vec{a}}\right) = \mathrm{Maximum}
\end{equation}

In der Praxis stellt sich heraus, dass es oft einfacher ist, die \emph{negative
Log-Likelihood-Funktion} $\mathcal{F}\left(\vec{x}|\vec{a}\right) =
-(2)\log{\mathcal{L\left(\vec{x}|\vec{a}\right)}}$ zu minimieren. Da der
Logarithmus eine monotone Funktion ist ändert sich die Stelle des Maximums
nicht. Manchmal (zum Beispiel bei {\tt ROOT}) wird noch ein Faktor 2 zur
Definition hinzugezogen (der das Maximum auch nicht verschiebt). Im folgenden
werden wir jedoch die einfache Definition ohne diesen Faktor verwenden.

\subsection{Fehlerberechnung}

Für große Stichproben kann man zeigen dass sich die Likelihood-Funktion einer
Gaußkurve annähert. Dann wird die Log-Likelihood-Funktion zu einer Parabel und
man kann sie um ihr Minimum entwickeln (wir betrachten der Einfachheit halber
den Fall eines einzelnen Parameters):

\begin{equation}
\mathcal{F}\left(\vec{x}|a\right) = \mathcal{F}\left(\vec{x}|\hat{a}\right) + \frac{1}{2}\left.\frac{\partial^2 F}{\partial a^2}\right|_{a=\hat{a}}\left(a - \hat{a}\right)^2 + \ldots
\end{equation}
Durch den Vergleich mit dem Exponenten $\frac{\left(a - \hat{a}\right)}{2\sigma^2}$ einer Gaußfunktion findet man

\begin{equation}
\sigma = \left(\left.\frac{\partial^2 F}{\partial a^2}\right|_{a=\hat{a}}\right)^{-1/2}
\end{equation}
Im Mehrdimensionalen ergibt sich die Inverse der Kovarianzmatrix $\textbf{V}$
aus der zweiten Ableitung:

\begin{equation}
G_{ij} = \left(\left.\frac{\partial^2 F}{\partial a_i \partial a_j}\right|_{a=\hat{a}}\right) \mathrm{   und   } \textbf{V} = \textbf{G}^{-1}
\end{equation}

Schaut man sich an, welchen Wert die Log-Likelihood-Funktion bei einer
Abweichung von $r \sigma$ vom Schätzwert hat, so ergibt sich

\begin{equation}
\mathcal{F}\left(\vec{a}\right) = \mathcal{F}\left(\hat{\vec{a}}\right) + \frac{r^2}{2}
\end{equation}
Dies definiert Konturen gleicher Likelihood (Intervalle im eindimensionalen)
innerhalb derer der wahre Wert mit der zu $r \sigma$ gehörenden
Wahrscheinlichkeit liegt. Das funktioniert in sehr guter Nährung auch für
endliche Stichproben, ist aber nicht exakt, da dann die Wahrscheinlichkeit
dafür, dass der wahre Wert $\vec{a}_0$ in der Region enthalten ist von
$\vec{a}$ selbst abhängt\cite{Amsler:2008zzb}.

\paragraph{Neyman-Konstruktion}

Die \emph{Neyman-Konstruktion} erlaubt es, \emph{Konfidenzintervalle}, oder
allgemeiner \emph{Konfidenzregionen}, zu definieren, die bei $N$ Versuchen den
wahren Wert $a_0$ $C\cdot N$ mal einschließen. Man sieht an dieser Definition
bereits dass der Neyman-Konstruktion der frequentistische Zugang zur Statistik
zugrunde liegt. $C$ nennt man dann \emph{Coverage}. Das Verfahren funktioniert
insbesondere auch bei kleinen Stichproben, hat aber den Nachteil dass sowohl
der benötigte Rechenaufwand sehr schnell sehr groß werden kann als auch dass
leere Regionen entstehen können die dann keine physikalische Aussage machen.

Für jeden Wert der Parameter $\vec{a}$ bildet man das Integral

\begin{equation}
\int \mathcal{L}\left(\vec{x}|\vec{a}\right) \mathrm d\vec{x} = C
\end{equation}
Liegen die Messwerte $\left\{x_i\right\}$ nun innerhalb des
Integrationsgebiets, so nimmt man $\vec{a}$ zur Konfidenzregion hinzu,
ansonsten nicht. Bei gegebenem $\vec{a}$ ist die Wahrscheinlichkeit dass
$\left\{x_i\right\}$ im Integrationsgebiet liegt nach Definition der
Likelihood-Funktion gerade $C$.

Es besteht allerdings noch eine Freiheit bei der Wahl des Integrationsgebiets.
Dieses sollte für alle $\vec{a}$ auf die gleiche Weise bestimmt werden, ist
ansonsten aber nicht festgelegt. Bei nur einem Messwert kann man zum Beispiel
ein zentrales Intervall wählen, sodass die Fläche links und rechts davon
gerade $(1-C)/2$ beträgt. Auch üblich ist es Ober- und Untergrenzen zu wählen.
Eine Möglichkeit die auch im Mehrdimensionalen funktioniert ist es, die
Region so zu wählen, dass sie die höchsten Stellen der Likelihood-Funktion
enthält, sodass also immer
$\mathcal{L}\left(\vec{x}_{\mathrm{in}}|\vec{a}\right) \geq
\mathcal{L}\left(\vec{x}_{\mathrm{out}}|\vec{a}\right)$ gilt.

\paragraph{Bayes'sche Statistik} Ein anderer Ansatz für die Fehlerberechnung
bei kleinen Stichproben liefert der \emph{Satz von Bayes}. Angewandt auf die
Likelihood-Funktion ergibt

\begin{equation}
\mathcal{P}\left(\vec{a}|\vec{x}\right) = \frac{\mathcal{L}\left(\vec{x}|\vec{a}\right) \cdot f\left(\vec{a}\right)}{g\left(\vec{x}\right)}
\end{equation}
dabei nennt man $\mathcal{P}$ den \emph{Posterior} und $f$ den
Prior. $g$ ist konstant in $\vec{a}$ und dient lediglich der Normierung. Man
interpretiert nun $\vec{a}$ als Zufallsvariable und
$\mathcal{P}\left(\vec{a}\right)$ als \emph{Glaube}, dass $\vec{a}$ einen
bestimmten Wert hat wenn $\vec{x}$ gemessen wurde.

Man fordert für die \emph{Kredibilitätsregion}, dass die
Wahrscheinlichkeit, dass sie den wahren Wert nicht enthält, gleich einer
\emph{Irrtumswahrscheinlichkeit} $\alpha$ ist.

\begin{equation}
\int \mathcal{P}\left(\vec{a}|\left\{x_i\right\}\right) = 1 - \alpha
\end{equation}
Eine Freiheit besteht neben dem Prior $f\left(\vec{a}\right)$ auch wieder in
der Wahl des Integrationsgebiets.

Diese Methode benötigt weniger Rechenaufwand (nur eine Integration
erforderlich) und liefert immer ein nichtleeres Gebiet. Allerdings wird von
vielen der Einfluss des Glaubens in die Statistik abgelehnt. 

\section{Kleinste Quadrate}

Für gaußverteilte Fehler kommt man für die Log-Likelihood-Funktion auf die
Form

\begin{equation}
S = 2 \cdot \mathcal{F} = \frac{\left(y_1 - a_1\right)^2}{\sigma_1^2} + \frac{\left(y_2 - a_2\right)^2}{\sigma_2^2} + \ldots = \sum_i \frac{\left(y_i - a_i\right)^2}{\sigma_i^2} = \sum_i \frac{\Delta y_i^2}{\sigma_i^2}
\end{equation}
Die $a_i$ geben dabei den erwarteten Wert für den zugehörigen Messwert $y_i$
an. Sie werden im Normalfall durch ein Modell vorhergesagt das von
vergleichsweise wenig zu bestimmenden Parametern abhängt. Die $\Delta y_i$
heißen \emph{Residuen}. Der Faktor 2 wird manchmal auch bereits in die
Definition der Log-Likelihood-Funktion einbezogen (siehe Abschnitt
\ref{sec:ml}).

Das Prinzip der kleinsten Quadrate besagt nun, dass die Summe der
quadratischen Abweichungen, also gerade die Größe $S$, zu minimieren ist. Für
gaußverteilte Fehler ist sie damit äquivalent zur Maximum-Likelihood-Methode.
Für andere Verteilungen stellt sie ein eigenständiges Schätzverfahren dar.
Anstatt der genauen Wahrscheinlichkeitsdichten müssen nun lediglich noch
die Varianzen $\sigma_i^2$ der Messwerte $y_i$ bekannt sein. Dies beschränkt
das Verfahren in seiner Anwendbarkeit auf Verteilungen mit endlichen
Varianzen, was in der Praxis jedoch häufig gegeben ist.

Eine weitere Eigenschaft der Methode der kleinsten Quadrate ist, dass auch
Korrelationen zwischen den Messwerten einfach berücksichtigt werden können.
Mit dem Residuenvektor
$\Delta \mathbf{y} = \left(\begin{array}{ccc}\Delta y_1 & \Delta y_2 & \ldots \end{array}\right)^{\mathrm T}$ verallgemeinert sich der
Ausdruck für $S$ zu

\begin{equation}
S = \Delta \mathbf{y}^{\mathrm T} \mathbf{W} \Delta \mathbf{y}
\end{equation}
mit der \emph{Gewichtsmatrix} $\mathbf{W} = \mathbf{V}^{-1}$.

\subsection{Lineare kleinste Quadrate}

Ein wichtiger Spezialfall ist der der linearen kleinsten Quadrate. Dabei 
beschreibt man die erwarteten Messwerte durch ein lineares Modell (linear
in den Parametern $\mathbf{a}$) der Form

\begin{equation}
f\left(x|\mathbf{a}\right) = a_1f_1\left(x\right) + a_2f_2\left(x\right) + \ldots
\end{equation}
das einen Messwert $y$ an einer \emph{Stützstelle} $x$ vorhersagt. Dieser Fall
tritt auf wenn man eine Ausgleichsgerade an eine Datenmenge anpassen will, ist
aber nicht auf diesen Fall beschränkt. Zum Beispiel lassen sich auch allgemein
Polynome $n$-ten Grades in dieser Form darstellen.

Im einfachsten Fall sind die Messwerte $y_i$ unkorreliert und haben die
gleiche Varianz $\sigma^2$. Minimieren von $S$ führt dann für $n$
Messwert-Paare $\left\{\left(x_i, y_i\right)\right\}$ und $p$ Parameter
$\left\{a_j\right\}$ auf die sogenannten \emph{Normalengleichungen}:

\begin{equation}
a_1 \sum_i f_j\left(x_i\right) f_1\left(x_i\right) + a_2 \sum_i f_j\left(x_i\right) f_2\left(x_i\right) + \ldots = \sum_i y_i f_j\left(x_i\right)
\end{equation}

Mit den Definitionen

\begin{equation}
\mathbf{a} := \left(\begin{array}{c} a_1 \\ a_2 \\ \vdots \\ a_p\end{array}\right)\mathrm{,}\hspace{.5cm}
\mathbf{y} := \left(\begin{array}{c} y_1 \\ y_2 \\ \vdots y_n\end{array}\right)\mathrm{,}\hspace{.5cm}
\mathbf{A} := \left(\begin{array}{cccc}
f_1\left(x_1\right) & f_2\left(x_1\right) & \ldots & f_p\left(x_1\right) \\
f_1\left(x_2\right) & f_2\left(x_2\right) & \ldots & f_p\left(x_2\right) \\
\vdots              & \vdots              & \ddots & \vdots              \\
f_1\left(x_n\right) & f_2\left(x_2\right) & \ldots & f_p\left(x_n\right)
\end{array}\right) \in \mathbb{R}^{n \times p}
\end{equation}
kann man die Normalengleichungen kompakt in \emph{Matrixschreibweise} schreiben:

\begin{equation}
\left(\mathbf{A}^{\mathrm T} \mathbf{A}\right) \mathbf{a} = \mathbf{A}^{\mathrm T} \mathbf{y}
\end{equation}
Neben der kompakten Darstellung hat dies den Vorteil, dass sämtliche
Errungenschaften der linearen Algebra auf dieses Problem angewandt werden
können und dass viele effiziente Algorithmen zu Matrixoperationen existieren.

Die Lösung kann nun einfach geschrieben werden als

\begin{equation}
\mathbf{a} = \left(\mathbf{A}^{\mathrm T} \mathbf{A}\right)^{-1} \mathbf{A}^{\mathrm T} \mathbf{y}
\end{equation}
Da $\mathbf{A}$ keine quadratische Matrix ist lässt sich dies nicht noch weiter
vereinfachen wie es auf den ersten Blick scheint. Im allgemeinen Fall mit
belieben (Ko)varianzen ist die Lösung

\begin{equation}
\mathbf{a} = \left(\mathbf{A}^{\mathrm T} \mathbf{W} \mathbf{A}\right)^{-1} \mathbf{A}^{\mathrm T} \mathbf{W} \mathbf{y}
\end{equation}

\paragraph{Fehlerfortpflanzung}

Für eine lineare Beziehung $\mathbf{y} = \mathbf{B} \mathbf{x}$ gilt im
Allgemeinen das \emph{Fehlerfortpflanzungsgesetz}

\begin{equation}
\mathbf{V}_{\mathrm y} = \mathbf{B} \mathbf{V}_{\mathrm x} \mathbf{B}^{\mathrm T}
\end{equation}
Angewandt auf die Lösung der linearen Quadrate ergibt sich die
Kovarianzmatrix der Parameter $\mathbf{V}_\mathrm{a}$ aus der Gewichtsmatrix
$\mathbf{W} = \mathbf{V}^{-1}$ der Messwerte:

\begin{equation}
\mathbf{V}_\mathrm{a} = \left(\mathbf{A}^{\mathrm T} \mathbf{W} \mathbf{A}\right)^{-1}
\end{equation}

\subsection{$\chi^2$-Test}

Die bisherigen Fehlerbetrachtungen haben alle die Fortpflanzung der Fehler
der Messwerte in die Fehler der Parameter zum Ziel gehabt. Dabei wurde jedoch
nicht berücksichtigt, wie gut das gewählte Modell zu den Daten passt. Eine
Möglichkeit dies bei gaußförmigen Fehlern (die in der Praxis auch bei nicht
allzu großen Abweichungen von der Form einer Gaußkurve funktioniert) zu
testen bietet der $\chi^2$-Test.

Dazu macht man sich klar, dass die Summe der Quadrate von $n$
\emph{standard-normalverteilten} (d.h. gaußverteilten mit Mittelwert $0$ und
Varianz $1$) Zufallsvariablen einer $\chi^2$-Verteilung mit $n$
Freiheitsgraden folgt. Die Größe $S$ ist gerade eine solche Summe, da
die einzelnen Summanden durch die Verschiebung um $a_i$ und die Division
durch $\sigma_i^2$ entsprechend normiert werden. Sie folgt einer
$\chi^2$-Verteilung mit $n - p$ Freiheitsgraden, da $p$ der $n$ Summanden
bereits verwendet wurden um die Parameter zu schätzen. Dies ist am Beispiel
einer Ausgleichsgeraden leicht einzusehen: Bei nur zwei Messwerten geht die
Gerade genau durch die beiden Werte hindurch, die quadratischen Abweichungen
verschwinden also und es ist immer $S = 0$.

Man überlegt sich nun wie wahrscheinlich es ist, den gemessenen Wert für $S$
oder einen \emph{noch schlechteren}, d.h. eine noch größere Abweichung von
den Modellparametern zu erhalten. Mit der Wahrscheinlichkeitsdichte
$f_n\left(\chi^2\right)$ der $\chi^2$-Verteilung mit $n$ Freiheitsgraden
ergibt sich diese Wahrscheinlichkeit durch

\begin{equation}
\label{eq:chisquare}
P\left(S\right) = \int_S^\infty f_{n - p}\left(\chi^2\right) \mathrm d\chi^2
\end{equation}

Man sollte sich nun vorher überlegen welche Wahrscheinlichkeit man noch
akzeptiert (Eine Wahrscheinlichkeit von $1\%$ hieße zum Beispiel dass man nur
in einem von $100$ Fällen so \glqq schlechte\grqq\, Messwerte erhalten wird
wie die die man vorliegen hat). Genauso sollte man sich Gedanken machen
wenn die Wahrscheinlichkeit dafür, den gemessenen Wert für $S$ oder einen
\emph{noch besseren} zu erhalten sehr klein ist, da $f_n\left(\chi^2\right)$
für $n > 2$ für $\chi^2 \to 0$ gegen $0$ geht. Der Erwartungswert der
$\chi^2$-Verteilung ist $\mathrm E\left[\chi_n^2\right] = n$.

Kann man das Experiment mehrmals durchführen oder mit Monte-Carlo-Methoden
simulieren, so ist es empfehlenswert in einem Histogramm die relative
Häufigkeit über $P\left(S\right)$ (siehe Gleichung \ref{eq:chisquare})
aufzutragen. Bei gaußförmigen Fehlern und einem Modell das die Daten richtig
beschreibt erwartet man eine Gleichverteilung. Andernfalls ist das Modell
falsch, die Messwerte anders als angenommen verteilt oder bestehende
Korrelationen nicht berücksichtigt.

\section{Zusammenfassender Vergleich}

\begin{table}[h!]
\centering
\begin{tabular}{r|l|l}
%\begin{tabular}{c|c|c}
 & \textbf{Maximum Likelihood} & \textbf{Kleinste Quadrate} \\
\hline
Input & PDFs & Varianzen \\
\hline
Anwendbarkeit & PDFs bekannt & Daten unverzerrt, Varianzen endlich \\
\hline
Konsistent    & Ja & Ja \\
\hline
Erwartungstreu & nur für große Stichproben & Ja im linearen Fall \\
\hline
Effizient & asymptotisch maximal & maximal (im linearen Fall) \\
\hline
Robust    & Nein & Nein \\
\hline
Goodness-of-fit & Nein & Für gaußsche Fehler \\
\hline
Rechenaufwand & im Allgemeinen hoch & Im linearen Fall relativ gering \\
\end{tabular}
\caption{Vergleich der Eigenschaften von mit Maximum Likelihood und kleinsten
         Quadraten erhaltenen Schätzwerten}
\end{table}


% TODO: Wenn noch Platz ist dann ein paar Bilder

%\nocite{Schwetz:2008er,Scholberg:2009jr}
\bibliography{../refs/refs.bib}

\end{document}


