Unter dem Gesetz der großen Zahl versteht man eine Reihe von Formulierungen, deren Kern es ist, dass Wahrscheinlichkeitsaussagen desto besser zutreffen, je größer eine Stichprobe ist bzw. je häufiger ein Zufallsexperiment ausgeführt wird.
- Die relative Häufigkeit eines Ereignisses nähert sich im Mittel immer mehr dessen Wahrscheinlichkeit an, wenn das entsprechende Zufallsexperimente immer öfter wiederholt wird.
- Der Messfehler des Mittelwerts wird desto kleiner, je häufiger man misst.
- Die Summe einer großen Zahl n von unabhängigen Zufallsvariablen nähert sich immer mehr der Normalverteilung an, je größer n wird (dies nennt man auch den Zentralen Grenzwertsatz).
- Die Wahrscheinlichkeit, dass der empirische Mittelwert gleich dem Erwartungswert ist, geht bei unendlich vielen Wiederholungen oder unendlich vielne Stichprobenwerten gegen 1.
Eine formale Version der letzten Aussage ist die folgende: Wenn hn(A) die relative Häufigkeit eines Ereignisses A mit der Wahrscheinlichkeit P(A) = p in einer Bernoulli-Kette der Länge n ist, so gilt für jedes \(\epsilon \in \mathbb{R}^+\) :
\(\lim_{n \to \infty} P ( | h_n (A) - p| < \epsilon ) = 1\).
Beweisen kann man dies mithilfe der Ungleichungen von Tschebyschew.