Strategien zum Unterrichten der Stichprobenverteilung


30

The tl; dr version Welche erfolgreichen Strategien setzen Sie ein, um die Stichprobenverteilung (z. B. eines Stichprobenmittelwerts) in einem Grundstudium zu vermitteln?

Der Hintergrund

Im September unterrichte ich einen Einführungskurs in Statistik für Studierende der Sozialwissenschaften (hauptsächlich Politikwissenschaft und Soziologie) im zweiten Studienjahr unter Verwendung der grundlegenden Statistikpraxis von David Moore. Es ist das fünfte Mal, dass ich diesen Kurs unterrichte, und eine Ausgabe, die ich ständig hatte, ist, dass die Schüler wirklich mit der Idee der Stichprobenverteilung zu kämpfen haben . Es wird als Hintergrund für die Schlussfolgerung behandelt und folgt einer grundlegenden Einführung in die Wahrscheinlichkeit, mit der sie nach anfänglichen Schluckauf keine Probleme zu haben scheinen (und mit Grundkenntnissen meine ich Grundkenntnisse)- Schließlich wurden viele dieser Studenten selbst in einen bestimmten Kursstrom ausgewählt, weil sie versuchten, alles mit einem vagen Hinweis auf "Mathematik" zu vermeiden. Ich würde vermuten, dass wahrscheinlich 60% den Kurs ohne oder mit einem minimalen Verständnis verlassen, etwa 25% verstehen das Prinzip, aber nicht die Verbindungen zu anderen Konzepten, und die restlichen 15% verstehen es vollständig.

Das Hauptproblem

Die Schwierigkeiten, die die Schüler zu haben scheinen, liegen bei der Bewerbung. Es ist schwierig zu erklären, worum es genau geht, außer zu sagen, dass sie es einfach nicht verstehen. Aufgrund einer Umfrage, die ich im letzten Semester durchgeführt habe, und aufgrund von Prüfungsantworten glaube ich, dass ein Teil der Schwierigkeit in der Verwechslung zweier verwandter und ähnlich klingender Phrasen (Stichprobenverteilung und Stichprobenverteilung) besteht. Daher habe ich den Ausdruck "Stichprobenverteilung" nicht verwendet. Das ist sicherlich etwas, das zwar zunächst verwirrend ist, aber mit ein wenig Aufwand leicht erfasst werden kann und das ohnehin nicht die allgemeine Verwirrung des Konzepts einer Stichprobenverteilung erklären kann.

(Mir ist klar, dass ich und mein Unterricht hier in Frage kommen könnten. Ich denke jedoch, dass es vernünftig ist, diese unangenehme Möglichkeit zu ignorieren, da einige Schüler es zu verstehen scheinen und insgesamt alle ziemlich gut zu tun scheinen ...)

Was ich versucht habe

Ich musste mich mit dem Bachelor-Administrator unserer Abteilung streiten, um obligatorische Sitzungen im Computerraum einzuführen. Ich dachte, dass wiederholte Vorführungen hilfreich sein könnten (bevor ich mit dem Unterrichten dieses Kurses anfing, war kein Computer beteiligt). Obwohl ich denke, dass dies das allgemeine Verständnis des Kursmaterials verbessert, glaube ich nicht, dass es bei diesem speziellen Thema hilfreich ist.

Eine Idee, die ich gehabt habe, ist es, es einfach nicht zu lehren oder ihm nicht viel Gewicht zu geben, eine Position, die von einigen vertreten wird (zB Andrew Gelman ). Ich finde das nicht besonders befriedigend, da es den Hauch hat, auf den kleinsten gemeinsamen Nenner zu unterrichten und vor allem starke und motivierte Schüler, die mehr über die statistische Anwendung lernen möchten, davon abhält, wirklich zu verstehen, wie wichtige Konzepte funktionieren (nicht nur die Stichprobenverteilung! ). Auf der anderen Seite scheint der Medianschüler beispielsweise p-Werte zu erfassen, sodass er die Stichprobenverteilung möglicherweise ohnehin nicht verstehen muss.

Die Frage

Welche Strategien wenden Sie an, um die Stichprobenverteilung zu lehren? Ich weiß, dass es Materialien und Diskussionen gibt (z. B. hier und hier und dieses Papier, in dem eine PDF-Datei geöffnet wird ), aber ich frage mich nur, ob ich konkrete Beispiele dafür bekommen kann, was für Menschen funktioniert (oder ich denke sogar, was nicht funktioniert) Ich werde es also nicht versuchen!). Ich plane jetzt, während ich meinen Kurs für September plane, dem Rat von Gelman zu folgen und die Stichprobenverteilung zu "entmphasen". Ich werde es unterrichten, aber ich versichere den Schülern, dass dies ein reines FYI-Thema ist und nicht in einer Prüfung erscheint (außer vielleicht als Bonusfrage ?!). Ich bin jedoch sehr daran interessiert, andere Ansätze zu hören, die die Leute verwendet haben.


Sie können dies auch mit nicht normalen Populationsverteilungen tun, um den zentralen Grenzwertsatz
user41270

Entschuldigung, dies hätte ein Kommentar zu meiner Antwort sein sollen.
User41270

Antworten:


23

Meiner Meinung nach sind Stichprobenverteilungen die Schlüsselidee der Statistik 101. Sie können den Kurs genauso gut überspringen wie dieses Problem. Ich bin jedoch mit der Tatsache sehr vertraut, dass die Schüler es einfach nicht verstehen, anscheinend egal, was Sie tun. Ich habe eine Reihe von Strategien. Diese können viel Zeit in Anspruch nehmen, ich empfehle jedoch, andere Themen zu überspringen / abzukürzen, um sicherzustellen, dass sie einen Eindruck von der Stichprobenverteilung erhalten. Hier sind einige Tipps:

  • Sagen Sie es deutlich: Ich erwähne zuerst ausdrücklich, dass es drei verschiedene Verteilungen gibt, mit denen wir uns befassen: die Populationsverteilung, die Stichprobenverteilung und die Stichprobenverteilung. Ich sage dies immer und immer wieder während des Unterrichts und dann immer wieder während des gesamten Kurses. Jedes Mal , wenn ich sage , dass diese Begriffe , die ich das unverwechselbare Ende betonen: SAM- PLE , samp- ling . (Ja, die Schüler haben es satt, sie bekommen auch das Konzept.)
  • Verwenden Sie Bilder (Abbildungen): Ich habe eine Reihe von Standardabbildungen, die ich jedes Mal verwende, wenn ich darüber spreche. Die drei Distributionen sind deutlich abgebildet und in der Regel beschriftet. (Die zu dieser Abbildung gehörenden Beschriftungen befinden sich auf der PowerPoint-Folie und enthalten kurze Beschreibungen. Sie werden hier also nicht angezeigt, aber es ist offensichtlich: Grundgesamtheit, dann Stichproben, dann Stichprobenverteilung.)
    Bildbeschreibung hier eingeben
  • Geben Sie den Schülern folgende Aufgaben: Wenn Sie dieses Konzept zum ersten Mal einführen, bringen Sie entweder eine Rolle Nickel (einige Viertel verschwinden möglicherweise) oder einen Haufen 6-seitiger Würfel mit. Bitten Sie die Schüler, sich zu kleinen Gruppen zusammenzuschließen, einen Satz von 10 Werten zu erstellen und diese zu mitteln. Dann können Sie ein Histogramm auf der Tafel oder mit Excel erstellen.
  • Verwenden Sie Animationen (Simulationen): Ich schreibe einen (komisch ineffizienten) Code in R, um Daten zu generieren und in Aktion anzuzeigen. Dieser Teil ist besonders hilfreich, wenn Sie zur Erläuterung des zentralen Grenzwertsatzes übergehen. (Beachten Sie die Sys.sleep()Aussagen, diese Pausen geben mir einen Moment Zeit zu erklären, was in jeder Phase vor sich geht.)
N = 10
number_of_samples = 1000


iterations  = c(3, 7, number_of_samples)  
breakpoints = seq(10, 91, 3)  
meanVect    = vector()  
x           = seq(10, 90)  
height      = 30/dnorm(50, mean=50, sd=10)  
y           = height*dnorm(x, mean=50, sd=10)  

windows(height=7, width=5)  
par(mfrow=c(3,1), omi=c(0.5,0,0,0), mai=c(0.1, 0.1, 0.2, 0.1))  

for(i in 1:iterations[3]) {  
  plot(x,y, type="l", col="blue", axes=F, xlab="", ylab="")  
  segments(x0=20, y0=0, x1=20, y1=y[11], col="lightgray")  
  segments(x0=30, y0=0, x1=30, y1=y[21], col="gray")  
  segments(x0=40, y0=0, x1=40, y1=y[31], col="darkgray")  
  segments(x0=50, y0=0, x1=50, y1=y[41])  
  segments(x0=60, y0=0, x1=60, y1=y[51], col="darkgray")  
  segments(x0=70, y0=0, x1=70, y1=y[61], col="gray")  
  segments(x0=80, y0=0, x1=80, y1=y[71], col="lightgray")  
  abline(h=0)  

  if(i==1) {  
    Sys.sleep(2)  
  }  
  sample = rnorm(N, mean=50, sd=10)  
  points(x=sample, y=rep(1,N), col="green", pch="*")  

  if(i<=iterations[1]) {  
    Sys.sleep(2)  
  }  
  xhist1 = hist(sample, breaks=breakpoints, plot=F)  
  hist(sample, breaks=breakpoints, axes=F, col="green", xlim=c(10,90),  
       ylim=c(0,N), main="", xlab="", ylab="")  
  if(i==iterations[3]) {  
    abline(v=50)  
  }  

  if(i<=iterations[2]) {  
    Sys.sleep(2)  
  }  
  sampleMean = mean(sample)  
  segments(x0=sampleMean, y0=0, x1=sampleMean,   
           y1=max(xhist1$counts)+1, col="red", lwd=3)  

  if(i<=iterations[1]) {  
    Sys.sleep(2)  
  }  
  meanVect = c(meanVect, sampleMean)  
  hist(meanVect, breaks=x, axes=F, col="red", main="",   
       xlab="", ylab="", ylim=c(0,((N/3)+(0.2*i))))  
  if(i<=iterations[2]) {  
    Sys.sleep(2)  
  }  
}  

Sys.sleep(2)  
xhist2 = hist(meanVect, breaks=x, plot=F)  
xMean  = round(mean(meanVect), digits=3)  
xSD    = round(sd(meanVect), digits=3)  
histHeight = (max(xhist2$counts)/dnorm(xMean, mean=xMean, sd=xSD))  
lines(x=x, y=(histHeight*dnorm(x, mean=xMean, sd=xSD)),   
      col="yellow", lwd=2)  
abline(v=50)  

txt1 = paste("population mean = 50     sampling distribution mean = ",  
             xMean, sep="")  
txt2 = paste("SD = 10     10/sqrt(", N,") = 3.162     SE = ", xSD,  
            sep="")  
mtext(txt1, side=1, outer=T)  
mtext(txt2, side=1, line=1.5, outer=T)  
  • Setzen Sie diese Konzepte während des gesamten Semesters fort: Ich spreche die Idee der Stichprobenverteilung jedes Mal wieder auf, wenn wir über das nächste Thema sprechen (wenn auch in der Regel nur sehr kurz). Der wichtigste Ort dafür ist, wenn Sie ANOVA unterrichten, da es im Fall der Nullhypothese tatsächlich die Situation gibt, in der Sie mehrmals aus derselben Bevölkerungsverteilung eine Stichprobe gezogen haben und Ihre Gruppe von Gruppenmitteln tatsächlich eine empirische Stichprobenverteilung ist. (Ein Beispiel dafür finden Sie in meiner Antwort hier: Wie funktioniert der Standardfehler? )

1
Dies ist eine gute Antwort (+1). Ich denke besonders, dass die Aktivitäten und Simulationen sehr nützlich sind, um dieses Thema zu unterrichten. In einem Einführungskurs habe ich einige Male unterrichtet, als wir ein Web-Applet verwendeten, mit dem die Schüler visualisierten, wie die Statistik aus der Stichprobe berechnet wird und wie das Histogramm der Stichprobenverteilung Gestalt annimmt, wenn Sie dies viele Male wiederholen. Ich denke, diese Aktivität hat mehr geholfen als alles, was ich jemals den Schülern gesagt habe, als es darum ging, Stichprobenverteilungen zu verstehen :)
Makro

+1 Danke Gung, das ist eine großartige Antwort! Danke, dass du mir auch den Code geschickt hast (nb. Mac-Benutzer ersetzen ihn windows(...)durch quartz(...)). Ihr Argument, das Konzept während des gesamten Semesters zu verstärken, ist besonders hilfreich. Ich denke, diese Richtlinien zu befolgen, wird wirklich nützlich sein.
smillig

(+1) für das Mantra "3-Verteilungen" und für das relationale Bild. Niemand kann einen Begriff verstehen, ohne vorher zu verstehen, dass es sich tatsächlich um einen bestimmten Begriff handelt.
Alecos Papadopoulos

Ich habe die " Online-Statistik " -Seite der Rice University über die Stichprobenverteilung als sehr hilfreich empfunden. Die viele Jahre alte Originalversion enthielt ein Java-Applet, aber ich freue mich, dass sie es kürzlich in Javascript überarbeitet haben. Die Funktionsweise ist im Wesentlichen identisch mit Ihrem Diagramm.
Silverfish

8

Ich hatte etwas Glück damit, die Schüler daran zu erinnern, dass die Stichprobenverteilung die Verteilung der Teststatistik auf der Grundlage einer Zufallsstichprobe ist . Ich habe Schüler darüber nachdenken lassen, was im Stichprobenverfahren selbst passieren würde - mit Schwerpunkt auf Extremfällen. Wie würde zum Beispiel die "Stichprobenverteilung" aussehen, wenn unser Stichprobenverfahren immer dieselbe (spezielle) Teilmenge auswählen würde? Dann würde ich überlegen, wie die "Stichprobenverteilung" aussehen würde, wenn unser Stichprobenverfahren nur zwei bestimmte (spezielle) Teilmengen (jede mit der Wahrscheinlichkeit 1/2) auswählte. Diese sind ziemlich einfach mit dem Stichprobenmittelwert zu berechnen (insbesondere für bestimmte "spezielle" Entscheidungen für die zugrunde liegende Grundgesamtheit).

Ich denke, dass dies einigen (eindeutig nicht allen) Schülern bei der Vorstellung hilft, dass die Stichprobenverteilung sehr unterschiedlich von der Bevölkerungsverteilung sein kann. Ich habe auch das Beispiel des zentralen Grenzwertsatzes verwendet, das Michael Chernick mit einigem Erfolg erwähnt hat - insbesondere bei Verteilungen, die eindeutig nicht normal sind (Simulationen scheinen wirklich zu helfen).


Graham Cookson hat eine schöne Übung im Klassenzimmer, die als Antwort in "Was ist die Erklärung Ihres Lieblings-Laien für ein schwieriges statistisches Konzept?" Veröffentlicht wird. - ein Community-Wiki.
Shoda

+1, darüber zu sprechen, wie die Stichprobenverteilung von nicht zufälligen Stichproben aussehen würde, ist eine gute Idee.
gung - Wiedereinsetzung von Monica

+1 Tolle Idee für die Auswahl der Teilmenge! Ich denke, dies ist der Link, auf den Sie sich beziehen, @shoda: stats.stackexchange.com/a/554/9249
smillig

7

Ich beginne mit der Lehre der Wahrscheinlichkeit. Ich gehe nicht auf viele formale Definitionen und Regeln ein (nur nicht genug Zeit), sondern zeige die Wahrscheinlichkeit durch Simulation. Das Monty Hall-Problem ist ein großartiges Beispiel. Ich zeige durch Simulation (und anschließende Verfolgung der Logik), dass die Strategie des Wechsels eine höhere Gewinnwahrscheinlichkeit bietet. Ich weise darauf hin, dass wir durch Simulation das Spiel viele Male (ohne Risiko oder Belohnung) spielen konnten, um die Strategien zu bewerten, und dass wir die bessere Strategie auswählen können (falls wir jemals in dieser Situation sind). Die Wahl der besseren Strategie garantiert keinen Sieg, aber es gibt uns eine bessere Chance und hilft bei der Wahl zwischen Strategien. Ich weise darauf hin, dass dies für den Rest des Kurses gilt, da es uns hilft, Strategien zu wählen, bei denen es eine zufällige Komponente gibt.

Wenn ich dann die Stichprobenverteilung einführe, beginne ich wieder mit der Simulation und sage, wir wollen Strategien entwickeln. Genau wie beim Monty Hall-Problem können wir im wirklichen Leben nur eine Probe entnehmen, aber wir können eine Reihe von Proben simulieren, um eine Strategie zu entwickeln. Ich zeige dann Simulationen von vielen Stichproben derselben Population (in diesem Fall bekannte Population) und zeige die Beziehungen, die wir aus den Simulationen lernen (Histogramm der Stichprobenmittel), dh Stichprobenmittel, die um den wahren Mittelwert gruppiert sind (Mittelwert ist Mittelwert). , kleinere Standardabweichung der Stichprobenverteilung für größere Stichproben, normaler für größere Stichproben. Die ganze Zeit spreche ich davon, die Ideen der Simulation zu wiederholen, um Strategien zu wählen, genauso wie das Monty-Hall-Problem, das jetzt auf Beispielmittel anstatt auf Spielshows angewendet wird. Ich zeige dann die offiziellen Regeln und sage, dass sie zusätzlich zu den Simulationen mathematisch bewiesen werden können, aber ich werde die Beweise nicht der gesamten Klasse auferlegen. Ich biete an, dass, wenn sie die mathematischen Beweise wirklich sehen wollen, sie zu einer Sprechstunde kommen können und ich ihnen die Mathematik zeigen werde (niemand aus den Einführungskursen hat mich bisher damit beschäftigt).

Wenn wir dann zum Schluss kommen, sage ich, dass wir in der realen Welt nur 1 Sample nehmen können, genauso wie wir das Spiel höchstens 1 Mal spielen würden, aber wir können die Strategien verwenden, die wir aus der Simulation gelernt haben viele Beispiele für die Entwicklung einer Strategie (Z-Test, T-Test oder CI-Formel), die uns die ausgewählten Eigenschaften gibt (Wahrscheinlichkeit, korrekt zu sein). Genau wie beim Spiel wissen wir nicht, bevor wir anfangen, ob unsere endgültige Schlussfolgerung richtig ist (und normalerweise wissen wir danach immer noch nicht), aber wir wissen anhand der Simulationen und der Verteilung der Stichproben, wie hoch die langfristige Wahrscheinlichkeit ist diese Strategie.

Haben 100% der Schüler ein perfektes Verständnis? Nein, aber ich denke, dass mehr von ihnen die allgemeine Vorstellung haben, dass wir Simulations- und Rechenregeln verwenden können (dass sie froh sind, dass sie nicht schauen müssen, vertrauen Sie einfach dem Buch / Lehrer), um eine Strategie / Formel zu wählen, die die folgenden Eigenschaften hat gewünschte Eigenschaften.


+1 Vielen Dank, dass Sie diesen Rat geteilt haben. Ich denke, Sie haben es verstanden, mit dem Problem, die Verbindung zwischen dem, was wir über die Verteilung der Stichproben lehren können, und der Extrapolation auf die Folgerung aus einer einzelnen Stichprobe herzustellen. Wie Sie (und andere hier) vorgeschlagen haben, ist es wichtig, das Konzept während des gesamten Kurses immer wieder zu wiederholen, aber nicht oft genug (zumindest nicht von mir, wahrscheinlich, weil ich es bereits schwer genug finde, alles zu integrieren, was ich will, geschweige denn zurück zu den bereits behandelten Konzepten!).
smillig

3

Dies ist ein sehr wichtiges und durchdachtes Thema für Sie. Ich denke, das Konzept der Stichprobenverteilung ist grundlegend für das Verständnis von Schlussfolgerungen und sollte auf jeden Fall gelehrt werden.

Ich habe viele Einführungskurse in die Statistik unterrichtet, insbesondere in Biostatistik. Ich unterrichte das Konzept der Stichprobenverteilung und habe Ansätze, die ich für gut halte, die aber kein gutes Feedback haben, um festzustellen, wie erfolgreich ich mit ihnen war. Jedenfalls mache ich das hier.

Zuerst versuche ich eine einfache Definition zu geben. Die Stichprobenverteilung ist die Verteilung, die die Teststatistik haben würde, wenn der Stichprobenprozess viele Male wiederholt würde. Es hängt von der Bevölkerungsverteilung ab, aus der die Daten generiert werden.

Obwohl ich denke, dass dies eine möglichst einfache Definition ist, stelle ich fest, dass sie nicht sehr einfach ist und das Verständnis des Konzepts in den meisten Fällen nicht sofort eintritt. Folgen Sie diesem Beispiel mit einem grundlegenden Beispiel, das das, was mit der Definition gesagt wird, verstärkt.

22

Dann würde ich mit einer wichtigen Anwendung, dem zentralen Grenzwertsatz, fortfahren. In den einfachsten Ausdrücken besagt der zentrale Grenzwertsatz, dass für viele Verteilungen, die nicht normal sind, die Stichprobenverteilung für den Stichprobenmittelwert nahe an einer Normalverteilung liegt, wenn die Stichprobengröße n groß ist. Um dies zu veranschaulichen, nehmen Sie Verteilungen wie die Uniform (eine bimodale Verteilung wäre auch gut anzusehen) und zeigen Sie, wie die Stichprobenverteilung für den Mittelwert für Stichprobengrößen von 3, 4, 5, 10 und 100 aussieht. Der Schüler kann sehen, wie Die Form der Verteilung ändert sich von etwas, das für kleine n überhaupt nicht normal aussieht, zu etwas, das einer Normalverteilung für große n sehr ähnlich sieht.

Um den Schüler davon zu überzeugen, dass diese Stichprobenverteilungen tatsächlich diese Formen haben, lassen die Schüler Simulationen durchführen, in denen viele Stichproben verschiedener Größen erzeugt und die Stichprobenmittel berechnet werden. Lassen Sie sie dann Histogramme für diese Schätzungen des Mittelwerts erstellen. Ich würde auch vorschlagen, eine physische Demonstration durchzuführen, die zeigt, wie dies mit einem Quincunx-Board funktioniert. Dabei weisen Sie darauf hin, wie das Gerät Stichproben aus der Summe unabhängiger Bernoulli-Versuche generiert, bei denen die Wahrscheinlichkeit, auf jeder Ebene nach links oder rechts zu gehen, gleich 1/2 ist. Die resultierenden Stapel am unteren Rand stellen ein Histogramm für diese Stichprobenverteilung (das Binomial) dar, und seine Form sieht ungefähr normal aus, nachdem eine große Anzahl von Kugeln am unteren Rand des Quincunx gelandet ist.


Vielen Dank für die wertvollen Anregungen. Ich mag die Idee einer tatsächlichen physischen Demonstration sehr und werde auf jeden Fall versuchen, so etwas zu implementieren (vorausgesetzt, ich kann sie lange genug von Facebook ablenken ...), obwohl der Zusammenhang mit der Summe der unabhängigen Bernoulli-Versuche wahrscheinlich etwas über ihrem Wert liegt Köpfe! Vielen Dank.
smillig

1
Aber die normale Verteilungsform aus dem Experiment zu sehen, ist wirklich aufschlussreich. Ich habe eines davon als Kind (ungefähr 10 Jahre alt) zum ersten Mal im Science Museum in Chicago gesehen. Ich wusste damals nichts über Statistiken, habe aber die Kurve nie vergessen.
Michael R. Chernick

1

Ich denke, es wäre gut, eine "Population" von Zahlen in eine Tasche zu stecken (zum Beispiel von 1-10). Sie können Ihre eigenen Kacheln herstellen oder Münzen, Spielkarten usw. verwenden.

Lassen Sie die Schüler in Gruppen (5 oder mehr) sitzen und wählen Sie jeweils eine Nummer aus der Tasche. Jede Gruppe berechnet dann den Mittelwert für ihre Gruppe. Sagen Sie ihnen, dass Sie zuvor den Bevölkerungsmittelwert berechnet haben, zeichnen Sie ihn in ein Histogramm ein und lassen Sie ein Mitglied jeder Gruppe kommen, um seinen Stichprobenmittelwert in einem diesbezüglichen Verlaufsgramm zu zeichnen. Lassen Sie sie diese Übung einige Male machen, um das Histogramm zu erstellen.

Sie können dann die Variation der Stichprobenmittelwerte um den Populationsmittelwert grafisch darstellen. Berechnen Sie die Variation des Stichprobenmittels im Vergleich zum Populationsmittel. Ich denke, die Schüler erinnern sich deutlich an eine solche praktische Übung, und das Konzept der Stichprobenvariation wird dadurch leichter wieder auf sie zurückkommen. Es mag ein bisschen kindisch klingen, aber Studenten mögen manchmal nur eine Abwechslung, um etwas Aktives zu tun ... es gibt nicht viele Möglichkeiten, dies in Statistiken zu tun.

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.