Überprüfen von Statistiken in Papieren


43

Für einige von uns gehört das Begutachten von Papieren zum Job. Wenn ich statistische Methodikpapiere referiere, halte ich Ratschläge aus anderen Fachgebieten, dh Informatik und Mathematik, für ziemlich nützlich .

Diese Frage betrifft die Überprüfung angewandter statistischer Papiere. Damit meine ich, dass die Arbeit in einem nicht statistischen / mathematischen Journal eingereicht wird und die Statistik nur im Abschnitt "Methoden" erwähnt wird.

Einige spezielle Fragen:

  1. Wie viel Aufwand müssen wir betreiben, um den Anwendungsbereich zu verstehen?
  2. Wie viel Zeit sollte ich für einen Bericht aufwenden?
  3. Wie wählerisch sind Sie beim Betrachten von Zahlen / Tabellen?
  4. Wie gehen Sie damit um, dass die Daten nicht verfügbar sind?
  5. Versuchen Sie, die verwendete Analyse erneut auszuführen.
  6. Was ist die maximale Anzahl von Beiträgen, die Sie in einem Jahr überprüfen würden?

Haben Sie Fragen verpasst? Fühlen Sie sich frei, um einen Kommentar zu bearbeiten oder hinzuzufügen.

Bearbeiten

Ich komme zu dieser Frage als Statistiker, der ein Biologiepapier rezensiert, aber ich bin an der statistischen Rezension einer nicht-mathematischen Disziplin interessiert.


Ich bin mir nicht sicher, ob dies ein CW sein sollte. Einerseits ist es ein bisschen offen, andererseits kann ich mir vorstellen, dass ich eine Antwort akzeptiere. Außerdem werden die Antworten wahrscheinlich ziemlich lang sein.

Antworten:


21

Ich bin mir nicht sicher, auf welchen Bereich der Wissenschaft Sie sich beziehen (ich bin sicher, die Antwort wäre wirklich anders, wenn es zum Beispiel um Biologie oder Physik geht ...)

Wie auch immer, als Biologe werde ich aus "biologischer" Sicht antworten:

Wie viel Aufwand müssen wir betreiben, um den Anwendungsbereich zu verstehen?

Ich neige dazu, zumindest die vorherigen Artikel der gleichen Autoren zu lesen und nach einigen Rezensionen zu diesem Thema zu suchen, wenn ich nicht allzu vertraut damit bin. Dies gilt insbesondere für den Umgang mit neuen Techniken, die ich nicht kenne, da ich verstehen muss, ob sie alle erforderlichen Kontrollen usw. durchgeführt haben.

Wie viel Zeit sollte ich für einen Bericht aufwenden?

So viel wie nötig (OK, dumme Antwort, ich weiß!: P) Im Allgemeinen möchte ich nicht, dass jemand, der meine Arbeit überprüft, eine ungefähre Arbeit leistet, nur weil er / sie andere Dinge zu tun hat, also versuche ich, es nicht selbst zu tun .

Wie wählerisch sind Sie beim Betrachten von Zahlen / Tabellen?

Ziemlich wählerisch. Zahlen sind das erste, was Sie betrachten, wenn Sie durch ein Blatt Papier blättern. Sie müssen konsistent sein (z. B. richtige Titel auf den Achsen, richtige Legende usw.). Gelegentlich habe ich vorgeschlagen, eine andere Art von Plot zu verwenden, um Daten anzuzeigen, wenn ich dachte, dass der verwendete nicht der beste war. Dies geschieht häufig in der Biologie, einem Bereich, der vom Diagrammtyp "Barplot +/- SEM" dominiert wird. Ich bin auch ziemlich wählerisch im Bereich "Materialien und Methoden": Eine perfekte statistische Analyse eines inhärent falschen biologischen Modells ist völlig nutzlos.

Wie gehen Sie damit um, dass die Daten nicht verfügbar sind?

Sie tun es einfach und vertrauen den Autoren, denke ich. In vielen Fällen können Sie in der Biologie nicht viel tun, insbesondere wenn Sie sich mit Dingen wie der Bildgebung oder dem Verhalten von Tieren und Ähnlichem befassen. Es sei denn, Sie möchten, dass die Leute Unmengen von Bildern, Videos usw. veröffentlichen (die Sie wahrscheinlich sowieso nicht durchgehen würden), aber das ist möglicherweise sehr unpraktisch. Wenn Sie der Meinung sind, dass die Daten wirklich notwendig sind, bitten Sie die Autoren, sie als zusätzliche Daten / Abbildungen zur Verfügung zu stellen.

Versuchen Sie, die verwendete Analyse erneut auszuführen.

Nur wenn ich ernsthafte Zweifel an den Schlussfolgerungen der Autoren habe. In der Biologie gibt es oft einen Unterschied zwischen dem, was "statistisch signifikant" und dem, was "biologisch signifikant" ist (oder nicht). Ich bevorzuge eine dünnere statistische Analyse mit guter biologischer Begründung als umgekehrt. Aber auch hier würde ich in dem sehr unwahrscheinlichen Fall, dass ich ein Bio-Statistik-Papier rezensieren würde (ahah, das würde Spaß machen !!!), wahrscheinlich den Statistiken viel mehr Aufmerksamkeit schenken als der Biologie darin.


6
Ich hätte fast die gleiche Antwort gegeben, aber hier ist sie auch gut ausgedrückt. Lassen Sie mich nur zwei Dinge hinzufügen, die auf Erfahrung basieren. Erstens habe ich festgestellt, dass es sich fast immer lohnt, eine Analyse zu wiederholen, die ich möglicherweise durchführen kann: Sie dient dazu, mein Verständnis zu überprüfen, und legt häufiger als erwartet Fehler im Papier selbst offen. Zweitens ist es wichtig, die wichtigsten Verweise zu lokalisieren und eigene Verweise zu finden, indem Sie im Web nach Phrasen suchen. Eine beträchtliche Anzahl von Beiträgen in letzter Zeit sind (Auto-) Plagiate oder kahle Versuche, ein anderes Papier aus alten Arbeiten herauszuholen.
whuber

Ich habe eine zusätzliche Frage hinzugefügt. Wenn es nicht zu viel Aufwand ist, würden Sie Ihre Antwort aktualisieren?
csgillespie

1
@csgillespie: Ich schätze, ich bin zu früh in meiner Karriere, um darauf zu antworten, da ich wahrscheinlich nicht gebeten werde, so viele Artikel zu rezensieren, wie jemand mit mehr Erfahrung als ich. Ich denke, @whuber Antwort macht aber viel Sinn.
nico

16

Hiermit wird die neue Frage Nr. 6 beantwortet: "Wie viele Artikel können Sie maximal pro Jahr prüfen?" Ich antworte als Mitglied mehrerer Redaktionen. Das dauerhafte Problem besteht darin, genügend Gutachter zu finden. Je nach Zeitschrift benötigt jede eingereichte Arbeit ein bis drei Gutachter, in der Regel drei. Wenn das Journal eine Akzeptanzrate von % aufweist, liegt die durchschnittliche Anzahl der Überprüfungen pro akzeptiertem Papier offensichtlich bei . Zum Beispiel , wenn die Annahmequote 33%, müssen die Redakteure neun Bewertungen für jedes Papier veröffentlicht zu erhalten. Wenn Sie als Autor dies ernst nehmen, sollten Sie versuchen, für jede von Ihnen veröffentlichte Veröffentlichung neun Rezensionen (oder wie sich die Anzahl für Ihre Zieljournale herausstellt) bereitzustellen!3 / ( x / 100 )x3/(x/100)

Ich war aufgrund der starken Parallele zum Abstimmen auf dieser Website bewegt, dies zu schreiben: Damit Sie einen Ruf von erlangen , müssen andere Personen eine Kombination aus Ihrer Antworten und Ihrer Fragen zustimmen . Wenn Sie also Ihr Gewicht senken , sollte eine Überprüfung Ihres Profils mindestens positive Stimmen ergeben. Dies gilt für viele, aber sicherlich nicht für alle der aktivsten Mitglieder dieser Website. Denken Sie darüber nach ... Denken Sie daran, abzustimmen!r / 10 r / 5 r / 10rr/10r/5 r/10


1
@chl von allen Leuten hier solltest du dir am wenigsten Sorgen machen, genug zu stimmen!
whuber

1
@chl: du hast in jeder hinsicht eine hohe latte gesetzt! :) Vielleicht sollte unser erstes Polystats-Projekt darin bestehen, einige Skripte einzurichten, um eine Reihe von Diagrammen wie diese zu pflegen und zu aktualisieren: meta.stats.stackexchange.com/questions/314/…
ars

11

Mein POV würde einen Artikel in Psychologie überprüfen oder seine statistischen Vorzüge prognostizieren. Ich werde meistens Nicos sehr guten Bemerkungen folgen.

Wie viel Aufwand müssen wir betreiben, um den Anwendungsbereich zu verstehen?

Eigentlich ziemlich viel. Ich würde mich nicht trauen, mehr als die grundlegendsten statistischen Probleme zu kommentieren, ohne den Bereich verstanden zu haben. Glücklicherweise ist dies in vielen Bereichen der Psychologie oft nicht sehr schwierig.

Wie viel Zeit sollte ich für einen Bericht aufwenden?

Ich gehe auf einen Ast und stelle eine bestimmte Zeit fest: Ich verbringe zwei bis acht Stunden mit einem Review, manchmal mehr. Wenn ich feststelle, dass ich mehr als einen Tag mit einer Zeitung verbringe, bedeutet dies wahrscheinlich, dass ich nicht in der Lage bin, sie zu verstehen. Daher empfehle ich dem Journal, eine andere Person zu finden (und zu versuchen, einige Leute vorzuschlagen).

Wie wählerisch sind Sie beim Betrachten von Zahlen / Tabellen?

Sehr wählerisch. Die Zahlen werden das sein, woran sich die Leute an einen Artikel erinnern und was in Vorträgen ohne viel Kontext endet, also müssen diese wirklich gut gemacht werden.

Wie gehen Sie damit um, dass die Daten nicht verfügbar sind?

In der Psychologie werden die Daten in der Regel nicht geteilt - die Messung von 50 Personen mittels MRT ist sehr teuer, und die Autoren werden diese Daten für weitere Artikel verwenden wollen. Jeder, der seine Daten teilt, bekommt einen großen Bonus in meinem Buch, aber nicht teilt, ist verständlich.

In der Prognose sind viele Datensätze öffentlich verfügbar. In diesem Fall empfehle ich normalerweise, dass die Autoren ihren Code teilen (und dies selbst tun).

Versuchen Sie, die verwendete Analyse erneut auszuführen.

Ohne die Daten kann man nur so viel daraus lernen. Ich werde mit simulierten Daten herumspielen, wenn die Ergebnisse des Papiers sehr überraschend sind. andernfalls kann man ohne die Daten oft geeignete von unangemessenen Methoden unterscheiden (wenn man den Bereich verstanden hat, siehe oben).

Was ist die maximale Anzahl von Beiträgen, die Sie in einem Jahr überprüfen würden?

Zum obigen Punkt von whuber gibt es wirklich wenig hinzuzufügen - vorausgesetzt, dass jeder Beitrag mit durchschnittlich n Mitautoren, die ich (mit-) einreiche, 3 Bewertungen erhält, sollte man wirklich darauf abzielen, mindestens 3 / ( n + 1 ) Beiträge für jeden eigenen Beitrag zu überprüfen (Zählen Sie die eingereichten Beiträge und nicht die eigenen Beiträge, die abgelehnt und erneut eingereicht werden können.) Und natürlich variiert die Anzahl der Einsendungen sowie die Anzahl der Mitautoren stark mit der Disziplin.


Ich habe eine zusätzliche Frage hinzugefügt. Wenn es nicht zu viel Aufwand ist, würden Sie Ihre Antwort aktualisieren?
csgillespie

1
Interessanterweise sind die meisten Forscher in Genetikstudien ermutigt oder erfreut (dies hängt von der Überprüfung ab), Daten zur Verfügung zu stellen. Ich erinnere auch an @csgillepsie nette Antwort über reproduzierbare Forschung , stats.stackexchange.com/questions/1980/…
chl

@chl: Ja, die Bereitstellung von Daten hängt stark von der Disziplin ab, und ich würde gerne mehr davon in der "Mainstream" -Psychologie sehen - ich kann mich nur nicht erinnern, dass ich eine einzelne Instanz einer Psychopapier gesehen habe, die tatsächlich herausgegeben hat die Daten.
S. Kolassa - Setzen Sie Monica
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.