Unten aktualisiert
Wir alle kennen die entscheidende Bedeutung von Peer-Review. Es ist die Hauptform der Qualitätskontrolle und des Feedbacks zur Forschung. Für einen Nachwuchsforscher (wie mich) kann dies jedoch manchmal ein verwirrendes System / Prozess sein.
Dementsprechend gibt es mehrere Abhandlungen zum wissenschaftlichen Schiedsgerichtsverfahren, die als Orientierungshilfe dienen. Zwei (sehr unterschiedliche) Beispiele aus der Informatik - dieser Artikel von Parberry aus dem Jahr 1994 und ein neuerer von Cormode - bieten gute Ratschläge (auch wenn letzterer ein bisschen schelmisch sein könnte).
An dieser Stelle möchte ich die erfahreneren Mitglieder dieser Community um umfassendere Ratschläge zum Überprüfungsprozess bitten, insbesondere im Hinblick auf die Besonderheiten der theoretischen Informatik.
- Was sind die Hauptkriterien für die Bestimmung der Signifikanz der Ergebnisse eines Papiers? Wie kann ich beurteilen, ob ein Beitrag zur Konferenz / Zeitschrift angenommen werden soll? Ist es wichtig, die Richtigkeit zu überprüfen?
- Was sind die Hauptelemente eines Schiedsrichterberichts und welche Teile sind am wichtigsten? Ist es immer notwendig, eine Empfehlung zur (Nicht-) Annahme abzugeben? Was steht im Bericht und was geht ausschließlich an den Herausgeber?
- Inwiefern unterscheidet sich die Bewertung von Konferenzen von der in Fachzeitschriften? Wie unterscheiden sich Berichte für Konferenzen von denen in Zeitschriften? (Wie um alles in der Welt bewerte ich mein "Vertrauen" in meine Empfehlung?) Sollte sich die Journalversion erheblich von der Konferenzzeitung unterscheiden?
- Was ist, wenn ich das Papier nicht verstehe? ...der Beweis? (Ist es meine Schuld oder ihre?)
- Was ist mit Tipp- / Grammatikfehlern? Was ist, wenn es viele davon gibt?
- Wie viel Zeit sollte ich für einen Bericht aufwenden?
- Wie viele Berichte pro Jahr soll ich schreiben? Wann kann eine Schiedsrichteranfrage abgelehnt werden?
Natürlich sind alle anderen relevanten Fragen und Antworten zu diesem Thema erwünscht, da dies CW ist.
Diese Frage wurde von einem ähnlichen Beitrag bei MathOverflow inspiriert (gestohlen) .
Update 15/02/2011:
Ich bin immer noch sehr daran interessiert, mehr Beiträge zu dieser Frage zu erhalten, insbesondere im Hinblick auf die Überprüfung von Konferenzpapieren und die Mitgliedschaft im Programmausschuss. (Diese beiden Rollen sind unterschiedliche Biester, und beide sind keine Schiedsrichter für einen Zeitschriftenartikel (IMO).) Zugegeben, die Mitgliedschaft im Programmkomitee ist seltener als die von Schiedsrichtern oder Gutachtern (und es war noch nicht mein Privileg), aber es ist eine Verantwortung, die jeder Forscher in der theoretischen Informatik irgendwann übernehmen muss.
Zeit. Wie viel Zeit muss ich als Ausschussmitglied oder Konferenzgutachter verbringen? Wie kann ich angesichts der Wahrscheinlichkeit, dass ich in ein paar Wochen zehn oder vielleicht sogar noch viele mehr schaffen kann, vermeiden, dass mir die Zeit ausgeht? Was sind die wichtigsten Dinge, mit denen Sie sich beschäftigen müssen?
Vertrauen. Was ist, wenn das Papier zu weit von meinem Fachgebiet entfernt ist? Welche Faktoren sollten für die Nominierung / Aufforderung einer anderen Person zur Überprüfung eines Beitrags maßgeblich sein? Wenn es nicht zu weit von meinem Fachgebiet entfernt ist und ich mich dafür entscheide, es zu überprüfen, wann ist es zulässig, eine Vertrauensbewertung von 1 zu vergeben?
Kriterien. Es gibt kritische Unterschiede zwischen Zeitschriften und Konferenzen. Einige sehr wichtige Artikel werden nicht in Fachzeitschriften veröffentlicht. Einige sehr wichtige Veröffentlichungen wurden bisher nicht in Konferenzen veröffentlicht. Was sind die wichtigsten Unterschiede bei den Kriterien für die Bewertung von Arbeiten in diesen Umgebungen?
Empfehlungen. Inhärent gibt es weniger Empfehlungen, die den Autoren eines Konferenzbeitrags vor allem aus räumlichen und zeitlichen Gründen angeboten werden können. Außerdem gibt es normalerweise nur eine Überprüfungsrunde. Eine weitere Überlegung ist, dass mein Bericht dem gesamten starken Ausschuss veröffentlicht wird. Welchen Umfang an Vorschlägen / Richtlinien kann ich anbieten?
Wenn Sie der Meinung sind, dass ich keine bestimmten Fragen gestellt habe, lassen Sie es mich wie zuvor wissen oder bearbeiten Sie sie direkt. Das ist schließlich CW.
Diese neuen Gedanken werden teilweise durch das Lesen eines Papiers motiviert, das Suresh in seinem Blog erwähnt hat .