Gibt es ein Standardbewertungssystem für Veröffentlichungen in wissenschaftlichen Zeitschriften?

Ich habe gehört, dass einige Zeitschriften höher bewertet werden als andere. Ist das wahr? Und wenn ja, nach welchen Kriterien kann der Wert eines Peer-Review-Journals gegenüber einem anderen beurteilt werden? Wie finde ich die Bewertung heraus? Wird meine Veröffentlichung weniger "wert" sein, wenn sie in einer weniger seriösen Zeitschrift als beispielsweise der SIAM Review akzeptiert wird?

Welche Faktoren bestimmen, wo ich ein Papier veröffentlichen werde?

• Werden die Leute, die ich dieses Papier lesen möchte, es sehen? Wenn ich die Arbeit einer anderen Gruppe weiterverfolge (vielleicht um einen anderen Standpunkt zu zeigen, manchmal um algorithmische Verbesserungen aufzuzeigen oder um Probleme mit einem früheren Artikel zu beheben), möchte ich den Artikel an dasselbe Journal senden, auch wenn es einen gibt ein Einflussfaktor Problem.

Als junger Computerwissenschaftler, der sich noch in der Karriereentwicklungsphase meiner Karriere befindet, würde ich behaupten, dass diese Frage einen zusätzlichen und vielleicht sogar kritischeren Aspekt hat. . . .

• Werden Leute, die in der Lage sein könnten, mich zu bewerten, dieses Papier sehen?Ich habe oft mit Kollegen aus dem Bereich der Computerwissenschaften über die Notwendigkeit eines "Heimrasen" gesprochen: Computerwissenschaften sind ein sehr interdisziplinäres Feld. Leider können wir nicht wirklich als Computerwissenschaftler angesehen werden, wenn es darum geht, für eine feste Stelle in Betracht gezogen zu werden. Wenn wir nicht in einer Abteilung für Computerwissenschaften arbeiten, müssen wir uns für eine Amtszeit in einer bestehenden Abteilung bewerben, was normalerweise bedeutet, dass unsere "Kollegen" andere Ingenieure, Wissenschaftler und Mathematiker sind - von denen viele nicht wirklich stark sind Hintergrund in der Computerwissenschaft. Dies bedeutet, dass Sie auch dann, wenn Sie in die Richtung der gegenseitigen Befruchtung gehen möchten, einige Ihrer Veröffentlichungen in den Fachzeitschriften für Ihre Disziplin fokussieren müssen. Dies ist eine Herausforderung, der sich viele unserer Kollegen nicht unbedingt stellen müssen, und es ist eine zusätzliche Komplikation in unserem Leben. Aber das müssen wir uns bewusst machen, bevor wir anfangen zu arbeiten!

• Wie viel Konkurrenz habe ich gerade? Je überfüllter ein Feld ist, desto wichtiger ist es, die Ergebnisse frühzeitig zu erhalten. Während es großartig ist, zu versuchen, mit jedem Artikel aus Ihrer Gruppe zur Natur oder Wissenschaft zu gehen (vorausgesetzt, Sie sind nicht in reiner Mathematik oder ähnlichem), ist es viel wichtiger als in einem Verlag, in einem "heißen" Bereich der Erste zu sein in der "besten" Zeitschrift in einem Feld.

• Wie wichtig ist dieses Papier? Ein Artikel, der eine Reihe von Arbeiten darstellt, die viele neue Daten liefern, aber nicht wirklich bahnbrechende Erkenntnisse liefern, verdient es wahrscheinlich nicht, in ein Top-Level-Journal zu gehen. Es ist wahrscheinlich besser, nach einem seriösen Tagebuch zu suchen. Wenn Sie jedoch wirklich etwas Großes gefunden haben, schießen Sie hoch, solange Sie sich keine Sorgen über die Zeitkrise machen, die die großen Zeitschriften betrifft. (Die Veröffentlichung in physischen Überprüfungsbriefen kann beispielsweise länger dauern als in einer der anderen physischen Überprüfungsserien , die von vergleichbarer Menge sind.)

Nachdem all dies berücksichtigt wurde, werde ich mich um Themen wie den Einflussfaktor kümmern , aber nur als lose Qualitätskontrollmaßnahme. Unterschiede von 10 bis 20% sind im Wesentlichen bedeutungslos, aber 1,0 gegenüber 2,0 oder 2,0 gegenüber 3,0 stellen einen messbaren Unterschied zwischen Zeitschriften dar.

In einer idealen Welt würden Sie nur eines berücksichtigen, wenn Sie auswählen, wo ein Manuskript eingereicht werden soll:

Welche Leserschaft der Zeitschrift umfasst das breiteste Publikum, das an dieser Arbeit interessiert wäre?

In der Praxis berücksichtigen Sie auch andere Faktoren, möglicherweise am wichtigsten

Inwieweit hilft die Veröffentlichung in dieser Zeitschrift meiner Karriere?

Jeder, der Ihre Arbeit gut verstehen kann, wird sie anhand ihrer tatsächlichen Bedeutung beurteilen. Wer jedoch zu weit entfernt ist, kann die Qualität des Journals als Proxy für die Qualität Ihres Papiers verwenden.

Wie wird die Journalqualität bestimmt? Erfahrene Fachleute haben ihre eigene Meinung, basierend auf den Erfahrungen mit jeder Zeitschrift und den Artikeln, die sie lesen. In einigen Bereichen wie der Mathematik kann diese Expertenmeinung nur durch Gespräche mit vielen Experten zusammengefasst werden. In anderen Bereichen wie der Informatik wurde dies explizit in einem abgestuften Ranking-System kodifiziert .

Die am weitesten verbreitete Metrik für die Journalqualität ist der sogenannte Impact Factor . Die Gefahr, eine einzige, weit verbreitete Metrik für irgendetwas zu haben, besteht darin, dass sie manipuliert oder falsch angewendet wird oder für einige der Dinge, auf die sie angewendet wird , einfach nicht nützlich ist. Da es beispielsweise nur Zitate über zwei Jahre misst, ist es für Mathematikarbeiten, die die meisten Zitate normalerweise nach zwei Jahren erhalten - oft viel später - nicht sehr sinnvoll. Es scheint auch schlecht mit der Expertenmeinung zu korrelieren. Es gibt Alternativen, zum Beispiel Eigenfaktor . Und viele Leute schlagen jetzt die Verwendung von Social-Web-Metriken vor, um Zeitschriften zu bewerten .

Ich verwende den Impact Factor oder andere solche Metriken nicht für meine eigenen Entscheidungen, da ich der Meinung bin, dass meine direkte Erfahrung mir ein genaueres Maß für die Bedeutung eines Journals gibt. Eine interessante Übung besteht darin, Ihre persönliche Referenzbibliothek (z. B. in einer Bibtex-Datei) zu durchsuchen und die Anzahl der darin enthaltenen Artikel aus verschiedenen Zeitschriften anzuzeigen. Das gibt Ihnen wahrscheinlich den besten Hinweis darauf, wo Sie veröffentlichen sollten.

Übrigens gibt es einen Vorschlag, ein Expertenranking für mathematische Zeitschriften zu erstellen. Siehe diesen Bericht und diesen offiziellen IMU-Blog .

Sie sollten sich auch darüber im Klaren sein, dass es in letzter Zeit eine Explosion neuer Zeitschriften von geringer Qualität gegeben hat, die auf einem Autorenlohnmodell basieren. Ihre Verleger spammen häufig große Gemeinschaften von Wissenschaftlern (oft auch viele, die nicht qualifiziert sind), um zu versuchen, in ihren Redaktionen einigermaßen respektable Namen zu finden und Beiträge einzureichen. Soweit ich das beurteilen kann, handelt es sich um eine gewinnorientierte Eitelkeitspresse .

Es hängt wirklich davon ab, wie sehr Sie an Journalbewertungen glauben. Die beliebteste mir bekannte Metrik ist der Impact Factor. Dieser Wikipedia-Artikel beschreibt den Einflussfaktor, wie er berechnet wird und wie er manipulationsanfällig ist, sowie alternative Bewertungsmetriken für Zeitschriften. Das Wichtigste ist, dass die Einflussfaktoren für Zeitschriften in verschiedenen Bereichen nicht unbedingt vergleichbar sind, obwohl das Bewertungssystem für Einflussfaktoren versucht, die "Qualität" jeder Zeitschrift auf eine einzige Metrik zu reduzieren. (Eine interessante Diskussion darüber, warum eine solche Idee zu irreführenden oder leicht manipulierbaren Ergebnissen führen kann, finden Sie in Malcolm Gladwells New Yorker Aufsatz The Order of Things , in dem es um College-Rankings und Auto-Rankings geht.)

Der Einflussfaktor ist die durchschnittliche Anzahl der Zitate, die pro in dieser Zeitschrift veröffentlichtem Artikel in den beiden vorangegangenen Jahren eingegangen sind. Das Kriterium für die Beurteilung des Werts einer von Experten begutachteten Zeitschrift gegenüber einer anderen ist also, wie oft die jüngsten Artikel durchschnittlich zitiert werden Artikelbasis. Diese Metrik bedeutet, dass Zeitschriften wie Science and Nature erwartungsgemäß einen hohen Stellenwert haben , aber auch, dass das International Journal of Nonlinear Sciences and Simulation (3.100) einen höheren Rang als das SIAM Journal of Scientific Computing (3.016) einnimmt, obwohl das letztere Zeitschrift ist viel erkennbarer.

Da Ihre Publikation weniger "wert" ist, hängt sie von der Person ab. Meine älteren Kollegen haben mir gesagt, dass Artikel in renommierteren Fachzeitschriften hilfreich sind, wenn es um Amtszeiten oder Einstellungsentscheidungen geht. Da ich keine Erfahrung mit solchen Angelegenheiten aus erster Hand habe, verweise ich auf die Kommentare von Menschen, die mehr Hintergrundwissen in solchen Situationen haben. Es hängt von der Gemeinschaft der Menschen ab, die Sie erreichen oder beeindrucken möchten. Wenn Sie etwas in einem Mathematikjournal veröffentlichen, sollten Sie nicht erwarten, dass Personen außerhalb der Mathematik es unbedingt lesen. (Der gleiche Rat gilt auch für andere Themen.) Sie können sich auch für die Veröffentlichung in einer weniger angesehenen Zeitschrift entscheiden, da Sie ein Ergebnis schnell veröffentlichen möchten, anstatt lange darauf zu warten, dass es von einer renommierteren Zeitschrift überprüft wird. ICH' Es wurde uns mitgeteilt, dass es ein Jahr oder länger dauern kann, bis die SIAM-Zeitschriften ein Papier überprüft und veröffentlicht haben. Dies wird durch einen Blick auf die Zeit zwischen dem eingereichten Datum und dem auf dem Papier veröffentlichten Datum belegt. Die Einreichung bei einer bestimmten Zeitschrift hängt auch von den Zielen und dem Umfang, der Politik (wer ist in der Redaktion, wer wird wahrscheinlich Ihre Arbeit überprüfen) und der Community ab, die Sie erreichen möchten (dies hängt mit den oben genannten Ratschlägen zum Themenbereich zusammen ). Ich konsultiere immer noch andere Leute in diesen Angelegenheiten. Welche Community Sie erreichen möchten (entspricht in etwa den oben genannten Ratschlägen zum Themenbereich). Ich konsultiere immer noch andere Leute in diesen Angelegenheiten. Welche Community Sie erreichen möchten (entspricht in etwa den oben genannten Ratschlägen zum Themenbereich). Ich konsultiere immer noch andere Leute in diesen Angelegenheiten.

Wenn ich mir Artikel anschaue, ist das "Prestige" einer Zeitschrift für mich wirklich mein inneres Gefühl, das die geschätzten Meinungen anderer Menschen widerspiegelt, die ich in der Wissenschaft kenne (meine Berater, Kollegen usw.). Ich bin eher geneigt, einem Artikel in einer Zeitschrift zu vertrauen, die prestigeträchtiger ist, weil ich der Meinung bin, dass er zuverlässiger ist, aber es gibt sicherlich schlechte Artikel in renommierten Zeitschriften, sodass Prestige kein Ersatz für Ihre eigene Due Diligence ist. Zum Beispiel gibt es einige ziemlich schwerwiegende Tippfehler in einem ansonsten guten Zeitschriftenartikel, den ich aus SIAM Review zitiert habe .

Wie auch immer, das ist meine weitläufige Meinung, und als (fast) frisch geprägter Doktor bin ich mir sicher, dass andere mit mehr Erfahrung viel mehr Perspektive und Einsichten hinzufügen können.

Bewertung ist notwendigerweise eine subjektive Aktivität. Wenn Sie sich interessieren , wie andere Ihr Papier bewerten wird, dann müssen Sie herausfinden , was ihre Kriterien sind. Als Faustregel gilt: Je weniger Kompetenz sie in Ihrem Arbeitsbereich haben, desto mehr verlassen sie sich eher auf die Bewertung von Zeitschriften als auf die Bewertung Ihrer Arbeit und desto mehr verlassen sie sich auf die Bibliometrie (Einflussfaktoren, h-Faktoren, ...). eher als persönliche Erfahrung.

Dies ist ein Gespräch, das Sie mit den Personen über Ihnen führen sollten, die Sie bewerten werden. Wenn Sie ein Doktorand sind, sollten Sie mit Ihrem Berater und anderen Professoren darüber sprechen, wie ihre Abteilung und andere Abteilungen an anderen Institutionen die Arbeit der Tenure-Track-Fakultät bewerten, wenn sie ihre Tenure-Entscheidungen treffen. Wenn Sie jetzt eine Tenure-Track-Fakultät sind, sollten Sie dieses Gespräch bereits mit Ihrem Abteilungsleiter und anderen Mitgliedern des Haushaltsrates der Abteilung oder ähnlichen Gremien darüber geführt haben, wie sie die Arbeit von Tenure-Kandidaten bewerten. Wenn Sie kein Professor für Mode sind oder wenn Sie ein Akademiker an einem Ort ohne Amtszeit sind, sollten Sie Ihrem Vorgesetzten dieselben Fragen zur Beförderung und Bindung an Ihrer Institution stellen.

Ich habe die Erfahrung gemacht, dass die meisten Forscher nicht wirklich lesen oder versuchen, mit Veröffentlichungen in Fachzeitschriften Schritt zu halten, die für ihre Bereiche relevant sind, sobald sie herauskommen. Nicht viele Menschen haben beispielsweise persönliche Abonnements für IJNMF und lesen die Ausgabe jedes Monats von Anfang bis Ende. Es gibt einfach zu viele Veranstaltungsorte, um mithalten zu können. Ich finde, dass Menschen häufiger nach verwandten Arbeiten suchen, E-Mail- oder Google-Benachrichtigungen verwenden, um verwandte Elemente zu suchen, und die Arbeit von Kollegen und Wettbewerbern direkt verfolgen. Das Wichtigste ist also nicht, Ihre Arbeit über Zeitschriften zu sehen, sondern am bestmöglichen Ort zu veröffentlichen, wie es von denjenigen bestimmt wird, die Ihre Karriere beurteilen.

Der Weg, um Ihre Arbeit zu sehen, besteht darin, sie aggressiv durch Konferenzen, Seminare, freie Software, Ihre Website usw. zu vermarkten. Dies hat wahrscheinlich keinen Einfluss auf die Entscheidung Ihres Werbekomitees (oder dergleichen), aber wenn die Leute Ihre Arbeit sehen und nutzen Durch andere Veranstaltungsorte, und Sie geben ihnen Vorabdrucke und Links zu den Stellen, an denen sie in den Zeitschriften veröffentlicht werden, erhöht dies Ihre Anzahl an Zitaten, was für diejenigen über Ihnen wichtig ist.

Meine kurze Antwort lautet: Leider gibt es (fast).

Es gibt die Bewertung der Aust MS für mathematische Zeitschriften, und ich denke, es gibt auch andere Bewertungen. Meiner Meinung nach ist dies jedoch nicht hilfreich. Ich zitiere aus meinem eigenen Blog: "Meine Meinung ist, dass eine Bewertung möglich, aber sowohl nutzlos als auch gefährlich ist. Es ist möglich, da Sie erfahrene Mathematiker fragen können und eine zuverlässige Antwort erhalten. Es ist nutzlos, da Sie entweder wissen, welche Zeitschriften es sind gut , oder Sie können einen Kollegen fragen (die im Grunde aus dem gleichen Grund wie der vorherige ist). es ist gefährlich, da es die Möglichkeit, Form Entscheidungen über die Amtszeit oder gewährt auf diese Zahlen und verschiebt den Fokus von bietet , was Sie veröffentlichen , wo Sie veröffentlichen."

Es gibt einige Ranking-Systeme für Zitate, von denen man behaupten könnte, dass sie anständige Prestigemaßnahmen sind - wichtige Artikel werden häufiger zitiert und dergleichen - das häufigste davon ist der "Impact Factor". Aber diese haben alle ihre eigenen Probleme - sie sind nicht feldkonstant, sie können von klugen Forschern manipuliert werden usw. Andere, die etwas besser sind, sind der h-Index und der g-Index, aber ... meh.

Im Allgemeinen habe ich festgestellt, dass es auf dem Gebiet ein "Gefühl" dafür gibt, was gut ist und was nicht - und was noch wichtiger ist, was angemessen ist und was nicht für Ihr Papier. Zum Beispiel habe ich ein Papier, das es geschafft hat, in ein sehr gutes Tagebuch zu gelangen, aber es ist absolut unangemessen, so dass es ein bisschen schmachtet.

Ihre Bewerter oder Kollegen sind wahrscheinlich die besten Quellen, mit denen Sie sprechen können. Erfahrung ist oft die beste Beurteilung dessen, was für eine bestimmte Zeitung als "gut" gilt, die sich gut für eine bestimmte Zeitschrift eignet. Allgemeine Ranglisten (Biologie, Medizin usw.) oder, noch schlimmer, akademische Ranglisten sind möglicherweise nicht von Nutzen.