Unten aktualisiert
Wir alle kennen die entscheidende Bedeutung von Peer-Review. Es ist die Hauptform der Qualitätskontrolle und des Feedbacks zur Forschung. Für einen Nachwuchsforscher (wie mich) kann dies jedoch manchmal ein verwirrendes System / Prozess sein.
Dementsprechend gibt es mehrere Abhandlungen zum wissenschaftlichen Schiedsgerichtsverfahren, die als Orientierungshilfe dienen. Zwei (sehr unterschiedliche) Beispiele aus der Informatik - dieser Artikel von Parberry aus dem Jahr 1994 und ein neuerer von Cormode - bieten gute Ratschläge (auch wenn letzterer ein bisschen schelmisch sein könnte).
An dieser Stelle möchte ich die erfahreneren Mitglieder dieser Community um umfassendere Ratschläge zum Überprüfungsprozess bitten, insbesondere im Hinblick auf die Besonderheiten der theoretischen Informatik.
- Was sind die Hauptkriterien für die Bestimmung der Signifikanz der Ergebnisse eines Papiers? Wie kann ich beurteilen, ob ein Beitrag zur Konferenz / Zeitschrift angenommen werden soll? Ist es wichtig, die Richtigkeit zu überprüfen?
- Was sind die Hauptelemente eines Schiedsrichterberichts und welche Teile sind am wichtigsten? Ist es immer notwendig, eine Empfehlung zur (Nicht-) Annahme abzugeben? Was steht im Bericht und was geht ausschließlich an den Herausgeber?
- Inwiefern unterscheidet sich die Bewertung von Konferenzen von der in Fachzeitschriften? Wie unterscheiden sich Berichte für Konferenzen von denen in Zeitschriften? (Wie um alles in der Welt bewerte ich mein "Vertrauen" in meine Empfehlung?) Sollte sich die Journalversion erheblich von der Konferenzzeitung unterscheiden?
- Was ist, wenn ich das Papier nicht verstehe? ...der Beweis? (Ist es meine Schuld oder ihre?)
- Was ist mit Tipp- / Grammatikfehlern? Was ist, wenn es viele davon gibt?
- Wie viel Zeit sollte ich für einen Bericht aufwenden?
- Wie viele Berichte pro Jahr soll ich schreiben? Wann kann eine Schiedsrichteranfrage abgelehnt werden?
Natürlich sind alle anderen relevanten Fragen und Antworten zu diesem Thema erwünscht, da dies CW ist.
Diese Frage wurde von einem ähnlichen Beitrag bei MathOverflow inspiriert (gestohlen) .
Update 15/02/2011:
Ich bin immer noch sehr daran interessiert, mehr Beiträge zu dieser Frage zu erhalten, insbesondere im Hinblick auf die Überprüfung von Konferenzpapieren und die Mitgliedschaft im Programmausschuss. (Diese beiden Rollen sind unterschiedliche Biester, und beide sind keine Schiedsrichter für einen Zeitschriftenartikel (IMO).) Zugegeben, die Mitgliedschaft im Programmkomitee ist seltener als die von Schiedsrichtern oder Gutachtern (und es war noch nicht mein Privileg), aber es ist eine Verantwortung, die jeder Forscher in der theoretischen Informatik irgendwann übernehmen muss.
Zeit. Wie viel Zeit muss ich als Ausschussmitglied oder Konferenzgutachter verbringen? Wie kann ich angesichts der Wahrscheinlichkeit, dass ich in ein paar Wochen zehn oder vielleicht sogar noch viele mehr schaffen kann, vermeiden, dass mir die Zeit ausgeht? Was sind die wichtigsten Dinge, mit denen Sie sich beschäftigen müssen?
Vertrauen. Was ist, wenn das Papier zu weit von meinem Fachgebiet entfernt ist? Welche Faktoren sollten für die Nominierung / Aufforderung einer anderen Person zur Überprüfung eines Beitrags maßgeblich sein? Wenn es nicht zu weit von meinem Fachgebiet entfernt ist und ich mich dafür entscheide, es zu überprüfen, wann ist es zulässig, eine Vertrauensbewertung von 1 zu vergeben?
Kriterien. Es gibt kritische Unterschiede zwischen Zeitschriften und Konferenzen. Einige sehr wichtige Artikel werden nicht in Fachzeitschriften veröffentlicht. Einige sehr wichtige Veröffentlichungen wurden bisher nicht in Konferenzen veröffentlicht. Was sind die wichtigsten Unterschiede bei den Kriterien für die Bewertung von Arbeiten in diesen Umgebungen?
Empfehlungen. Inhärent gibt es weniger Empfehlungen, die den Autoren eines Konferenzbeitrags vor allem aus räumlichen und zeitlichen Gründen angeboten werden können. Außerdem gibt es normalerweise nur eine Überprüfungsrunde. Eine weitere Überlegung ist, dass mein Bericht dem gesamten starken Ausschuss veröffentlicht wird. Welchen Umfang an Vorschlägen / Richtlinien kann ich anbieten?
Wenn Sie der Meinung sind, dass ich keine bestimmten Fragen gestellt habe, lassen Sie es mich wie zuvor wissen oder bearbeiten Sie sie direkt. Das ist schließlich CW.
Diese neuen Gedanken werden teilweise durch das Lesen eines Papiers motiviert, das Suresh in seinem Blog erwähnt hat .
Antworten:
Trägt das Papier nach bestem Wissen und Gewissen maßgeblich zum Stand der Technik bei? Wenn das Papier eines der drei Kriterien nicht erfüllt, kann es ungeachtet der beiden anderen Kriterien allein aus diesem Grund abgelehnt werden.
Folgendes sollte meiner Meinung nach ein Bericht enthalten. Alles sollte für den Autor sichtbar sein, außer möglicherweise schwerwiegende Vorwürfe wegen Fehlverhaltens.
ein. Eine kurze Zusammenfassung des Beitrags, damit der Herausgeber die Qualität der Ergebnisse beurteilen und sowohl den Autor als auch den Herausgeber davon überzeugen kann, dass Sie den Beitrag tatsächlich gelesen und verstanden haben. Platzieren Sie das Ergebnis in seinem größeren Kontext. Fügen Sie einen Verlauf früherer Versionen hinzu, auch wenn die Autoren ihn in die Übermittlung einbeziehen. Sei respektvoll, aber brutal ehrlich.
b. Eine Diskussion der Stärken und Schwächen des Papiers in Bezug auf Korrektheit, Neuheit, Klarheit, Wichtigkeit, Allgemeingültigkeit, potenzielle Auswirkung, Eleganz, technische Tiefe, Robustheit usw. , beschreiben Sie Ihren Verdacht. Sei respektvoll, aber brutal ehrlich.
c. Empfehlung an den Herausgeber für weitere Maßnahmen: Akzeptieren, mit geringfügiger Überarbeitung akzeptieren, eine zweite Überprüfungsrunde anfordern oder sofort ablehnen. Denken Sie daran, dass Sie eine Empfehlung aussprechen, keine Entscheidung. Wenn Sie sich nicht entscheiden können, sagen Sie es einfach. Sei respektvoll, aber brutal ehrlich.
d. Detailliertere Rückmeldung an den Autor - detailliertere Begründung für Ihre Empfehlung, Aufforderung zur Klarstellung in der endgültigen Fassung, fehlende Verweise, Fehler in den Nachweisen, Vereinfachungen, Verallgemeinerungen, Tippfehler usw. Seien Sie respektvoll, aber brutal ehrlich.
Konferenzberichte sollten kürzer sein; Programmkomitees haben Hunderte von Papieren auf einmal zu prüfen. Ob es einen Unterschied zwischen Konferenz- und Zeitschriftenartikeln geben sollte, hängt von der Zeitschrift (und indirekt von der Community) ab. Die meisten theoretischen Fachzeitschriften für Informatik bestehen nicht auf einem signifikanten Unterschied. Es ist durchaus üblich, dass die Konferenz- und Journalversionen eines Theoriepapiers im Wesentlichen identisch sind. Fragen Sie im Zweifelsfall den Herausgeber!
Wenn Sie das Papier nach gutem Glauben immer noch nicht verstehen, ist es die Schuld des Autors oder möglicherweise der Redaktion, aber sicherlich nicht Ihre. Die Hauptverantwortung des Autors besteht darin, sein Ergebnis dem Publikum effektiv mitzuteilen. Ein guter Redakteur sendet Ihnen einen Artikel nur dann zum Schiedsrichter, wenn er der Meinung ist, dass Sie ein guter Vertreter des beabsichtigten Publikums des Artikels sind. Aber Sie müssen sich nach Treu und Glauben anstrengen. Erwarten Sie nicht, bei Ihrer ersten Lesung sofort alles (irgendetwas?) sofort zu verstehen.
Wenn es viele Fehler gibt, lesen Sie nicht einmal die Zeitung. empfehlen nur die Ablehnung mit der Begründung, dass das Papier nicht professionell geschrieben ist. Andernfalls sollten Sie, wenn Sie wirklich gründlich sein möchten, eine repräsentative Liste mit Grammatik-, Rechtschreib- und Interpunktionsfehlern beifügen, aber versuchen Sie nicht, jeden letzten Fehler zu finden. Sei respektvoll, aber brutal ehrlich.
Erwarten Sie ungefähr eine Stunde pro Seite, hauptsächlich für die Internalisierung der Ergebnisse und Techniken des Papiers. Seien Sie angenehm überrascht, wenn es nicht so lange dauert. (Wenn es deutlich kürzer ist, ist das Papier entweder überaus elegant und gut geschrieben, Sie kennen den Bereich sehr gut, oder das Papier ist technisch flach. Verwechseln Sie diese drei Möglichkeiten nicht.)
Sie sollten mindestens so viele Schiedsrichterberichte schreiben, wie andere für Sie schreiben. Wenn dies mehr Zeit in Anspruch nimmt als das Schreiben Ihrer eigenen Papiere, verbringen Sie nicht genug Zeit mit Ihren eigenen Papieren.
quelle
Viel hängt von der Konferenz / dem Journal ab, da jede Community ihren eigenen Stil entwickelt hat. Daher hilft es sicherlich ein wenig, zu wissen, was von der Konferenz / dem Journal erwartet wird.
Kriterien: Neuheit / Originalität, erwartete Wirkung, Korrektheit / Gültigkeit, Umfang (wie viel des Problems wird untersucht? + Theoreme? + Implementierung? + Experimentelle Ergebnisse?), Qualität der Präsentation. Die Kriterien für die Akzeptanz von Zeitschriften sind viel höher als für Konferenzen. Für eine Konferenz geben Sie eine Punktzahl an, die auf den vorherigen Kriterien basiert. Insbesondere bei Zeitschriftenartikeln ist es sehr wichtig, die Richtigkeit so weit wie möglich zu überprüfen.
Der Bericht der Schiedsrichter enthält mindestens 4 Hauptelemente: Eine Zusammenfassung der Arbeit und ihrer Beiträge; spricht sich für die Annahme des Papiers aus; zeigt gegen das Papier; Hauptkommentare, einschließlich der zu behandelnden Punkte; kleinere Kommentare (Tippfehler etc.). Sie sollten immer einen Hinweis auf Akzeptanz oder Ablehnung oder den Grad der erforderlichen Überarbeitung geben. Zu den Kommentaren an den Herausgeber könnten gehören: eine kurze, vielleicht unverblümte Bewertung des Beitrags; jede Äußerung von Zweifeln; Einzelheiten eines möglichen Plagiats oder einer parallelen Einreichung der Arbeit; ...
Zeitschriftenrezensionen sind in der Regel umfangreicher und können eine Menge Dinge beinhalten, die die Autoren tun müssen, um ihre Arbeit in einen akzeptablen Zustand zu versetzen, z. B. "Umsetzung und Bewertung dieser Ideen". Ihr Vertrauen sollte darauf beruhen, wie sicher Sie sich fühlen. Im Allgemeinen wird dies mit Erfahrung einhergehen, seien Sie also zunächst konservativ. Es liegt außerhalb Ihres Fachgebiets, auch wenn Sie das Papier verstehen, es ist auch eine gute Idee, konservativ zu sein - es ist schwierig, die Originalität eines Papiers außerhalb Ihres Fachgebiets zu beurteilen. Einige Zeitschriften sagen, dass die Einreichung von Zeitschriften im Vergleich zur Konferenzversion eine erhebliche Menge an neuem Material enthalten muss. 30% ist eine Zahl, die ich gehört habe.
Dies kann variieren. Manchmal ist es deine Schuld, manchmal ist es ihre. Nutzen Sie Ihr Urteilsvermögen. Bitten Sie vielleicht einen Kollegen, sich die Zeitung anzusehen. Wenn Sie es überhaupt nicht verstehen können und es nicht an einer schlechten Formatierung liegt, wenden Sie sich möglicherweise an den PC-Lehrstuhl und erklären Sie ihm, dass dies der Fall ist. In jedem Fall sollte sich dies in Ihrem Konfidenzergebnis widerspiegeln. Wenn das Papier aufgrund einer schlechten Schrift oder Sprache nicht verstanden werden kann oder vorzeitig eingereicht wurde, sollte dies in Ihrem Bericht vermerkt werden.
Als ich jünger war, habe ich jeden einzelnen Tipp- und Grammatikfehler gemeldet. Jetzt habe ich einfach keine Zeit mehr. Einige zu melden ist immer hilfreich: Wählen Sie die schwerwiegendsten aus. Empfehlen Sie auch, dass das Papier Korrektur gelesen wird (von einem Muttersprachler). Für Zeitschriftenartikel sei gründlicher. Wenn es viel zu viele Fehler gibt, sollte es nicht an ein Journal weitergeleitet werden, was allein Grund zur Ablehnung ist (IMHO).
Maximal ein Tag für eine Konferenzarbeit, einschließlich Lesezeit. Bei Zeitschriftenartikeln, insbesondere bei langen, kann das sorgfältige Lesen der Zeitung eine ganze Woche dauern.
Die zu erwartende Menge kann zwischen 5 und 30 liegen. Als Nachwuchsforscher erhalten Sie ein paar Punkte zum Üben. Wenn Sie die Noten durcharbeiten, werden Sie mit zunehmender Mitgliedschaft bei PCs immer mehr Überprüfungen vornehmen. Wenn Sie dann noch weiter vorankommen, werden Sie eine Armee von Doktoranden haben, die Ihre Prüfung für Sie durchführen. Mehr als 30 in einem Jahr sind ziemlich lästig.
Wie oben erwähnt, ist es angebracht, eine Schiedsrichteranfrage abzulehnen, wenn Sie entweder (1) nicht das Gefühl haben, über ausreichende Fachkenntnisse zu verfügen, um eine gute Überprüfung durchzuführen, oder (2) zu viele Überprüfungen (oder andere) vorliegen. Verpflichtungen im Moment. Es wird auch als gute Form angesehen, eine Reihe möglicher alternativer Prüfer vorzuschlagen, falls Sie dies ablehnen.
quelle
Ich gebe hier meine 2 Cent und ich füge einen siebten Punkt hinzu:
Meine Antworten
Natürlich sind die Kriterien für Konferenzen und Zeitschriften nicht dieselben. Für beide ist die Richtigkeit wohl das wichtigste Kriterium. Dann ist mein zweites Kriterium die Neuheit der Ergebnisse für Konferenzen, während es sich auf die Ergebnisse für Zeitschriften auswirkt. Für eine Konferenz ist es auch wichtig zu beurteilen, ob das Papier für das Publikum von Interesse ist. Dies ist jedoch eine Beurteilung, die von PC-Lehrstühlen und nicht von Rezensenten vorgenommen werden kann.
Zuallererst, außer wenn Sie einen Betrug oder eine schlechte Praxis vermuten und sich nicht sicher sind (dann sollten Sie nur mit dem Herausgeber sprechen), sollten Sie meiner Meinung nach den Autoren alles erzählen. Ich halte es für wichtig, ehrlich mit den Autoren umzugehen und daher immer eine Empfehlung abzugeben. In einem Bericht sollten Sie das Thema und die Ergebnisse beschreiben (damit die Autoren sehen können, dass Sie das Papier verstehen). Anschließend sollten Sie die Vorzüge der Ergebnisse bewerten (Neuheit in Bezug auf den Stand der Technik, technische Tiefe, Korrektheit, Klarheit). und auf jedes Problem hinweisen. Abschließend sollten Sie Ihre Empfehlung aussprechen, möglicherweise mit Ratschlägen an die Autoren (z. B. "Ich denke, dieses Ergebnis ist schön, aber eher für die Konferenz A geeignet als für diese"). In wenigen Fällen erhalten Sie Papiere, die es nicht einmal verdienen, eingereicht zu werden.
Ich denke, dass es, außer im Fall einer Journaleinladung für eine spezielle Ausgabe in Bezug auf ein Konferenzpapier, einen signifikanten Unterschied geben sollte.
Zwei Fälle: Es ist nicht verständlich (deren Fehler), sodass Sie das Papier aus diesem Grund ablehnen können, oder Sie sind nicht der gute Prüfer für dieses Papier. Wenn es passiert, wissen Sie, um welchen Fall es sich handelt, wenn nicht, sind Sie im zweiten Fall!
Ich bin kein englischer Muttersprachler, daher ist meine Antwort voreingenommen. Aber ich denke, es ist kein Grund, ein Papier abzulehnen (außer in einigen extremen Fällen).
Die benötigte Zeit. Es kann von 1 Stunde (eine schlechte Arbeit in einem Workshop) bis zu mehreren Tagen (eine sehr komplizierte Arbeit in einem Top-Journal) reichen.
Persönlich erwarte ich, dass ich 3 Berichte pro eingereichter Arbeit verfasse (und ja, es ist eine Menge, tatsächlich eine meiner zeitaufwändigsten Aufgaben zu überprüfen - bevor ich unterrichte, vielleicht).
quelle