Reise nach Themen:  Astronomie & Raumfahrt |  Biologie |  Chemie |  Mathematik |  Medizin |  Physik |
 Psychologie |  Raumfahrt |  Technik |  Umwelt

03/11/11

Peer Review | Qualitäts-Check für Fachartikel

Peer Review bei "Nature" © Heike Becker / Lehrstuhl Wissenschaftsjournalismus, Dortmund

Von Thomas Dittko

In der Welt der Wissenschaft gehört es dazu wie das Salz in die Suppe: Peer Review, zu Deutsch Experten-Gutachten. Dieses Verfahren ist eine Qualitätskontrolle, bei der wissenschaftliche Fachartikel vor ihrer Veröffentlichung von anderen Wissenschaftlern des jeweiligen Fachgebietes bewertet werden. Ist ein Artikel nicht "peer reviewed", genießt er weniger Ansehen. Laut der britischen Stiftung  "Sense about Science" führen weltweit etwa 21.000 Wissenschaftsmagazine diese Kontrolle durch, darunter auch die Bestseller-Journals  "Science" und  "Nature". Somit werden jedes Jahr mehr als eine Million wissenschaftliche Artikel veröffentlicht, die zuvor von Fachkollegen begutachtet worden sind.

Der Weg dorthin ist lang: Ein Forscher fasst seine Methoden, Ergebnisse und die daraus resultierenden Schlüsse in einem Fachartikel, dem so genannten Paper, zusammen. Dieses möchte er gerne veröffentlichen und reicht ihn beispielsweise bei "Nature" ein. Dort schauen die Redakteure, auch Editors genannt, ob sie das Paper generell veröffentlichen würden. Etwa 70 Prozent der bei "eingereichten Paper würden von den Editors direkt abgelehnt, berichtet "Nature"-Redakteurin Alison Abbott in dem  Buch "Die Wissensmacher". Grund für die Zurückweisung sei aber nicht immer, dass die wissenschaftliche Arbeit schlecht ist. Mitunter wurde etwas Ähnliches gerade erst im letzten Monat veröffentlicht oder die Ergebnisse nutzen nur einer Disziplin statt der Wissenschaft im Allgemeinen. Der zuletzt genannte Grund sorgt aber nur bei disziplinübergreifenden Magazinen wie "Nature" und "Science" für eine Ablehnung – für speziellere Zeitschriften wie  das "British Medical Journal" (BMJ) sind gerade Erkenntnisse aus Teilbereichen von Bedeutung.

Die verbleibenden 30 Prozent der bei "Nature" eingereichten Paper durchlaufen dann das Peer Review. Dabei überprüfen qualifizierte wissenschaftliche Experten, die so genannten Peers oder Referees, unter anderem, ob das eingereichte Paper eine wichtige Untersuchung vorstellt oder eine bedeutende Entdeckung präsentiert, kurzum: etwas Neues zum wissenschaftlichen Wissen auf der Welt beisteuert. Darüber hinaus beurteilen die Gutachter, ob die richtigen Methoden eingesetzt wurden, ob die Ergebnisse glaubhaft sind und nicht aus anderen, vorhergehenden Arbeiten kopiert wurden. Abschließend geben die Gutachter eine Empfehlung: Sollte das das Paper veröffentlicht, verbessert oder abgelehnt werden? Letztlich entscheidet der Editor. Somit werden weniger als zehn Prozent der bei "Nature" eingereichten Paper veröffentlicht, so Alison Abbott.

Problematisch wird es, wenn die Peers getäuscht werden. Zum einen kommt es vor, dass Wissenschaftler betrügen und sich die Ergebnisse anderer Forscher aneignen. Zum anderen fälschen manche Wissenschaftler auch Experimente, indem sie sie entweder gar nicht oder anders als beschrieben durchgeführt haben. Nicht gut ist es, wenn die Gutachter das nicht bemerken. Tatsächlich ist es schon mehrfach passiert, dass Gutachter es zum Beispiel übersehen haben, wenn in verschiedenen Papern dasselbe Bild in unterschiedlichen Zusammenhängen verwendet wurde. Ein solcher Betrug wird meist erst nach der Veröffentlichung durch die Leser der Magazine aufgedeckt. Dann müssen die Gutachter wie auch die betroffene Fachzeitschrift Kritik einstecken.

Nicht nur Lob

Auch das Peer-Review-Verfahren an sich wird dann gerne in Frage gestellt: Das Peer Review halte innovative Forschung zurück, meint der US-amerikanische Marketing-Professor J. Scott Armstrong. Und die zwei schwedischen Medizinwissenschaftlerinnen Christine Wenneras und Agnes Wold belegten 1997 mit ihrer  Studie "Vetternwirtschaft und Sexismus im Gutachterwesen": Gutachter hätten einen großen Einfluss; sie würden nur bekannte Wissenschaftler empfehlen und Frauen dagegen benachteiligen. Wissenschaftlerinnen mussten der Studie zufolge etwa doppelt so viel publizieren, um den gleichen Erfolg zu haben wie männliche Forscher.  

Darüber hinaus wird häufig kritisiert, dass junge Wissenschaftler weniger publizieren dürften und dass das Verfahren viel zu lange Zeit benötige sowie zu teuer sei. Außerdem würde die Öffentlichkeit doppelt zur Kasse gebeten, weil sie mit Steuergeldern zum einen die Forschungsarbeit und zum anderen Zeitschriftenabonnements der Universitätsbibliotheken finanziert. Was mit öffentlichen Geldern erarbeitet wurde, sollte auch frei zugänglich sein, lautet eine Forderung der Review-Kritiker.


Philip Campbell, Editor in Chief (Chefredakteur) bei "Nature", stimmt manchen dieser Argumente zu, anderen aber nicht: "Ja, das Peer Review ist teuer. Die Nature Publishing Group gibt Millionen von britischen Pfund für diesen Auswahlprozess aus, bevor irgendetwas irgendwo, sei es im Internet oder in einem Journal, veröffentlicht wird. Das führt dazu, dass die Leser dafür bezahlen müssen." Er sehe auch, dass das Verfahren lange dauert, weil die Referees Zeit für ihre Gutachten brauchen. "Nature" bemühe sich aber, das Peer Review innerhalb einiger Wochen abzuschließen.

Einigen Kritikpunkten widerspricht Campbell aber auch. "Ich glaube nicht, dass irgendjemand benachteiligt wird. Ein Paper wird danach beurteilt, was darin steht, und nicht danach, wer darauf steht. Das sind die Prinzipien, nach denen gearbeitet wird. Außerdem ist es die Aufgabe der Redakteure, darauf zu achten, dass die Referees nicht zu viel Einfluss auf die Veröffentlichung bekommen. Bei uns kommt es vor, dass die Referees ein Paper nicht für wichtig genug halten, um es zu veröffentlichen, und wir es dann aber trotzdem veröffentlichen, weil es die Redakteure für wichtig halten." Dass innovative Ergebnisse kritischer beobachtet werden, begründet Campbell damit, dass die Wissenschaft ein bisschen konservativ sei: "Ich glaube nicht, dass deswegen jeder neue Ansatz gleich als Unsinn abgetan wird."

Ein weiteres Problem seien die Gutachter selbst, sagt Tracey Brown von "Sense about Science". Den Fachzeitschriften fehlten genügend gute Peers, denn Peers könnten nur Aufsätze aus Fachgebieten prüfen, in denen sie sich selbst gut auskennen. Und selbst Wissenschaftler aus der gleichen Disziplin müssten manchmal ein Gutachten ablehnen, weil sie selbst nicht gut genug Bescheid wissen, um die Richtigkeit und Güte der Forschung zu beurteilen. Hinzu komme, dass sie immer wieder motiviert werden müssten, trotz Zeitmangels ein Gutachten zu erstellen, so Brown.

Es geht auch anders

Deswegen wandeln manche Fachverlage das Gutachterverfahren ab. Die European Geosciences Union (EGU) beispielsweise nutzt seit 2001 ein neues Peer Review-Verfahren. Es besteht aus einem zweistufigen Veröffentlichungsprozess. Im ersten Schritt wird ein so genanntes Diskussionspapier ins Internet gestellt und zusätzlich an Referees gegeben. Sie stellen Kommentare öffentlich auf diese Plattform, aber auch alle anderen können nun das Paper lesen und kommentieren. Diese Art des Peer Review bietet dem Forscher die Möglichkeit, direkt auf Kommentare zu reagieren. Außerdem kann er bei seiner Korrektur des Papers nicht nur die Gutachten der Referees, sondern auch die Meinungen der anderen Wissenschaftler berücksichtigen. Die korrigierte Version erhalten dann der Editor und die Referees. Nach positiver Beurteilung wird das Paper als "Final Revised Paper" im jeweiligen Magazin im Internet veröffentlicht.

Das gleiche Verfahren verwendet seit 2007 das Kieler Institut für Weltwirtschaft bei seinem Magazin "Economics". Auch andere Magazine nutzen öffentliche Peer Review-Verfahren, wie zum Beispiel  "PLoS One" (seit 2007), "Biology Direct" (seit 2006) und "JAMES" (seit 2008). Diese sind aber meist nicht ganz so offen angelegt und interaktiv wie das oben beschriebene Modell.

Für die Magazine der European Geosciences Union, etwa die Zeitschrift  "Atmospheric Chemistry and Physics", werden jeden Tage mehrere Paper zur Diskussion ins Netz gestellt. Doch bei den meisten, die gerade eingestellt wurden, steht darunter: "0 Kommentare". Erst wenn das Paper längere Zeit online ist, steigt die Anzahl der Anmerkungen. Liegt es vielleicht an den speziellen Wissenschaftsthemen, dass kaum jemand diskutiert? Oder ist die Wissenschaftler-Gemeinde noch nicht reif für diese Art von Peer Review?

Auch "Nature" hat 2006 parallel zum etablierten Peer Review ein ganz ähnliches Verfahren wie das der EGU im Internet getestet. Ergebnis: eingestellt mangels Interesse. "Die meisten Autoren wollten keine öffentlichen Kommentare bekommen. Nur einige Autoren haben dem offenen Peer Review zugestimmt. Außerdem  gab es nur wenig Rückmeldung. Die Leser wollten kaum etwas kommentieren", so Campbell. Für den "Nature"-Chefredakteur ist jedenfalls klar: "Das gegenwärtige Peer Review wird noch für eine lange Zeit bleiben."

Wie viele andere sagt auch Campbell zusammenfassend:  "Peer Review ist wie Demokratie – nicht perfekt, aber etwas Besseres ist nicht in Sicht."


Dieser Beitrag entstand im Zuge des EuroScience Open Forum (ESOF) 2010.







Fälschungsskandale | Peer Review schützt nicht vor Betrug

2005, Südkorea | Der Fall Hwang Woo Suk
Der Stammzellforscher Hwang Woo Suk hatte angeblich Stammzellen produziert und menschliche Embryos geklont. Südkoreanische Ministerien hatten ihm mehr als 20 Millionen Euro für seine Forschung zugesagt. Spektakuläre Artikel erschienen in zahlreichen Zeitschriften, darunter auch in "Nature" und "Science". Dann stellte sich heraus, dass er einen entscheidenden Teil seiner Forschungsberichte gefälscht hatte.

1997, Deutschland | Der Fall Herrmann/Brach/Mertelsmann
Die Krebsforscherin Marion Brach und ihr damaliger Chef Friedhelm Herrmann hatten insgesamt 28 Publikationen manipuliert. Dabei reichte die Spur der Fälscher Jahre zurück. Bereits 1990 und 1991 sollen Brach und Herrmann angeblich manipulierte Studien veröffentlicht haben. Ihr Chef war damals Professor Roland Mertelsmann, der Pionier und Papst der deutschen Gentherapeuten. Damals hatte Herrmann auch als Gutachter für die Fritz Thyssen Stiftung den Förderantrag eines niederländischen Forschers abgelehnt. Den identischen Antrag reichten Brach und Herrmann später selbst bei der Thyssen-Stiftung ein und bekamen 200.000 Mark. Erste Hinweise auf die Täuschungen der Forscher hatte eine Mitarbeiterin bereits 1995 gegeben.

1950er Jahre, Großbritannien | Der Fall Cyril Burt
Der britische Psychologe Cyril Burt hatte Zwillingsstudien gefälscht, mit denen er die Vererbung von Intelligenz bewiesen haben wollte. Die von Burt angeführten Co-Autorinnen konnten nie gefunden werden. Außerdem veröffentliche Burt Rezensionen und Kritiken eigener Arbeiten unter erfundenen Namen in seinem "British Journal of Statistical Psychology". Niemandem war das aufgefallen: Alle waren beeindruckt, wie souverän er seinen „Kritikern“ konterte. Burt gaukelte der Welt eine rege Diskussion seiner Auffassungen und eine große, gar nicht vorhandene aktive Anhängerschaft vor. Erst nach Burts Tod wurde das Ganze von einem Nachwuchswissenschaftler aufgedeckt. (tsd)


Studien über Peer Review

Über die Erfahrungen des offenen Peer Review-Verfahrens bei der Fachzeitschrift "Atmospheric Chemistry and Physics" berichtete 2010 Walter Pöschl vom Max-Planck-Institut für Chemie in Mainz:  zum vollständig verfügbaren Paper

Das Publishing Research Consortium hat 3040 Wissenschaftler zu ihrer Meinung über Peer Review befragt. Die Umfrage-Ergebnisse gibt es  hier.

Link-Tipps

Die Publikationsphilosophie, das sogenannte Mission Statement for Publications, der European Geosciences Union (EGU) gibt es  hier

"Sense about Science" berichtet über die Grundlagen des Peer Review und wie sich das Gutachter-Verfahren wandelt:  zur Homepage


Glossar

  • Editor in Chief
    = Chefredakteur eines Journals

  • Final Revised Paper
    = Paper, das begutachtet, daraufhin verändert und erneut begutachtet und schließlich für publikationsreif erachtet wird

  • Journal
    = wissenschaftliche Fachzeitschrift, in der die Paper erscheinen

  • Paper
    = wissenschaftlicher Fachaufsatz

  • Proof
    = Druckfahne für die Publikation

  • Peer Review
    = Gutachter-Verfahren, um zu prüfen, ob ein Paper gut und interessant genug für eine Veröffentlichung ist

  • Reer / Referee
    = Gutachter, der das Peer Review durchführt

  • (fba)

Reise nach Ländern:

Reise nach Themen:

Schuldig oder nicht schuldig? | Verantwortung in der Wissenschaft

Foto: xlucas

Nicht jede Erfindung macht das Leben einfacher. Manche - wie die Atomspaltung in einer Atombombe - kann auch sehr gefährlich werden. Doch sind auch dafür die Wissenschaftler verantwortlich, die mit ihren Erkenntnissen zur Atomspaltung eigentlich doch nur die Wissenschaft voranbringen wollten? ( zum Audio-Beitrag)


 nach oben |  Drucken
 Impressum