Was ist ein gutes Gutachten? Weitere Einblicke in die Erhebung zu Begutachtungspraktiken in philosophischen Fachzeitschriften
Von Gottfried Schweiger (Salzburg)
Im ersten Blogbeitrag zu unserer Befragung über Begutachtungspraktiken in philosophischen Zeitschriften habe ich die großen Themen beleuchtet: die Rolle von Zeitschriften, das Peer-Review-System, die Bewertung von Fairness, Transparenz und Diversität, Unterschiede im Hinblick auf Status und Geschlecht und am Ende Wünsche zur generellen Verbesserung. Dies wird hier nicht noch einmal aufgegriffen. Der zweite Einblick widmet sich einer kleineren Einheit: dem Gutachten selbst und den Personen, die es schreiben oder erhalten. Was zeichnet ein gutes Gutachten aus? Wie aufwendig sind Gutachten? Wie erleben Autor:innen die Gutachten, die sie bekommen? Wie berichten Gutachter:innen über ihre Arbeit? Herausgeber:innen werden hier nur am Rande berücksichtigt und sollen im dritten Artikel ihren eigenen Abschnitt erhalten.
So viel zur Stichprobe: Wir haben insgesamt 202 abgeschlossene Fragebögen vorliegen. Alle Befragten haben bereits als Autor:innen Erfahrungen im Begutachtungsprozess philosophischer Zeitschriften gesammelt und 187 haben Erfahrungen als Gutachter:in. Bei den einzelnen Fragen zur eigenen Gutachtertätigkeit sind es zumeist 186 gültige Antworten. Hier berichten also nicht nur Autor:innen über Gutachter:innen, sondern ein Großteil kennt beide Seiten. Dies ist ein interessanter Befund, denn als Autor:innen wissen wir alle, was uns an Gutachten, die wir selbst bekommen, nicht gut gefällt. Aber wir sind zugleich die Personen, die diese in der Praxis herstellen. Wie viel Gutachten werden nun übernommen? Vielleicht mehr oder auch weniger, als man vermuten mag (Abb. 1). 102 Personen geben an, weniger als 5 Gutachten pro Jahr zu schreiben (54,5 %), 68 Personen schreiben 5–10 Gutachten (36,4 %) und 15 Personen mehr als 10 (8,0 %). Zwei Personen geben an, keine Gutachten zu übernehmen. Betrachtet man die Gesamtzahl an Gutachten, die im Laufe der bisherigen Karriere geschrieben wurden, haben 81 Personen bereits mehr als 30 Gutachten verfasst und weitere 43 Personen 16–30. Wir haben also überwiegend keine „Anfänger:innen“ befragt. Wer selbst mehr Zeitschriftenartikel veröffentlicht hat, schreibt tendenziell auch mehr Gutachten pro Jahr. Mit der Zahl der Jahre seit der Promotion zeigt sich dieser Zusammenhang hingegen nicht. Männer geben etwas häufiger an, mindestens fünf Gutachten pro Jahr zu schreiben als Frauen (47,2 % gegenüber 39,7 %), dieser Unterschied ist jedoch statistisch nicht signifikant.
Abb. 1: Wie viele Gutachten? Anzahl der übernommenen Gutachten pro Jahr und wie viele Zeitschriftengutachten insgesamt geschrieben wurden.
Zeitschriftengutachten sind zeitlich aufwendig (Abb. 2). Nur 5 Personen geben an, weniger als 1 Stunde für ein Gutachten zu investieren. 46 Personen investieren 1–3 Stunden, 90 Personen 4–6 Stunden, 35 Personen 7–12 Stunden und 10 Personen mehr als 12 Stunden. Insgesamt investieren also 135 von 186 Personen mit gültiger Angabe mindestens 4 Stunden in ein Zeitschriftengutachten (72,6 %). Da Gutachten zumeist neben vielen anderen Dingen zu erledigen sind, ist das durchaus ein beachtliches Investment.
Abb. 2: Wie viele Stunden ein Gutachten dauert. Knapp drei Viertel der Befragten mit gültiger Angabe investieren mindestens 4 Stunden.
Was soll ein Gutachten nun leisten? Welche Anforderungen haben wir an ein gutes Gutachten? Die Antworten fallen hier eindeutig aus (Abb. 3). Gutachten sollten nachvollziehbar begründet sein: 98,0 % stimmen eher oder vollständig zu, Mittelwert 4,86. Fast genauso eindeutig: Ein gutes Gutachten sollte respektvoll und sachlich sein: 98,5 % stimmen eher oder vollständig zu, Mittelwert 4,85. Ein Mindestkriterium für ein gutes Gutachten ist also, dass es Gründe gibt und nicht nur ein Urteil fällt und es kommt auch darauf an, wie es das formuliert. Eine etwas geringere Zustimmung gab es zu zwei weiteren Aussagen. Ein gutes Gutachten sollte eine eindeutige Empfehlung an die Herausgeber:innen enthalten: 86,0 % stimmen dem eher oder vollständig zu. Autor:innen sollten bei der Verbesserung ihres Textes unterstützt werden, dem stimmen 82,1 % eher oder vollständig zu. Man sieht hier also, dass es nicht nur um Gatekeeping geht, sondern auch um eine besondere Form der Kommunikation, nämlich einer unterstützenden. Vielleicht deshalb weil die Gutachter:innen in ihrer Rolle als Autor:innen sich ebenso erwarten, dass über ihren Text nicht nur geurteilt wird, sondern, dass ihnen dabei geholfen wird, ich besser zu machen. Dass dies nicht nur als netter Nebeneffekt betrachtet wird, zeigen die Antworten auf eine weitere Frage: Peer Review soll Autor:innen bei der Verbesserung ihrer Texte unterstützen, auch wenn dies den Prozess in die Länge zieht und aufwendiger macht: 68,0 % stimmen dieser Aussage eher oder vollständig zu und das scheint mir angesichts der allgemeinen Klagen über die lange Dauer der Verfahren umso bemerkenswerter. Interessant ist in diesem Zusammenhang ein weiterer Befund, der quasi über der Frage nach den konkreten Kriterien für Texte und Gutachten steht: 73,1 % sind der Meinung, dass es objektive Qualitätskriterien für philosophische Texte gibt, Mittelwert 3,86. Das heißt nicht, dass wir ein fixes Raster an Kriterien haben, anhand dessen wir die Qualität eines philosophischen Text zuverlässig feststellen können. Aber wir gehen auch nicht davon aus, dass es sich um reine Geschmacksfragen handelt. Ob jedoch mit den allgemeinen Qualitätskriterien an Texte (zum Beispiel Argumentation, Nachvollziehbarkeit, Innovation, Einbettung in die Literatur usw.) ebenso wie mit den Kriterien an Gutachten jedoch die gleichen Inhalte gemeint sind, also ob es Einigkeit darüber gibt, was es bedeutet, dass ein Gutachten gute Gründe angibt oder zur Verbesserung des Textes beiträgt, ist damit nicht gesagt.
Abb. 3: Was erwartet man von einem guten Gutachten? Dargestellt ist die Zustimmung (Antworten „trifft eher zu“ und „trifft voll und ganz zu“). Die vorletzte Aussage betrifft Peer Review insgesamt, die letzte objektive Qualitätskriterien für philosophische Texte.
Und nun zeigt sich eine Lücke: Wie bewerten Autor:innen die Gutachten, die sie bekommen? Hier wird es deutlich schlechter (Abb. 4). 36,3 % stimmen eher oder vollständig zu, dass Gutachten nachvollziehbar begründet sind, Mittelwert 3,23. Dies steht in einem doch deutlichen Kontrast zu unserer Erwartung an ein gutes Gutachten, dass es nachvollziehbar begründet sein sollte (wie beschrieben: 98,0 % stimmen eher oder vollständig zu). Etwas besser sind die Ergebnisse aus Sicht der Autor:innen zu den Fragen, ob die Gutachten, die sie bekommen Verbesserungsvorschlägen enthalten (53,7 %) und in einem respektvollen und kollegialen Ton verfasst sind (54,2 %). Den niedrigsten Wert gibt es bei der Frage nach der wohlwollenden Interpretation des eigenen Textes durch die Gutachter:innen. Nur 28,4 % der Auutor:innen stimmen eher oder vollständig zu, dass ihr Text wohlwollend und konstruktiv interpretiert wurde. Hier unterscheiden sich also respektvoller Ton und konstruktives Lesen. Ein Gutachten kann höflich sein, aber dennoch das Gefühl vermitteln, dass der Text nicht wohlwollend gelesen wurde, ja vielleicht auch nicht verstanden wurde. Autor:innen erwarten von Gutachter:innen nicht, dass diese ihre Texte gut finden, aber sie wollen, dass man ihren Text liest und sich mit diesem auseinandersetzt, was sich dann auch in der Begründung der Gutachten widerspiegeln sollte. Dazu passt dann auch, dass 27,1 % der Autor:innen Gutachten als hinderlich für die eigene Arbeit finden, wogegen 45,2 % dem eher nicht oder gar nicht zustimmen.
Interessant ist auch, dass die Bewertung der erhaltenen Gutachten mit dem Umgang damit zusammenhängt. Wer Gutachten als nachvollziehbar begründet, mit konkreten Verbesserungsvorschlägen versehen, respektvoll oder konstruktiv und wohlwollend erlebt, empfindet sie tendenziell seltener als hinderlich für die eigene Arbeit. Diesen Zusammenhang finden wir bei allen vier abgefragten Merkmalen. Die Frage, wie Gutachten geschrieben werden, hängt offenbar auch damit zusammen, wie Autor:innen diese für ihre eigene Arbeit einschätzen.
Abb. 4: Wie erleben Autor:innen Gutachten? Zustimmung, „teils / teils“ und Nichtzustimmung zu vier Merkmalen guter Gutachten.
Wie gehen Autor:innen mit Gutachten um (Abb. 5)? Hier geben 93,0 % an, dass sie die Reviews genau prüfen. Eher gemischt fällt die Antwort aus, ob man auch Änderungen vornimmt, denen man nicht vollständig zustimmt. Hier stimmen 32,8 % eher oder vollständig zu und 35,8 % eher nicht oder gar nicht zu. Man nimmt die Reviews also ernst, aber hält nicht unbedingt jede Änderung für richtig, was vermutlich der Realität nahekommt. 30,7 % geben an, dass sie durch kritische Gutachten verunsichert werden, 43,7 % stimmen eher nicht oder gar nicht zu. Wie viel dann tatsächlich von den Gutachten in den Text einfließt, lässt sich auf Basis dieser Daten nicht sagen, aber die Autor:innen setzen sich zumindest damit auseinander, selbst wenn sie die Gutachten für schlecht halten. Im Umgang mit kritischen Gutachten spielt möglicherweise auch die eigene Erfahrung eine Rolle. Personen mit mehr eigenen Zeitschriftenpublikationen geben tendenziell seltener an, durch kritische Gutachten verunsichert zu werden. Ein ähnlicher Zusammenhang zeigt sich mit der Zahl der Gutachten, die jemand selbst bereits geschrieben hat. Diese Zusammenhänge sind eher schwach, aber sie passen zu der Vermutung, dass man mit zunehmender Erfahrung kritische Gutachten besser einordnen kann.
Abb. 5: Wie Autor:innen mit Gutachten umgehen. Bei den unteren zwei Aussagen bedeutet Zustimmung, dass man verunsichert wird bzw. die eigene Arbeit behindert wird.
Wie erleben die Gutachter:innen ihre Arbeit? Hier ergibt sich ein interessantes Bild (Abb. 6). 73,1 % sind sich ziemlich sicher, was von ihnen als Gutachter:in von Zeitschriften erwartet wird. Aber nur 26,3 % finden, dass Zeitschriften ihnen Ressourcen an die Hand geben, die ihnen bei der Begutachtung helfen. Wir wissen also, was von uns erwartet wird, werden dabei aber nicht in großem Maße unterstützt und es bleibt, zumindest auf Basis dieser Daten, offen, woher wir wissen, was von uns als Gutachter:innen erwartet wird. Vielleicht wissen wir, was gutes Gutachten ist, weil wir selbst schon begutachtet wurden oder aus dem Austausch mit Kolleg:innen, die wir kennen. Hier dürfte eine große Menge an informellem Wissen eine Rolle spielen. Gutachter:innen verstehen sich durchwegs nicht nur als Gatekeeper, die die besten Texte nach Qualität aussortieren: 55,9 % fühlen sich bei der Begutachtung in erster Linie den Autor:innen und der Verbesserung des Textes verpflichtet. 61,3 % sehen es als ihre Aufgabe, innovative oder unkonventionelle Texte zu fördern. Aber hier gibt es auch Grenzen: 31,2 % der Befragten fällt bei der Begutachtung auf, ob ein Text ausschließlich oder überwiegend Arbeiten von Männern zitiert. 52,2 % finden es insgesamt relevant für ihre Bewertung, wie sich die in einem Text zitierte Literatur zusammensetzt, was wiederum mit dem Qualitätskriterium der Positionierung eines Textes im Forschungsstand zusammenhängen dürfte. Nun noch kurz zu den Rahmenbedingungen: Weniger als die Hälfte der Befragten (43,0 %) gibt an, dass sie genug Zeit haben, um sorgfältige Gutachten zu schreiben. Und nur 27,6 % empfinden, dass ihre Arbeit als Gutachter:in ausreichend anerkannt und gewürdigt wird.
Bei einzelnen Fragen zeigen sich auch interessante Unterschiede zwischen Frauen und Männern. 74,6 % der befragten Frauen mit gültiger Antwort stimmen eher oder vollständig zu, dass die erhaltenen Gutachten konkrete Verbesserungsvorschläge enthalten, bei den Männern sind es 42,7 %. Bei der eigenen Gutachtertätigkeit zeigt sich ein weiterer Unterschied: 55,2 % der Gutachterinnen geben an, dass ihnen auffällt, ob ein Text ausschließlich oder überwiegend Arbeiten von Männern zitiert. Bei den Gutachtern sind nur es 20,5 %. Die Erfahrungen mit Gutachten und die Aufmerksamkeit für bestimmte Merkmale der begutachteten Texte fallen also nicht bei allen gleich aus. Womit diese Unterschiede zusammenhängen, können wir aus diesen Antworten allein nicht erklären.
Abb. 6: Wie erleben die Gutachter:innen ihre Arbeit? Während man sich sicher ist, was von einem erwartet wird, gibt es wenig Ressourcen, Zeit und Wertschätzung für die eigene Arbeit.
Zum Schluss noch ein Vergleich, den wir im ersten Artikel nicht vorgenommen haben, nämlich zwischen deutsch- und englischsprachige Zeitschriften (Abb. 7). 140 Personen haben Erfahrung mit beiden Publikationsorten und bei den einzelnen Fragen liegen 135 bzw. 136 gültige Antworten vor. Auffällig ist hier zunächst, dass bei allen vier Fragen zum Vergleich zwischen englischen und deutschen Zeitschriften mindestens die Hälfte keine wesentlichen Unterschiede sieht. Es gibt also nicht den klaren Unterschied, dass englischsprachige Zeitschriften eine bessere Begutachtungspraxis haben als deutschsprachige Zeitschriften. Wenn Unterschiede genannt werden, fallen diese aber deutlich zugunsten der englischsprachigen Zeitschriften aus.
Die Qualität der Gutachten wird von 40,4 % der Befragten eher oder deutlich besser bei englischsprachigen Zeitschriften bewertet (deutschsprachig: 8,8 %) und 50,7 % sehen keinen wesentlichen Unterschied. Der Tonfall wird von 36,8 % eher oder deutlich besser bei englischsprachigen Zeitschriften bewertet (deutschsprachig: 13,2 %). Das Item zur Strenge der Gutachten wird ebenfalls eher zugunsten der englischsprachigen Zeitschriften beurteilt (37,0 % vs. 8,9 %, 54,1 % sehen keinen wesentlichen Unterschied). Und bei der Sensibilität für Diversitätsfragen zeigt sich ebenfalls ein Unterschied (22,1 % vs. 8,1 %, 69,9 % sehen keinen wesentlichen Unterschied).
Abb. 7: Inwiefern unterscheiden sich Gutachten in deutsch- und englischsprachigen Zeitschriften? Befragt wurden Personen, die Erfahrung mit beiden haben.
Zusammengefasst ergibt sich ein durchaus interessantes Bild: Die philosophische Community weiß, was sie sich von einem guten Gutachten erwartet. Gleichzeitig erleben Autor:innen die Gutachten, die sie bekommen, als weniger gut, als es ihren Erwartungen entspricht, und Gutachter:innen arbeiten mit wenig Ressourcen und wenig Zeit. Gute Standards zu haben ist also das eine; wie wir aus diesen guten Standards gute Gutachten machen, ist die andere Frage. Im dritten Artikel gehe ich dann auf die Herausgeber:innen ein. Diese müssen Gutachter:innen auswählen und deren Gutachten gewichten und darüber entscheiden, was publiziert wird.
