Nobelpreise 2021 und die Messung wissenschaftlicher Qualität

Im Wettbewerb um wissenschaftliche Exzellenz wird gern auf bibliometrische Kennzahlen wie Impact Faktor oder h-Index zugegriffen. Der Vergleich statistisch erhobener Kennzahlen wirkt einfach, korrekt und belegt. Meist wird die Zitationsdatenbank Web of Science als Datenquelle herangezogen.

In der Tabelle der letztjährigen Nobelpreisträger, die alle die höchste Auszeichnung für wissenschaftliche Leistung erhalten haben, zeigten sich jedoch kurz nach der Auszeichnung auch innerhalb des gleichen Fachgebiets deutliche Unterschiede.

FachgebietPreisträgerH(irsch)-IndexPublika- tionenZitationenHochrangigste Zeitschrift in der publiziert wurdeImpact Faktor
       
ChemieBenjamin List     78 13225,506Nature49,962
ChemieDavid MacMillan     99 23641,198Chemical Reviews60,622
      
MedizinDavid Julius     45 11819,957Nature49,962
MedizinArdem Patapoutian     70 14622,920Nature49,962
       
PhysikKlaus Hasselmann     22   57  4,678Nature Geoscience16,908
PhysikGiorgio Parisi     64 42323,307Proceedings of the National Academy of Sciences of the United States of America11,205
       
WirtschaftJoshua D. Angrist     48    9121,261Quarterly Journal of  Economics15,563
WirtschaftDavid Card     56 22515,695Quarterly Journal of  Economics15,563
WirtschaftGuido W. Imbens     53 10222,252American Economic Review  9,17
Recherche am 14.10.2021

Ist der Vergleich von wissenschaftlicher Qualität mit Hilfe von Kennzahlen eher vermessen?

Wer sich dafür interessiert, wie Impact Faktor, h-Index und ähnliche Kennzahlen berechnet werden und welche Aussagekraft sie haben sowie sich für weitere Methoden zur Bewertung wissenschaftlicher Qualität interessiert, ist herzlich eingeladen am morgigen Online-Seminar teilzunehmen:

Qualitätskriterien für die Literaturauswahl
Donnerstag, 03.02.2022 | 10:00 s.t. – 12:00
Anmeldung: Online-Formular

Vielen Dank für den Beitrag an Heike Thomas, Mitarbeiterin in der Auskunftsabteilung am Bibliotheksstandort Garystr. 39!

(Bildquelle: Pixabay.com)

Qualitätskriterien und bibliometrische Kennzahlen

Impact-Faktor und h-Index – bibliometrische Kennzahlen zum Messen wissenschaftlicher Qualität?

 Wissenschaftler*innen und ihre Forschung stehen häufig im Wettbewerb um Aufmerksamkeit, Positionen und Forschungsgelder. Bibliometrische Kennzahlen wie Impact-Faktor und (H)irsch-Index zum Vergleich von Forschungsleistungen heranzuziehen, erscheint so als korrekte und eindeutig belegte Methode.

Die Zitationsdatenbank Web of Science bietet dafür den Journal Impact Faktor für Zeitschriften an, der sich aus der Anzahl der Publikationen und die Anzahl der Zitationen dieser Publikationen für die zurückliegenden zwei Jahre errechnet. Ein hoher JIF bedeutet, dass Artikel einer Zeitschrift viel Aufmerksamkeit finden. Sie können also feststellen, ob Wissenschaftler*innen in renommierten Zeitschriften ihres Fachgebiets veröffentlicht haben und ob Ihre Publikationen die Aufmerksamkeit der Fachkolleg*innen erhalten haben. Auskunft über die inhaltliche Qualität der Arbeiten gibt der Journal Impact Faktor nicht.

Die Datenbank Scopus des Verlags Elsevier bietet mit dem Cite Score eine ähnliche Kennzahl an. CiteScore soll als Konkurenz zum Impact-Faktor ebenfalls den Stellenwert von Zeitschriften innerhalb ihres Fachgebiets zeigen. Die Werte weichen zum Teil ab,  da sich die Datengrundlage und die Berechnung unterscheiden.

Autor*innen können mit dem Impact-Faktor und dem CiteScore Zeitschriften mit hohem Prestige ermitteln, die zum Publizieren attraktiv sind, da die Wahrscheinlichkeit zitiert zu werden hoch ist.

h-Index oder Hirsch-Index:

Im Web of Science, in Sopus, und Google Scholar finden Sie außerdem den h-Index von Forscher*innen, der sich aus der Anzahl ihrer Publikationen und der Zitierhäufigkeit errechnet. Ein hoher h-Index zeigt, dass Wissenschaftlerinnen produktiv sind und ihre Forschung innerhalb ihres Fachgebiets viel Aufmerksamkeit findet. Über die inhaltliche Qualität trifft  auch diese Kennzahl keine Aussage.

Peer Review als Qualitätssicherung im Publikationsprozess:

Peer Review bezeichnet die Bewertung wissenschaftlicher  Arbeiten durch unabhängige Gutachter, Wissenschaftler*innen desselben Fachgebiets. Es ist wichtiger Faktor bei der Einschätzung der Qualität einer wissenschaftlichen Zeitschrift. Das Peer-Review-Verfahren ist jedoch nicht unumstritten, da :

  • Sorgfalt, inhaltliche Tiefe des Gutachtens nicht nachvollziehbar sind
  • Plagiate, Betrug, Täuschung  nicht immer aufgedeckt werden (vgl. Spiegel-Online-Artikel, 23.05.2017)
  • Manipulation möglich ist

Bei Interesse an einer ausführlichen Auseinandersetzung mit Qualitätskriterien wissenschaftlicher Publikationen bietet die Universitätsbibliothek sowohl ein moderiertes Online-Format (digital oder in Präsenz)  als auch einen Selbstlernkurs an. Dieses Angebot richtet sich an fortgeschrittene Studierende und Doktorand*innen.

Auch gehen wir in unserer Evening Lecture am Dienstag, den 14. Dezember 2021 ab 17:00 Uhr auf Impact-Faktor und h-Index ein.

Vielen Dank für den Text an Heike Thomas (Universitätsbibliothek).

Siehe auch: Akademisches Identitätsmanagement – Sehen und gesehen werden

(Bildquelle: Pixabay.com)

Nobelpreise und das Vermessen der Wissenschaft

In der letzten Woche wurden die Namen der Wissenschaftler und Wissenschaftlerinnen veröffentlicht, denen der Nobelpreis für herausragende Forschungsleistungen verliehen wird. Dieser Preis gilt als die höchst Auszeichnung für wissenschaftliche Leistung.

Bild: Die diesjährige Co-Preisträgerin in Chemie, Emmanuelle Charpentier, ist Leiterin der „Max-Planck-Forschungsstelle für die Wissenschaft der Pathogene“ in Berlin (Bildquelle: Wikimedia Commons / Bianca Fioretti, Hallbauer & Fioretti / Lizenz: CC-BY-SA-4.0)

Im Alltag des „publish or perish“ in der Wissenschaft wird wissenschaftliche Leistung gern in zitationsbasierten statistischen Kennzahlen wie dem H-Index ausgedrückt: kurz, prägnant, mathematisch korrekt.

Die mit dem Nobelpreis geehrten Personen sollten also entsprechend einen außergewöhnlich hohen H-Index oder Hirsch-Index haben.

Übersicht für die Nobelpreisträgerinnen und -träger aus der Datenbank Web of Science (im FU-Campusnetz abrufbar):

 Wissenschaftler/inPublikationenZitationenH-IndexFachgebiet
Emmanuelle Charpentier          82    14 820    33Chemie
Jennifer A. Doudna        360    42 627    96Chemie
     
Roger Penrose        102    11 129    33Physik
Reinhard Genzel        262    18 659    72Physik
Andrea Ghez        217    11 292    55Physik
     
Harvey J. Alter        505    37 700    95Physiologie/
Medizin
Michael Houghtom        204    14 345    60Physiologie/
Medizin
Charles M. Rice        504    54 930  125Physiologie/
Medizin
Quelle: Web of Science, 13.10.2020

Die Zahlen für die Geehrten unterscheiden sich deutlich. Ist der H-Index vielleicht doch nicht geeignet die Qualität von Forschungsleistung auszudrücken?

Wer genauer wissen möchte wie bibliometrische Kennzahlen (H-Index, Impact-Faktor usw.) ermittelt werden können und welche Aussagekraft sie haben, kann dies im folgenden Webinar der Universitätsbibliothek erfahren:

Qualitätskriterien für die Literaturauswahl
Mittwoch, 02.12.2020 | 10:00 s.t. – 12:00
Anmeldung: Online oder via E-Mail an auskunft@ub.fu-berlin.de

Danke für den Beitrag an Heike Thomas, Mitarbeiterin in der Auskunftsabteilung der Universitätsbibliothek!

Neben diesem Webinar finden im Wintersemester 2020/21 noch zahlreiche weitere Kurse statt. Auch lassen sich Lernangebote zum wissenschaftlichen Arbeiten und Einführungsseminare individuell in Lehrveranstaltungen integrieren. Sprechen Sie uns einfach an 😉 !

Hintergrund zum „Streit der Virologen“

Bildquelle: Superbass / CC BY-SA (https://creativecommons.org/licenses/by-sa/4.0)
Alexander Kekulé (2020)

Am 25.05.2020 titelte die Bild-Zeitung: „Fragwürdige Methoden Drosten-Studie über ansteckende Kinder grob falsch“ und löste damit diverse, teils heftige Reaktionen in den Sozialen und sonstigen Medien aus. Auch Wissenschaftler äußerten sich dazu.

Insbesondere Alexander Kekulé, Direktor des Instituts für Medizinische Mikrobiologie des Universitätsklinikums Halle, kritisierte Christian Drosten und sein Team aus der Charité Berlin scharf. In einer Reaktion Drostens via Twitter heißt es: „[…] Er kennt unsere Daten nicht und zitiert falsch. Kekulé selbst könnte man nicht kritisieren, dazu müsste er erstmal etwas publizieren“.

Was steckt dahinter? Eine Recherche in der Zitationsdatenbank Web of Science am 29.05.2020 ergibt Folgendes:

Wissenschaftler Publikationen Zitationen H-Index
Christian Drosten 403 19.376 71
Alexander Kekulé 48 1224 14

Christian Drosten hat weitaus mehr Artikel publiziert und wurde deutlich häufiger zitiert. Sein H-Index, der aus Publikationshäufigkeit und Zitationshäufigkeit berechnet wird, ist ebenfalls deutlich höher.

Wer genauer wissen möchte wie bibliometrische Kennzahlen (H-Index, Impact-Faktor usw.) ermittelt werden können und welche Aussagekraft sie haben, kann dies im folgenden Webinar der Universitätsbibliothek erfahren:

Qualitätskriterien für die Literaturauswahl
Mittwoch, 17.06.2020 | 10:00 s.t. – 11:30
Anmeldung: Online oder via E-Mail an auskunft@ub.fu-berlin.de

Danke für den Beitrag an Heike Thomas, Mitarbeiterin in der Auskunftsabteilung der Universitätsbibliothek!
Bildquelle: Alexander Kekulé – Fotograf: Superbass (Lizenz: CC BY-SA)