Workshop report from the Recognition and Rewards Festival in Utrecht
On April 13, 2023 the third Recognition & Rewards Festival took place in Utrecht, the Netherlands. The conference was organized by the Dutch Recognition & Rewards Programme which aims to modernize the system of recognizing and rewarding academics as defined in the Programme´s Position Paper. This year, the conference theme “Rethinking Assessment”, was discussed in a plenary programme and 21 different workshops.
In the plenary programme, perspectives from multiple stakeholder communities were discussed in panel sessions and introduced in columns. Hieke Huistra (Utrecht University) stressed in her column the importance of permanent contracts for academics. Robbert Dijkgraaf (Dutch minister of Education, Culture and Science) discussed with Onur Sahin (Utrecht University) and Charisma Hehakaya (UMC Utrecht) how to include the perspectives of Early Career Researchers in the discussion on reforming research assessment, as well as incorporating insights from people who have left academia. Rianne Letschert (chair of the Coalition for Advancing Research Assessment) emphasized how collaboration across different disciplinary communities is necessary to enable research assessment reforms and consent on multiple levels.
In addition to the plenary programme, 21 workshops were organized. Workshop themes varied from assessing teacher quality and societal impact to enabling diversity and rewarding interdisciplinary collaborations, and many more. One of the workshops focused on recognising team science; acknowledging teams or consortia of academics for their joint work is one of the subject areas of the R&R Programme. Workshop topics included: how to define a team (collaboration, common goal, trust) and how team leaders could encourage their employees to make the most of their careers. Additionally, questions on how to assess team science came up. What would be metrics and indicators for team assessment? Is it even necessary and possible? One of the participants mentioned that e.g. PhD students don’t want yet another box to tick; they want to focus on doing research.
In the workshop we organized as part of the BUA Open Science Dashboards Project, meaningful metrics and indicators were part of the discussion as well. The workshop focused on recognizing the diversity of Open Science (OS) practices across different research communities. Even though stimulating and encouraging all aspects of Open Science are part of the R&R Programme, how to recognize and reward these OS Practices has yet to be defined. The workshop´s goal was not to develop or use dashboards as tools for research assessment but rather to initiate the discussion on how to make sure that when Open Science practices are assessed, disciplinary differences and multiple perspectives are taken into account.
The 16 workshop participants represented various stakeholder communities, including publishers and OS coordinators at universities, and representatives from the Universities of the Netherlands (UNL). We asked them to assess existing dashboards, like the EC Open Science Monitor and French Open Science Monitor, and to discuss what they liked and disliked about the dashboards, how meaningful indicators could be developed for other OS practices, and how to avoid a single focus on research outputs.
Some observations were made on the dashboards’ formats and content, such as the quality of the data (it is not always made clear how comprehensive and complete the used datasets are), dashboards should be updated regularly to remain relevant and when it is called a dashboard, interactive possibilities are expected, and not just static graphs. Data from open infrastructures is preferred over commercial infrastructures. The objective of a monitor or dashboard should also be made clear, e.g. the goal of the EC Open Science Monitor is not made clear and content is outdated. It seems like it is just a random collection, but what is the strategy behind it? What is the ambition of OS within the EU? Can the dashboard support policy development? It was discussed if it would be useful for the EU to develop and guide OS monitoring for all European countries. How would that work? And do we actually need a European approach? Comparing OS activities is not the objective so are tailor-made dashboards for specific institutions and/or disciplines more useful?
The discussion continued on the objectives of monitoring OS activities. Dashboards should be tools to support OS practices, not an end in themselves. If the objective is to get recognition for OS practices, how can you assess the wide range of activities and avoid comparison? A part of the Recognition & Rewards Programme is to recognize teaching tracks, how can you develop indicators for that? When the focus is on research assessment you need context, could we create context dashboards? Ways to incorporate a more qualitative approach should be included when developing indicators. Would it be possible to include a broader perspective and develop indicators for career paths and societal engagement as suggested in the R&R Programme? It was also discussed that it would be valuable to assess whether the entire process of research projects is open. At CWTS they are working on persistent identifiers for projects and these could be helpful in monitoring the openness of the different stages in a research project. Additionally, this could open up ways to recognize and reward all project contributors.
As the plenary programme and the workshops made clear: we are just at the beginning of reforming research assessment and the discussions showcased that ‘one-size-fits all’ OS Monitoring and research assessment do not work. Context is key. Only that way, we can ensure that Open Science is promoted as a positive research culture in all research disciplines and that each scientist is rewarded for openness in their work.
Dieser Beitrag zeigt am Beispiel des FAIR Data Dashboards der Charité — Universitätsmedizin Berlin, wie Open-Science-Indikatoren entstehen können. Hierzu greifen eine Reihe von selbst- und weiterentwickelten Datenanalyse- und Datenextraktions-Tools ineinander, um die FAIRness von in Datenrepositorien publizierten Forschungsdaten einer Forschungseinrichtung zu analysieren.
An wen richtet sich dieser Beitrag?
An alle, die sich für Open Science Monitoring und die Entwicklung von Open-Science-Indikatoren interessieren.
An alle, die sich mit FAIR Data Assessment beschäftigen — insbesondere mit einem automatischem FAIR Data Assessment auf institutioneller Ebene.
Open-Data-Grundsätzen folgend sollen sie sicherstellen, dass Forschungsdaten findable, accessible, interoperable und reusable sind
Der Fokus liegt auf der Maschinenlesbarkeit von (Meta-)Daten
Die Ausgangssituation
Unser Ziel war klar: Wir wollten im BUA-geförderten Projekt Open Science Dashboards einen Open-Science-Indikator entwickeln, der die Nachnutzbarkeit von Forschungsdaten von Forschenden der Charité anhand der FAIR Principles evaluiert.
Im ersten Schritt mussten wir herausfinden, welche Forschungsdaten überhaupt in öffentlich zugänglichen Datenrepositorien veröffentlicht sind. Hierzu wurde am BIH QUEST Center ein Workflow mit selbst- und weiterentwickelten Tools erstellt, um die in öffentlich zugänglichen Repositorien veröffentlichten Forschungsdaten von Angehörigen der Charité zu ermitteln. Der Workflow startet beim Journal-Artikel. Dieser Startpunkt der Analyse wurde gewählt, da wir nur Forschungsdaten analysieren wollten, die mit einem Forschungs-Output in Form eines Artikels verknüpft sind. Wir waren allerdings auch aus praktischen Gründen angeraten, beim Forschungsartikel zu starten. Für Forschungsartikel existieren eine Vielzahl bibliographischer Datenbanken, in denen nach Artikeln mit Charité-Affiliation gesucht werden kann. Für unser Vorhaben wurden beispielsweise die bibliographischen Meta-Datenbanken Web of Science und Embase verwendet. Für Forschungsdaten ist die Suche in Meta-Datenbanken anhand der Affiliation der Autor*innen bislang nicht zuverlässig möglich, was hauptsächlich daran liegt, dass in den existierenden Datenbanken viele Repositorien noch nicht indexiert werden.
Text Mining der Journal-Artikel mit ODDPub
Um aus der Publikationsliste zu ermitteln, welche Forschungsartikel mit veröffentlichten Forschungsdaten verknüpft sind, wurde das R-Package fulltext genutzt. Damit können Volltexte von abonnementbasierten Artikeln, die von mehreren großen Verlagen via API angeboten werden (z.B. Elsevier, Wiley oder Springer/Nature), sowie Volltexte von Open-Access-Artikeln über die Unpaywall API heruntergeladen werden. Die Volltexte wurden in einem nächsten Schritt mit dem ebenfalls selbstentwickelten Text-Mining-Algorithmus Open Data Detection in Publications (ODDPub) analysiert. ODDPub identifiziert die Data Statements in Artikeln und kennzeichnet diejenigen Publikationen, in denen Hinweise auf Daten-Repositorien und/oder Akzessions-Nummern von Forschungsdaten gegeben sind.
ODDPub detektiert zwar ziemlich präzise, ob der Artikel mit Forschungsdaten verknüpft ist. Das Tool zeigt jedoch nicht, mit welchen Forschungsdaten ein Artikel verknüpft ist und es kann nicht erkennen, ob die Forschungsdaten auch tatsächlich von den Autor*innen des Artikels erstellt wurden oder ob es sich um eine Nachnutzung von Forschungsdaten handelt, was wir in unserer Analyse nicht berücksichtigen wollten.
Manuelles Screening der Data Statements und Journal-Artikel mit Numbat
Um die durch ODDPub ermittelten Data Statements zu validieren, kommt ein weiteres Tool zum Einsatz. Es handelt sich um Numbat. Es ist ein Screening Tool, das ursprünglich für die Extraktion von Daten aus Primärquellen oder Artikeln beispielsweise für Systematic Reviews und andere Übersichtsarbeiten programmiert wurde. Mit einigen Anpassungen konnte es jedoch für unsere Zwecke genutzt werden. Durch einen manuellen Fragepfad kann mit Numbat zuverlässig ermittelt werden, ob es sich bei den im Artikel zitierten Forschungsdaten um selbsterstellte Forschungsdaten handelt und welche IDs diese Forschungsdaten haben. Der Nachteil von Numbat ist sicherlich, dass es einen hohen zeitlichen Aufwand verursacht, da es auf einem manuellen Screening basiert. Der ODDPub- und Numbat-Workflow ist ausführlich in einem Protokoll auf protocols.io beschrieben.
Am Ende von Numbat und des gesamten Workflows, der mit der Publikationsliste startet, steht eine Liste mit Globally Unique Identifiers (GUIDs: URLs oder DOIs) von in Repositorien veröffentlichten und mit Charité-Autor*innen verknüpften Datensätzen.
FAIR Assessment mit F-UJI
Die IDs können nun auf ihre Nachnutzbarkeit nach den FAIR Principles überprüft werden. Hierzu gibt es eine Reihe von Assessment-Tools, die die Forschungsdaten-IDs als Input nehmen und Metadaten über die Landing Pages der Repositorien und/oder über DataCite abfragen. Mittels der abgefragten Metadaten kann die FAIRness evaluiert werden. Als zuverlässigstes Tool mit der besten Dokumentation und gutem Support hat sich F-UJI herausgestellt, das im Rahmen des FAIRsFAIR-Projekt entstanden ist und nun im FAIR-IMPACT-Projekt weiterentwickelt wird. Es gibt eine Reihe von Tools, die ähnlich funktionieren und vielversprechend sind. Hierzu gehören der FAIR Evaluator oder auch FAIR Enough. F-UJI (und die anderen Tools) sind allerdings für die Analyse einzelner Forschungsdaten konzipiert. Um unsere Liste mit Forschungsdaten abfragen zu können, musste F-UJI zunächst lokal installiert werden. Anschließend konnte über eine API unsere Liste mit den IDs abgefragt werden:
# Function to query local F-UJI server
fuji_local_server <- function(rd_id){
headers = c(
`accept` = "application/json",
`Content-Type` = "application/json")
data <- list(metadata_service_endpoint = "",
metadata_service_type = "oai_pmh",
object_identifier = rd_id,
test_debug = TRUE,
use_datacite = TRUE)
res <- httr::POST(url = "http://localhost:1071/fuji/api/v1/evaluate", httr::add_headers(.headers = headers), body = data, encode = "json")
fuji_local_parsed <- content(res)
return(fuji_local_parsed)
}
# Query large set of research data ids
fuji_local_list <- map(charite_rd_2020_guid, fuji_local_server)
Der Output von F-UJI ist eine JSON-Datei mit dem FAIR Assessment. Das FAIR Assessment von F-UJI basiert auf den FAIRsFAIR-Metriken, die die abstrakten FAIR Principles zunächst in überprüfbare Metriken und anschließend in durchführbare Tests übertragen.
Der F-UJI-Output wurde noch mit Informationen über die Repositorien angereichert, die re3data (Registry of Research Data Repositories) bereitstellt. Anschließend wurde der Output statistisch analysiert.
Hier der gesamte Workflow in einem High Level Flowchart:
Präsentiert werden die Ergebnisse u.a. in einem Sunburst-Chart, der auf einen Blick die Erfüllung und die Gewichtung der einzelnen FAIR Principles darstellt. Das F1-Prinzip („(Meta)data are assigned a globally unique and persistent identifier“) ist beispielsweise mit 8,3% gewichtet, wohingegen das R1-Prinzip („(Meta)data are richly described with a plurality of accurate and relevant attributes“) mit 16,7% in die Gesamtwertung einfließt.
Die Ergebnisse der Evaluation können nach Repositoriums-Typ (fachspezifisch oder allgemein) sowie nach den einzelnen Repositorien gefiltert werden. So wird deutlich, dass allgemeine Repositorien wie Figshare oder Zenodo deutlich besser abschneiden als beispielsweise die an der Charité intensiv genutzten fachspezifischen Repositorien des U.S. National Center for Biotechnology Information (NCBI).
FAIR Scores für Figshare und NCBI Gene Expression Omnibus im Vergleich
Was haben wir durch das FAIR-Assessment gewonnen?
Mit dem FAIR Score können wir die Nachnutzbarkeit von Forschungsdaten auf institutioneller Ebene bewerten. Unseres Wissens gibt es weltweit keine andere Einrichtung, die die FAIRness der von ihren Forschenden publizierten Forschungsdaten evaluiert und offenlegt.
Ein weiterer Vorteil dieser Darstellung ist, dass durch das FAIR Assessment und dessen Visualisierung die FAIR Principles nachvollziehbarer werden und somit Wissen über FAIR Data vermittelt werden kann. Das ist nötig, da unter der Oberfläche des eingängigen Akronyms FAIR die FAIR Principles schnell sehr technisch werden. Das FAIR Data Dashboard zeigt die hinter den FAIR Principles liegenden deutlich konkreteren FAIRsFAIR-Metriken, was Nutzer*innen des Dashboards über den Aufbau eines FAIR Assessments informiert. Neben dem wissensvermittelnden Aspekt gewinnen wir Informationen über die von an der Charité Forschenden verwendeten Datenrepositorien und deren FAIRness, die für Beratungen und Interventionen eingesetzt werden können.
Der FAIR Score ist zunächst nur eine Nummer, der die Ergebnisse verschiedener Metadaten-Tests zusammenfasst. Ob sich der FAIR Score zur Beschreibung der Nachnutzbarkeit von Forschungsdaten etabliert oder ob sich eine andere (anschaulichere?) Skala durchsetzt, wird sich zeigen.
Eine wichtige Einschränkung ist, dass durch das FAIR Assessment ausschließlich die Metadaten der Datensätze untersucht werden. Das heißt, die Qualität der den Forschungsdaten zugrundeliegende Forschung, die tatsächliche Reproduzierbarkeit der Analysen und die Vollständigkeit der Daten kann mit den automatischen Tools nicht überprüft werden. Das ist ein Aspekt, der auch andere Open-Science-Metriken betrifft: Ein grüner oder goldener Open-Access-Status trifft eine Aussage zur Offenheit des Forschungsartikels, aber nicht zu seiner Originalität oder methodischen Genauigkeit.
Das FAIR Data Dashboard und der FAIR Score ist ein Beispiel, wie Open-Science-Indikatoren durch den Einsatz von selbstentwickelten Tools sowie die Nutzung und Weiterentwicklung bestehender Tools entstehen können. Wer Interesse an der Entwicklung eigener Open-Science-Indikatoren hat, der sollte sich unseren Call for Participation ansehen:
Wir suchen Partner*innen an den Einrichtungen der @BerlinUAlliance zum Austausch über disziplinspezifische Open Science Indikatoren und den prototypischen Aufbau von Open Science Dashboards im gemeinsamen Projekt mit dem @questbih Mehr dazu im Blog:https://t.co/Xk2wyc8oU9pic.twitter.com/13UzlMskh5
Sie praktizieren offene Wissenschaft, indem sie Forschungsdaten und Software publizieren, Open Educational Resources bereitstellen oder Citizen-Science-Projekte durchführen? Sie interessieren sich dafür, wie offene Wissenschaftspraxis systematisch sichtbar gemacht werden kann? Sie haben eine Datenquelle, die Informationen zu offener Wissenschaftspraxis an einer Einrichtung, einem Lehrstuhl oder einer Forscher*innengruppe enthält, aber keine Möglichkeit, diese auszuwerten? Sie sind an einer der der BUA-Einrichtungen aktiv, d.h. der Humboldt-Universität, der Freien Universität oder der Technischen Universität in Berlin? Dann würden wir gerne mit Ihnen zusammenarbeiten.
Im von der Berlin University Alliance (BUA) geförderten Projekts BUA Open Science Dashboards interessieren wir uns für die Vielfalt von Open-Science-Praktiken in verschiedenen Wissenschaftsdisziplinen und wollen hierfür gemeinsam mit Partner*innen Indikatoren entwickeln, die in interaktiven Dashboards präsentiert werden können. Das Monitoring von Open-Science-Praktiken ist wichtig, um die Open-Science-Aktivitäten in den unterschiedlichen Disziplinen sichtbar zu machen, zu fördern und zu etablieren oder um Impulse für die Entwicklung von Policies oder Infrastrukturangeboten zu setzen.
Im ersten Projektteil haben wir bereits ein FAIR Data Dashboard umgesetzt, das die Nachnutzbarkeit von Forschungsdaten an der Charité – Universitätsmedizin Berlin anhand der FAIR Data Principles evaluiert. Das FAIR Data Dashboard stellen wir ausführlich in einem weiteren Blogpost vor. Open-Science-Indikatoren wie dieser entstehen mit selbst- bzw. weiterentwickelten Tools, die zu einem transparenten Daten-Analyse-Workflow verknüpft werden. Die Ergebnisse werden visualisiert und können als Dashboard in bestehende institutionelle oder projektbezogen erstellte Webseiten integriert werden.
Wenn Sie mögliche Open-Science-Indikatoren vor Augen haben, bei deren Entwicklung Sie Unterstützung benötigen, dann freuen wir uns über eine Zusammenarbeit mit unserem Projekt, um gemeinsam disziplinspezifische Indikatoren zu entwickeln. Diese Indikatoren müssen nicht nur quantitativ sein, sondern können auch eine qualitative Beschreibung von Open-Science-Aktivitäten darstellen, z.B. die narrative und kontextualisierte Darstellung eines einschlägigen Forschungsprojekts, das viele offene Wissenschaftspraxen umsetzt oder die Herausgabe von Lehrmaterialien, die nach den Prinzipien von Open Access frei verfügbar gemacht und in der Disziplin nachgenutzt werden.
Do you apply Open Science practices by publishing research data and software, developing Open Educational Resources or conducting citizen science projects? Are you interested in how Open Research practices can be made visible? Do you have data sources that contain information on Open Science activities but no means of evaluating these sources? Are you working at one of the BUA institutions, i.e. the Humboldt Universität, the Freie Universität or the Technische Universität? Then we would like to work with you.
Within the BUA (Berlin University Alliance) Open Science Dashboards project, we are interested in the diversity of Open Science practices in various scientific disciplines. In collaboration with project partners, we would like to develop indicators that can be visualised in interactive dashboards. Monitoring Open Science practices is important to showcase the variety of Open Science activities across the various disciplines, to promote and establish these OS Practices, and/or to support policy or research infrastructure development.
In the first project part, we have implemented a FAIR Data Dashboard, based on the FAIR Data Principles, which evaluates the reusability of research data at the Charité – Universitätsmedizin Berlin. The Open Science indicators are developed with various tools to create a transparent data analysis workflow. Results are visualized and can be integrated into existing institutional or project-related websites as a dashboard.
Do you have potential Open Science indicators in mind, and do you need help to develop these discipline-specific indicators? Then we would like to work with you. These indicators do not necessarily have to be quantitative, but can also represent a qualitative description of Open Science activities, e.g. the description of a relevant research project or the publication of teaching materials that are made freely available according to the Open Access principles.
Autorinnen: Maaike Duine (ORCiD) und Maxi Kindling (ORCiD)
Open-Science-Praktiken
Open Access, Open Data, Open Educational Resources, Open Hardware, Open Software, Open Code, Citizen Science: Das Konzept von Open Science umfasst viele Praktiken, die im wissenschaftlichen Alltag zunehmend relevant werden. Sie haben zum Ziel, den wissenschaftlichen Arbeitsprozess, seine Quellen und Ergebnisse langfristig offen zugänglich, nachvollziehbar und nachnutzbar zu machen. Im Berliner Hochschulgesetz wird offene Wissenschaft seit 2021 im §41 adressiert. Dort ist formuliert, dass sie sich auf den „uneingeschränkten und langfristigen Zugang zu wissenschaftlichen Texten, Forschungsdaten, Software und weiteren Forschungsergebnissen und -quellen sowie Lehr- und Bildungsmaterialien“ bezieht, den die Hochschulen ebenso unterstützen sollen wie „einen transparenten Forschungsprozess einschließlich der Bereitstellung von Forschungsinformationen“.
Die Verbreitung von Praktiken offener Wissenschaft ist allerdings im Vergleich von Forschungsinstitutionen, Disziplinen und Wissenschaftler*innen unterschiedlich weit fortgeschritten. Weithin bekannt ist, dass der Anteil an Open-Access-Publikationen in Zeitschriften in den Lebens- und Naturwissenschaften höher ist als in den Sozial- und Geisteswissenschaften [1]. In der Umweltforschung sind Citizen-Science-Praktiken, d.h. die Beteiligung der Öffentlichkeit bzw. von Laien-Wissenschaftler*innen an der Forschung, verbreiteter als in anderen Disziplinen [2]. Weitere Beispiele findet man im Bereich der Veröffentlichung von Preprints, d.h. nicht-begutachteten Vorabveröffentlichungen von Manuskripten im Open Access, die in der Mathematik und anderen naturwissenschaftlichen Fächern gängiger sind (z.B. über die Preprintserver ArXiv oder BioArXiv) [3]. Auch das Teilen von Forschungsdaten (Data Sharing) nimmt zwar in allen Disziplinen stetig zu, aber im disziplinären Vergleich gibt es große Unterschiede. Disziplinen wie die Hochenergiephysik, in denen traditionell viel in (großen) Forschungskollaborationen zusammengearbeitet wird und Data Sharing notwendig ist, werden eher Daten nach den Prinzipien von Offenheit geteilt, als in Disziplinen, in denen das weniger üblich und notwendig ist [4, 5].
Was ist Monitoring und wozu machen wir das? Warum ist das ein wichtiges, aber auch schwieriges Thema?
Mit der Verbreitung offener Wissenschaft steigt auch der Bedarf nach einem Monitoring von Open-Science-Praktiken. Dies erlaubt einen breiten Blick auf die Aktivitäten, kann neue Anreize schaffen, Open Science umzusetzen und setzt Impulse für die Entwicklung von Policies oder Infrastrukturangeboten. Ein Monitoring kann sowohl quantitative wie auch qualitative Darstellungen enthalten. So kann es einerseits darum gehen, den Anteil von offen verfügbar gemachten Publikationen in Bezug auf eine Gesamtzahl von Publikationen zu bestimmen. Aufgrund der unterschiedlichen Publikationskulturen in den Disziplinen ist diese „an Zahlen orientierte“ Herangehensweise aber nicht in allen Forschungsfeldern sinnvoll und adäquat. Eine qualitative Beschreibung von Open-Science-Aktivitäten kann daher ebenso von Bedeutung sein, indem beispielsweise Projekte oder Publikationen deskriptiv und kontextualisierend dargestellt werden, um den Impact in einem bestimmten Forschungsgebiet hervorzuheben.
Ein Monitoring kann sich darüber hinaus auf die Aktivitäten einzelner Wissenschaftler*innen, auf Institutionen, auf Förderprogramme, auf eine nationale oder z.B. auf die europäische Ebene beziehen. Ein Monitoring kann beispielsweise für Förderorganisationen einen Einblick in die Anzahl der Open-Access-Publikationen aus einem bestimmten Förderprogramm geben oder für Institutionen ein Benchmarking (einen Vergleich mit, bzw. eine Orientierung an anderen Institutionen) ermöglichen. Dies zeigt bereits, dass mit dem Monitoring bestimmte Herausforderungen verbunden sind. Dazu gehört die Frage, inwieweit ein Monitoring zum unpassenden Vergleich von Disziplinen führt. Eine weitere Frage ist die nach der Bedeutung etablierter Indikatoren für wissenschaftliche Leistungen im Vergleich zu Open-Science-Indikatoren. Der Journal Impact Factor als Parameter ist hier ein häufig angeführtes und kritisch betrachtetes Beispiel, um die wissenschaftliche Leistung von Individuen und Institutionen zu vergleichen. Initiativen wie die San Francisco Declaration on Research Assessment und Plan S haben zum Ziel, Verfahren zur Leistungsmessung über den Journal Impact Factor und Journal Metrics hinaus zu entwickeln. Die Entwicklung von Indikatoren für offene Wissenschaft (z.B. für die im nächsten Abschnitt erwähnten Monitoring-Ansätze) gehen in die gleiche Richtung, die Forschungsevaluation neu zu denken und beispielsweise Indikatoren wie den offenen Zugang zu Ergebnissen wie Daten und Software, aber auch die Durchführung von offenen Begutachtungsprozessen (Open Peer Review) oder die Zusammenarbeit (Team Science) zu fördern.
Monitoring-Ansätze
Auf europäischer Ebene gibt es verschiedene Initiativen, die das Monitoring von Open-Science-Praktiken voranbringen wollen. Ein Beispiel ist OpenAIRE’s Open Science Observatory, das die Anzahl der Open-Access-Publikationen, Open Data und Open-Access-Journals pro Land anzeigt. Zur Visualisierung der Daten aus verschiedenen Quellen werden Dashboards entwickelt. Im Fall des Open Science Observatory basieren die Daten auf dem OpenAIRE Research Graph, der Daten von institutionellen Repositorien und Zeitschriften mit Daten von Services wie Crossref, Unpaywall, ORCID und Grid.ac verknüpft. Ein anderes Beispiel ist der Open Science Monitor der Europäischen Kommission. Er zeigt in unterschiedlichen Dashboards Trends für Open-Access-Publikationen, Open Data und Open Collaboration. Das Monitoring der Open-Access-Publikationen basiert auf Scopus, Unpaywall und DataCite sowie qualititativen Daten von Umfragen. Darüber hinaus wird angezeigt, wie oft OA-Publikationen auf Social Media und anderen Medien erwähnt werden und die Anzahl der Policies von Forschungsförderorganisationen zu Open Access, Open Data sowie Journal Policies zu Open Data, Open Code und Open Hardware wird angegeben.
In Deutschland ist der Open Access Monitor ein wichtiges Instrument zur Erfassung des Open-Access-Publikationsaufkommens deutscher akademischer Einrichtungen in wissenschaftlichen Zeitschriften. Der Monitor bereitet die Angabe kategorisiert nach Gold/Green/Hybrid OA und Closed Access auf. Der Open Access Monitor Deutschland basiert ebenfalls auf mehreren Datenquellen. Dazu gehören Dimensions, Web of Science, Scopus, Unpaywall, Directory of Open Access Journals und weitere. Es können aber auch weitere Indikatoren bei nationalen Monitoring-Ansätzen vorgefunden werden: Im niederländischen Open Science Dashboard und dem französischen Open Science Monitor werden z.B. die Zertifizierung von und die Nutzung von persistenten Identifikatoren für Forschungsdaten in Repositorien dargestellt.
Auch auf Landesebene ist das Monitoring relevant: Das OABB koordiniert seit einigen Jahren eine Arbeitsgruppe, die seit 2016 das Open-Access-Publikationsaufkommen in wissenschaftlichen Zeitschriften für die neun publikationsstärksten Berliner Hochschulen erfasst. Dies steht im Zusammenhang mit dem in der Berliner Open-Access-Strategie formulierten Ziel, bis 2020 einen Open-Access-Anteil bei Zeitschriftenartikeln von 60 % zu erreichen. Der zuletzt erschienene Bericht über das Publikationsjahr 2019 wies einen Open-Access-Anteil von 51,6 % nach (der Bericht über das Publikationsjahr 2020 wird derzeit vorbereitet).
Abbildung 1: Screenshot des Open Access Monitor Deutschland: Gold Open Access und die Anteile für Open/Closed Access bei Zeitschriftenartikeln der letzten fünf Jahre (Abrufdatum: 11. April, 2022). URL: https://open-access-monitor.de/
Diese Monitoring-Ansätze sind spezialisiert auf das Publizieren in Zeitschriften und zeigen aus verschiedenen Gründen nicht die Diversität der Publikationsformate in den Fachkulturen, die auch Monografien, Sammel- und Konferenzbände, Forschungs-/Kulturdaten, Software, Quellcode, Lehrbücher, Open Educational Resources, Publizieren in Blogs sowie nicht-textuelle Medien, wie z.B. Audio-visuelle Medien und 3D-Modelle umfassen. Ein Problem sind die fehlenden bzw. nicht standardisierten Nachweisquellen, fehlende Indikatorik, Metriken und automatisierte Screening-Tools für diese Formate. Daher sind Monitoring-Ansätze bzw. Dashboards, die auf Disziplinen fokussieren, bislang die Ausnahme.
Das BIH Quest Dashboard
Für die biomedizinische Forschung hat das BIH QUEST Center das Charité Dashboard on Responsible Research erstellt. Die fünf dargestellten OS-Indikatoren Open Access, Open Data, Open Code, Preprints und Anzahl der Forscher*innen mit ORCiD. Datenquellen für OA-Artikel, Preprints und ORCiD sind Unpaywall, Dimensions, und die ORCiD API. Für die OS-Indikatoren Open Data und Open Code wurden die Charité-Publikationen mit einem von QUEST entwickelten Textmining-Algorithmus analysiert: ODDPUB (Open Data Detection in Publications) [6]. ODDPub durchsucht den Volltext der Publikationen nach Aussagen, die auf Daten- oder Code-Sharing hindeuten.
Abbildung 2: Screenshot des Charité Dashboards: Indikatoren für Open Science (Abrufdatum: 7. April, 2022). URL: https://quest-dashboard.charite.de/
Zuletzt wurde das Charité Dashboard um ein FAIR Dashboard erweitert: Forschungsdaten, die in Publikationen von Charité-Autor*innen aus dem Jahr 2020 erwähnt wurden, werden auf die Umsetzung der FAIR Data Principles geprüft, d.h. ob sie in den Repositorien, in denen sie veröffentlicht wurden, auffindbar, zugänglich, interoperabel und nachnutzbar sind [7]. Dafür wurde das F-UJI Automated FAIR Data Assessment Tool verwendet. Anhand von 16 Metriken wird so die FAIRness eines Forschungsdatenobjekts in einem Repositorium bewertet und kann als Hilfsmittel für Forscher*innen dienen, Services auszuwählen, die Daten möglichst umfassend nachnutzbar bereitstellen.
Entwicklung prototypischer Dashboards im BUA Open Science Dashboard Projekt
Für das Monitoring im biomedizinischen Bereich besteht mit dem Charité Dashboard eine funktionale Lösung, während es für viele weitere Disziplinen keine vergleichbaren Ansätze gibt. Ziel des von der Berlin University Alliance (BUA) geförderten Projekts Open Science Dashboards ist es, mit weiteren ausgewählten Instituten bzw. wissenschaftlichen Communities an den BUA-Einrichtungen zusammenzuarbeiten und gemeinsam Indikatoren für ein prototypisches Dashboard zu entwickeln. Die bestehenden Open-Science-Indikatoren des Charité Dashboards können als Ausgangspunkt für weitere disziplinspezifische Dashboards genutzt werden. Außerdem können neue Indikatoren wie z.B. für Citizen Science, Software, Open Educational Resources oder Open-Access-Bücher entwickelt werden.
Die Dashboard-Prototypen können von Instituts- oder Fakultätsleitungen intern genutzt, von Forscher*innen der Communities selbst verwendet, sowie bei Wunsch auch offen verfügbar gemacht werden. Ein besonderer Schwerpunkt liegt dabei auf der Automatisierbarkeit der Erhebung von Indikatoren sowie der Berücksichtigung der FAIR-Prinzipien.
Severin A, Egger M, Eve MP and Hürlimann D. Discipline-specific open access publishing practices and barriers to change: an evidence-based review [version 2; peer review: 2 approved, 1 approved with reservations]. F1000Research 2020, 7:1925. https://doi.org/10.12688/f1000research.17328.2
Pettibone L, Vohland K, Ziegler D (2017) Understanding the (inter)disciplinary and institutional diversity of citizen science: A survey of current practice in Germany and Austria. PLoS ONE 12(6): e0178778. https://doi.org/10.1371/journal.pone.0178778
Kristijan Armeni, Loek Brinkman, Rickard Carlsson, Anita Eerland, Rianne Fijten, Robin Fondberg, Vera E Heininga, Stephan Heunis, Wei Qi Koh, Maurits Masselink, Niall Moran, Andrew Ó Baoill, Alexandra Sarafoglou, Antonio Schettino, Hardy Schwamm, Zsuzsika Sjoerds, Marta Teperek, Olmo R van den Akker, Anna van’t Veer, Raul Zurita-Milla, Towards wide-scale adoption of open science practices: The role of open science communities, Science and Public Policy, Volume 48, Issue 5, October 2021, Pages 605–611. https://doi.org/10.1093/scipol/scab039
Tedersoo, Leho & Küngas, Rainer & Oras, Ester & Köster, Kajar & Eenmaa, Helen & Leijen, Äli & Pedaste, Margus & Raju, Marju & Astapova, Anastasiya & Lukner, Heli & Kogermann, Karin & Sepp, Tuul. (2021). Data sharing practices and data availability upon request differ across scientific disciplines. Scientific Data. 8. 192. https://doi.org/10.1038/s41597-021-00981-0
Zuiderwijk A, and Spiers H (2019) Sharing and re-using open data: A case study of motivations in astrophysics. International Journal of Information Management: 49, pp: 228-241. https://doi.org/10.1016/j.ijinfomgt.2019.05.024
Riedel, N., Kip, M. and Bobrov, E., 2020. ODDPub – a Text-Mining Algorithm to Detect Data Sharing in Biomedical Publications. Data Science Journal, 19(1), p.42. http://doi.org/10.5334/dsj-2020-042
Wilkinson, M., Dumontier, M., Aalbersberg, I. et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data 3, 160018 (2016). https://doi.org/10.1038/sdata.2016.18
