„Neue Herausforderungen an verantwortungsvolle und (teil)automatisierte Forschungsbewertung“

Forschende, Forschungsergebnisse, sowie Forschungsprojekte und –institutionen werden kontinuierlich systematischen Bewertungen unterzogen. Auf Grundlage von Peer Review, aber auch von Daten wie Veröffentlichungshäufigkeit und Zitationen, daraus abgeleiteten Indikatoren wie h-Index, Journal-Indikatoren und anderen, treffen Komitees laufend Entscheidungen, die einen prägenden Charakter für die gesamte Forschungspraxis haben, von Einstellungen und Berufungen bis hin zur Drittmittelvergabe.

Die Nutzung und Weiterentwicklung dieser Bewertungssysteme war nie herausfordernder als heute. Zum einen, weil der unmittelbare Output der Forschung immer vielfältiger wird – neben Fachartikeln gibt es nun auch Code, Daten und mehr. Spätestens mit der – u.a. von der EU in Horizon Europe verfolgten – Missionsorientierung der Forschungsförderung ist zudem klar, dass Funktionen des Wissenstransfers ebenfalls bewertbar gemacht werden müssen. Zugleich gibt es eine wachsende Vielfalt von Förderern und Förderarten – als Stichwort sei hier nur an neue private Großstiftungen in den USA wie Bill und Melinda Gates sowie Chan Zuckerberg erinnert.

Verantwortungsvolle, transparente Forschungsbewertung würde heute eigentlich eine Ausdehnung des Konzepts von FAIR Data auf abgeleitete szientometrische Daten bedeuten (FAIR Metrics). Dem steht jedoch eine Bewertungspraxis gegenüber, die sich in den letzten dreißig Jahren zunehmend daran gewöhnt hat, proprietäre Indikatoren und Plattformen ihr Vertrauen zu schenken – z.T. gegen den expliziten Rat von Fachleuten aus der szientometrischen Forschungscommunity (Vgl. Leiden Manifesto sowie San Francisco Declaration on Research Assessment).

Maßgeschneiderte Auswertungen und Visualisierungen über diverse Datenquellen hinweg, neue Ansätze zur (teil)automatisierten Forschungsbewertung u.a. auf der Basis von Machine Learning, sowie Daten aus DLT-basierten Transaktionsprotokollen – all dies beruht heute zwar oft auf freiem, überprüfbarem Code und FAIRen Daten, doch es ergeben sich daraus neue Herausforderungen an verantwortungsvolle Forschungsbewertung, die im Zusammenhang mit der oben angesprochenen kontinuierlichen Weiterentwicklung der Bewertungssysteme, sowie mit der Dominanz proprietärer Forschungsindikatorik diskutiert werden müssen.

Mehr über Lambert Heller: https://tib.eu/Lambo

Lambert Heller arbeitet am TIB – Leibniz-Informationszentrum Technik und Naturwissenschaften und Universitätsbibliothek. Er ist Leiter des Open Science Lab.

Schwerpunkte:

Akademische Bibliotheken und andere Forschungsinfrastrukturen in einer globalisierten und vernetzten Welt, insbesondere in Bezug auf

·         Zuschreibung und Bewertung von Forschungsbeiträgen, insbesondere Governance und ethische Herausforderungen, denen sich Akteure wie Elsevier, Clarivate, ResearchGate und Google Scholar gegenübersehen,

·         Ansätze zur Zuschreibung und Bewertung von Forschungsbeiträgen mit von der Community geleiteten Governance-Modellen, einschließlich ORCID, VIVO, sowie neueren dezentralen Ansätzen wie SOLID, MaidSafe und Blockchain,

·         Open Educational Resources (OER), insbesondere Nutzung von Peer-Generierungsansätzen wie bei Wikipedia und booksprints,

·         Kompetenzentwicklung für Fachkräfte aus Forschung, Bibliotheken und Forschungsinfrastruktur sowie für Nachwuchsforscher.