ZBW MediaTalk

von Steffen Lemke

Geht es darum, den Einfluss einer wissenschaftlichen Publikation quantitativ zu erfassen, werden dafür üblicherweise Zitationen dieses Artikels in anderen Veröffentlichungen gezählt. Die Idee für dieses Verfahren stammt bereits aus den zwanziger Jahren des vergangenen Jahrhunderts (Link in englischer Sprache), maßgeblich befördert wurde es durch die Erstellung und Veröffentlichung erster Zitationsindizes in den sechziger Jahren (Link in englischer Sprache). Doch die Beschreibung wissenschaftlichen Einflusses mittels Zitationszahlen bringt diverse Limitationen mit sich: zwischen der Veröffentlichung eines Artikels und dem Großteil seiner Zitationen liegen häufig Jahre, Zitationsindizes sind meist auf wenige Publikationsarten beschränkt, außerdem spiegeln Zitationszahlen lediglich den Einfluss innerhalb der Wissenschaftsgemeinschaft wider und geben darüber hinaus keinen Aufschluss über Gründe oder den Kontext einzelner Erwähnungen.

Neue Formen der Einflussmessung

Angetrieben durch die Digitalisierung wissenschaftlicher Arbeitsprozesse sowie das Bestreben, Maße für den Einfluss wissenschaftlicher Publikationen zu etablieren, die die bekannten Einschränkungen der Zitationen umschiffen, entwickelten sich mit der Zeit Ideen für verschiedene alternative Metriken. Diese sogenannten „Altmetrics“ bezeichnen eine heterogene Gruppe von Indikatoren, denen in der Regel gemein ist, dass sie die Resonanz auf wissenschaftliche Veröffentlichungen auf diversen webbasierten Medien messbar machen sollen. So beschreiben die Altmetrics einer Publikation beispielsweise wie häufig diese auf sozialen Medien wie Twitter oder Facebook geteilt, auf Online-Auftritten von Massenmedien zitiert oder in Richtlinienpapieren referenziert wurde.

Das Altmetrics Manifesto (Link in englischer Sprache), das erheblich dazu beitrug, die fachliche Diskussion über alternative Einflussmetriken anzufeuern und eine Vielzahl verwandter Konzepte unter einem gemeinsamen Sammelbegriff zu bündeln, feiert dieses Jahr bereits seinen zehnten Geburtstag. Dennoch ist bisher wenig darüber bekannt, ob und wie Altmetrics mittlerweile im Arbeitsalltag von deutschen Forschenden Einzug gehalten haben. Nutzen deutsche Wissenschaftlerinnen und Wissenschaftler Altmetrics, beispielsweise um bei der Literaturrecherche einflussreiche Veröffentlichungen zu identifizieren? Und welche Sorgen und Bedenken haben sie möglicherweise, was die Verwendung von Altmetrics zur Relevanzmessung betrifft?

Sind Altmetrics im Forschungsalltag angekommen?

Um Fragen wie diesen auf den Grund zu gehen, haben wir eine Reihe von Gruppeninterviews mit Forschenden sowie eine anschließende Online-Umfrage durchgeführt (Link in englischer Sprache).

In den Interviews mit insgesamt neun Forschenden aus den Bereichen Wirtschaftswissenschaften, Biologie und Informatik zeigte sich ein einheitliches Bild bezüglich der Vorerfahrungen unserer Probandinnen und Probanden mit wissenschaftlicher Impactmessung: zitationsbasierte Indikatoren, insbesondere der Journal-Impact-Faktor, sind auch Forschenden auf frühesten Karrierestufen bereits bekannt und werden aktiv zurate gezogen – beispielsweise wenn es darum geht, in welchen Journalen eigene Arbeiten eingereicht werden oder welche Quellen bevorzugt zitiert werden sollen. Das Konzept „Altmetrics“ hingegen schien nahezu allen Teilnehmenden neu.

Obwohl also von einem geringen Erfahrungsstand bezüglich Altmetrics bei vielen deutschen Forschenden auszugehen war, wollten wir wissen, welche Gedanken und eventuellen Bedenken Wissenschaftlerinnen und Wissenschaftler hinsichtlich der Verwendung alternativer Metriken zur Messung wissenschaftlichen Einflusses hätten. Neben den Gruppeninterviews führten wir dafür eine größer angelegte Online-Umfrage unter Forschenden durch, mit Fokus auf die uns aus anderen Forschungsvorhaben bereits bekannte Zielgruppe der Wirtschafts- und Sozialwissenschaftlerinnen und -wissenschaftler.

Welche Bedenken haben deutsche Forschende hinsichtlich der Nutzung von Altmetrics?

Die insgesamt 320 Teilnehmenden der Umfrage, die als Land der Zugehörigkeit Deutschland auswählten, äußerten in einer Vielzahl von Freitextantworten diverse Bedenken bezüglich der Nutzung von Altmetrics. Bestimmte Hypothesen traten jedoch wiederholt auf:

  • Altmetrics messen Popularität, Verbreitungsanstrengungen oder den Grad der Vernetzung der Autoren, nicht jedoch Relevanz oder gar Qualität einzelner Artikel.
  • Altmetrics sind anfällig gegenüber gezielten Manipulationen (ein auch „Gaming“ genanntes Verhalten, Link in englischer Sprache) – beispielsweise durch wiederholtes Teilen der eigenen Artikel.
  • Altmetrics können Entscheidungsträger dazu verführen, die inhaltliche Auseinandersetzung mit zu beurteilenden Publikationen zu vernachlässigen.
  • Altmetrics weisen inhärente Verzerrungen auf, beispielsweise zum Vorteil westlicher, englischsprachiger Literatur.

Manche Teilnehmende beschrieben negative Folgen, die die verbreitete Nutzung von Altmetrics auf die Wissenschaft im Allgemeinen haben könnte. So würde der Metrics-Hype das „Publish or perish“-Prinzip (Link in englischer Sprache) verstärken, das seinerseits wiederum schlechte wissenschaftliche Praktiken befördern würde. Auch wurde die Sorge geäußert, dass ein Fokussieren der Aufmerksamkeit auf Metriken dazu führen könnte, dass wissenschaftliche Zeitschriften, im Bestreben ihre eigenen Metriken zu optimieren, immer generischere Designs annähmen.

Folgerungen für die Arbeit mit und Kommunikation über (Alt-)Metriken

Betrachtet man die von deutschen Forschenden geäußerten Bedenken hinsichtlich Altmetrics, lässt sich positiv festhalten, dass aus den gegebenen Antworten ein Bewusstsein für diverse Aspekte spricht, deren Beachtung bei der quantitativen Beurteilung wissenschaftlicher Leistung stets von großer Wichtigkeit ist. Es lässt sich jedoch auch festhalten, dass nahezu alle der bei Altmetrics befürchteten Schwächen auch für zitationsbasierte Indikatoren eine Rolle spielen – ein sehr viel weiter erforschter Bereich, für den entsprechend bereits substanziellere Best Practices ausgearbeitet wurden.

Viele der bei deutschen Forschenden vorliegenden Bedenken ließen sich folglich bereits dadurch adressieren, dass innerhalb der Metrics-Forschung (auch Szientometrie genannt) schon etablierte Erkenntnisse deutlicher auch an Wissenschaftlerinnen und Wissenschaftler außerhalb dieses Fachgebiets kommuniziert und von diesen in Evaluationssituationen befolgt werden. So gibt das (innerhalb der szientometrischen Gemeinschaft viel beachtete) Leidener Manifest zu Forschungsmetriken (Link in englischer Sprache) bereits vor, dass quantitative Evaluationen nur komplementär zu qualitativen Expertenurteilen eingesetzt werden sollten, oder dass Indikatoren mit Rücksicht auf feldspezifische Eigenheiten ausgewählt werden und in normalisierter Form ausgewertet werden sollten.

Bezüglich der Hypothese, Altmetrics seien verwundbar gegenüber gezielten Manipulationen, sei angemerkt, dass das Altmetrics Manifesto die Verwundbarkeit des Journal-Impact-Faktors als eine Begründung für den Bedarf an neuartigen Metriken anführt. Die hohe Anzahl und Diversität der Plattformen, auf denen Altmetrics die Messung wissenschaftlichen Einflusses ermöglichen sollen, soll das bewusste Manipulieren von Indikatoren erschweren. Nichtsdestotrotz bleiben der adäquate Umgang mit Gaming bei Altmetrics – ebenso wie bei zitationsbasierten Metriken – sowie die Suche nach geeigneten konzeptionellen und technischen Lösungen in der Szientometrie von großer Bedeutung.

Kompetenz im Umgang mit Metriken

Ein Großteil der Bedenken, die den Wert von Altmetrics für Forschende derzeit unter Umständen beschränken, stellt also berechtigte Hinweise auf existierende Limitationen der Metriken dar, denen von Anwenderseite durch Berücksichtigung bestehender szientometrischer Erkenntnisse begegnet werden muss. Ein erheblicher Anteil der Antworten aus Interviews und Umfrage deutet aber noch auf eine weitere, die Forschenden als Nutzerinnen und Nutzer der Metriken selbst betreffende Problematik hin: häufig erschwert fehlendes Wissen über Hintergründe und Limitationen der Indikatoren deren valide Interpretation erheblich. In einer wissenschaftlichen Realität, in der Forschende häufig bereits zu Beginn ihrer Karriere dazu erzogen werden, ihre Literatur und ihre Publikationswege basierend auf Impact-Faktoren auszuwählen, stellt dies einen gravierenden Missstand dar.

Eine Abkehr von quantitativer Leistungsmessung in den Wissenschaften ist so bald nicht zu erwarten – folglich sollte zumindest die Erschaffung fairerer Bedingungen für Forschende (Link in englischer Sprache) durch fächerübergreifende Vermittlung von Kompetenzen zur validen Verwendung von Metriken der wissenschaftlichen Gemeinschaft ein Anliegen sein. Denn eine formale Ausbildung zu „Metrik-Kompetenz“ dürften aktuell nur die wenigsten der angehenden Wissenschaftlerinnen und Wissenschaftler erfahren, die in ihrem späteren Karriereverlauf selbstverständlich mittels Metriken bewertet und bewerten werden.

Und schließlich weisen die Bedenken der Forschenden auch darauf hin, dass im Bereich Altmetrics noch großer Forschungsbedarf besteht. Denn obwohl sich Darstellungen altmetrischer Kennzahlen mittlerweile auf diversen Publikationsseiten (Link in englischer Sprache) finden lassen, ist unser Wissen darüber, was Altmetrics aussagen und was verschiedene gemessene Signale eint oder voneinander unterscheidet, tatsächlich noch äußerst lückenhaft.

Dieser Artikel basiert auf einem Präsentationsbeitrag zur Webinar-Serie von Altmetric.com (Link in englischer Sprache). Die Folien des Originalbeitrags können hier heruntergeladen werden (Link in englischer Sprache). Die Aufnahme der (englischsprachigen) Präsentation gibt es zum Nachhören hier.

Die im Artikel beschriebenen Ergebnisse basieren auf einer Teilstichprobe der Studie “When You Use Social Media You Are Not Working”: Barriers for the Use of Metrics in Social Sciences, die im Journal „Frontiers in Research Metrics and Analytics“ publiziert wurde. (Link in englischer Sprache)

Autor: Steffen Lemke

Steffen Lemke ist Mitglied der Forschungsgruppe Web Science an der ZBW – Leibniz- Informationszentrum Wirtschaft und Doktorand der Informatik an der Christian-Albrechts-Universität zu Kiel. Steffen forscht zu Themen der Szientometrie und Wissenschaftskommunikation. Sein besonderes Forschungsinteresse gilt Bewertungssystemen wissenschaftlicher Leistung und ihren Auswirkungen auf die Arbeitsweisen von Wissenschaftlerinnen und Wissenschaftlern.

The ZBW – Leibniz Information Centre for Economics is the world’s largest research infrastructure for economic literature, online as well as offline.

Next Post