Woran wollen wir gemessen werden? 

Reflexionen aus dem OIS zam Themencafé der Plattform fteval

Beim diesjährigen OIS zam Forum der Ludwig Boltzmann Gesellschaft kamen wieder zahlreiche Citizen Scientists und Forschende zusammen, um neue Formen des offenen, partizipativen Wissen-Schaffens auszuprobieren, zu diskutieren und weiterzuentwickeln. Die Plattform fteval war eingeladen, ein Themencafé zu gestalten – und selbstverständlich ging es dabei um Evaluierung. Genauer: um die Frage, woran partizipative Forschungsprojekte eigentlich gemessen werden möchten und wie Programme gestaltet sein müssen, um diese Formen von Forschung sinnvoll zu unterstützen.

Die für die Plattform fteval gewohnte Perspektive der Programmebene musste für diese Übung weitgehen verlassen werden: Da sich die Teilnehmer:innen vor allem aus Projektmitarbeiter:innen speiste, wurde die Perspektive von Programmeigner:innen daher nur indirekt diskutiert. Grundsätzlich müssen Projekte beobachten, ob ihre Prozesse funktionieren, ob Teilnehmende motiviert bleiben und ob die wissenschaftlichen Schritte gelingen. Programme wiederum müssen Kriterien entwickeln, nach denen partizipative Ansätze gefördert, ausgewählt und unterstützt werden können – und natürlich danach idealerweise evaluieren, ob sie dabei erfolgreich sind. Manches überschneidet sich – zum Beispiel Fragen der Datenqualität oder der Zielgruppenerreichung. Anderes unterscheidet sich deutlich: Programme müssen vergleichbare Maßstäbe entwickeln, während Projekte auf die eigenen, sehr spezifischen Kontexte reagieren.

Der Ablauf im Themencafé war nach den drei klassischen Funktionen von Evaluation strukturiert: Legitimation, Kontrolle und Lernen. Die Diskussion zeigte eindrucksvoll, wie vielfältig und zugleich konsistent die Bedürfnisse im Feld partizipativer Wissenschaft sind. In dem Artikel sollen die Ergebnisse des Themencafés nun kurz dargestellt werden.

1. Legitimation:
   Woran wollen wir gemessen werden – und wofür wünschen wir uns Sichtbarkeit?

Gleich zu Beginn zeigte sich, dass die Frage nach Legitimation weit über reine Outputzahlen hinausgeht. Viele Teilnehmende wünschen sich Anerkennung für die Qualität ihrer Arbeit – und zwar für Aspekte, die in klassischen Evaluationslogiken kaum vorkommen.

Auf Projektebene entsteht Legitimation daher nicht nur aus Datenqualität, sondern aus Verständnis, Teilhabe und Relevanz. Als besonders wichtig wurde genannt, dass Projekte Bewusstsein bei Teilnehmenden schaffen, dass sie wissenschaftliche Fragestellungen verständlich machen und dass Citizen Scientists spürbar erleben, wie ihre Beiträge das Projekt tatsächlich beeinflussen. Mehrfach wurde in diesem Zusammenhang betont, dass es nicht um Quantitäten geht. Die Anzahl der erreichten Personen oder Schulklassen sagt wenig darüber aus, ob etwas gelungen ist. Entscheidend sind die Tiefe und Qualität der Aktivitäten, ob Menschen sich ernst genommen fühlen, ob sie sich aktiv einbringen möchten und ob ihre Perspektiven sichtbar werden – auch jene, die sonst seltener gehört werden. Gerade in partizipativen Projekten spiel außerdem der Wunsch nach mehr Sichtbarkeit marginalisierter Gruppen und nach einer ausgewogenen Wertschätzung unterschiedlicher Perspektiven eine zentralere Rolle.

Ein wiederkehrendes Motiv in der Diskussion war die Frage nach der Wirkung. Hat sich etwas verändert – im Verhalten, in Einstellungen, im Verständnis wissenschaftlicher Prozesse? Wird Skepsis abgebaut? Sprechen Citizen Scientists in ihren Communities über das Thema weiter? Bedeutet ihre Beteiligung wirklich etwas für die Forschung oder bleibt sie dekorativ?

Gerade vor dem Hintergrund der Wirkung wünschen sich einige Projekte, dass von den Co-Forschenden definierte Ziele in Förderlogiken stärker berücksichtigt werden: Wenn Beteiligte selbst Outcomes formulieren – etwa „Ich möchte, dass wir mit diesem Projekt lokal etwas ins Rollen bringen“ – sollte das als legitimes, evaluierbares Ergebnis gelten. Auch die Qualität der Zusammenarbeit, die Atmosphäre im Projektteam oder der Grad, in dem der geplante Beteiligungsprozess tatsächlich umgesetzt wurde, sind für viele zentrale Legitimationselemente für den Mehrwert partizipativer Wissenschaft – während der zusätzliche Arbeitsaufwand für Partizipation seinerseits Legitimation benötigt.

Auffällig war schließlich der nach wie vor sehr präsente Wunsch nach mehr wissenschaftlicher Akzeptanz für partizipative Prozesse. Sichtbarkeit richtet sich also nicht nur nach außen, sondern auch nach innen – in Richtung Fachcommunity und Förderinstitutionen. Dabei wäre es für Fördergeber und Programme auch erstrebenswert, dass die oben genannte Punkte vermehrt in deren Evaluation einfließen: einerseits um die Legitimation der Programme zu verbessern, weil ihre Wirkung umfassender betrachtet wird und andererseits, um diese besser an die Bedürfnisse partizipativer Projekte anpassen zu können, weil eine bessere Lerngrundlage zur Verfügung steht.

2. Kontrolle:
   Woran erkennen wir, ob es gut läuft?

Beim Thema Kontrolle ging es stark um die alltägliche Beobachtung des Projektfortschritts. Hier rückten sehr konkrete Indikatoren in den Mittelpunkt: Zufriedenheit, Motivation und die Qualität der Zusammenarbeit. Viele beschrieben, dass sie schon früh merken, ob es „läuft“ – zum Beispiel, wenn sich Teilnehmende aktiv einbringen, Fragen stellen oder eigene Themen mitbringen. Eine offene Gesprächsbasis, produktives Arbeitsklima und spürbares Vertrauen werden als wichtige Signale gesehen – die jeweils auch wieder eher qualitative Indikatoren darstellen.

Für das Gelingen spielen insbesondere strukturelle Elemente eine Rolle: stabile Beteiligungsquoten, regelmäßige Rückmeldungen, funktionierende Kommunikationskanäle, eine nachvollziehbare Erfüllung der Workpackages. Manche Projekte setzen auf formalisierte Austauschrunden aller Stakeholder, andere auf schnelle Feedbackschleifen zu einzelnen Aktivitäten, etwa indem Teilnehmende direkt nach Workshops oder Datenerhebungsschritten gefragt werden, was gut funktioniert hat und wo Anpassungen nötig sind. Für Evaluator:innen können diese strukturellen Elemente ein guter Einstiegspunkt sein, um ein Projekt einerseits einzuschätzen und andererseits eine Basis für die Indikatorik zu haben.

Auch wissenschaftliche Outputs – Publikationen, valide Datenprodukte, Beiträge zu Konferenzen – wurden erwähnt, allerdings eher als mittelbare Zeichen dafür, dass Prozesse funktionieren. Wichtiger scheint vielen die Frage, ob die Zielgruppe tatsächlich erreicht wird, ob die Beteiligung am Thema festhält, ob Motivation erhalten bleibt und ob die Aktivitäten in die Communities der Teilnehmenden hineinwirken.

Interessant war die Diskussion darüber, ob Evaluation intern oder extern erfolgen sollte. Viele wünschten sich eine Reflexion beider Seiten: von Projektteams und Citizen Scientists. Gleichzeitig wurde die Sorge geäußert, dass zu strikte Erhebungen abschreckend wirken könnten. Kontrolle sollte deshalb nicht als Sanktion verstanden werden, sondern als Möglichkeit, Prozesse frühzeitig anzupassen – flexibel und dialogorientiert. Von Programmen wiederum wird aufgrund der Natur von partizipativen Projekten eine gewisse Flexibilität abverlangt, weil die Projekte sich mit ihren Teilnehmer:innen mitentwickeln.

3. Lernen:
   Wie gelingt Lernen – und welche Kommunikation braucht es?

Lernen wurde von allen als gemeinsamer Prozess verstanden, der nur gelingt, wenn Räume dafür bewusst geschaffen werden. Diese Räume sollen multiperspektivisch sein, unterschiedliche Lebensrealitäten einbeziehen und ermöglichen, offen über Unsicherheiten und Fehler zu sprechen. Eine ehrliche Fehlerkultur, frei von der Sorge, dass Kritik zu Kürzungen oder negativer Bewertung führt, gilt als zentrale Voraussetzung. Evaluator:innen partizipativer Projekte sollten daher achtsam mit den internen Lernprozessen eines Projektes umgehen. Diese können einerseits eine fruchtbare Quelle für die Evaluation sein, sollten aber durch diese nicht zu einem Rechtfertigungsinstrument verwandelt werden, wodurch der Lernprozess gestört werden kann.

Insgesamt spielt die Moderation von Prozessen in partizipativen Projekten eine große Rolle: diese sollte sich strukturierend, ohne zu stark zu steuern; erklärend, ohne zu belehren durch das Projekt ziehen. Einander zuzuhören, nicht vorschnell zu bewerten und auf Augenhöhe zu kommunizieren, wurden immer wieder als elementare Prinzipien genannt. Besonders hilfreich seien Dialogformate am Ende wichtiger Projektphasen oder nach Milestones – Momente, in denen gemeinsam reflektiert werden kann, was funktioniert, wo Anpassungen nötig sind und welche Erfahrungen ausgetauscht werden sollten.

Mehrfach kam der Wunsch auf, Projekte miteinander zu vernetzen, um voneinander zu lernen – einschließlich der Dinge, die nicht wie geplant funktioniert haben. Hierbei könnten entsprechend aufgearbeitete Programmevaluationen ein nützliches Tool darstellen, die ein projektübergreifendes Lernen ermöglichen können. Auch der Gedanke, zu Beginn eines Projekts die jeweiligen Motivationen, Rollenbilder, Zeitressourcen und Erwartungen offen zu legen, wurde als wichtiger Baustein für gelingende Zusammenarbeit genannt.

In der Kommunikation selbst geht es um Niederschwelligkeit und Regelmäßigkeit: klare Sprache, die richtigen Kanäle, der passende Rhythmus. Entscheidungen sollten gemeinsam getragen werden, damit ein echtes Projekt-Ownership entsteht. Und in manchen Fällen braucht es einfach praktische Unterstützung, etwa Schulungen für Kompetenzen, die für die Mitarbeit nötig sind.

Ein bemerkenswerter Befund: „Co-Forschende“ oder „Zielgruppe“?

In vielen Beiträgen wurden Citizen Scientists als „Co-Forschende“ bezeichnet – ein Ausdruck echter Partnerschaft. Gleichzeitig fiel auf, dass oft auch von der „Zielgruppe“ gesprochen wurde. Dieser Begriff verweist auf die Logiken klassischer Outreach-Projekte und markiert unbewusst eine hierarchische Perspektive. Das Spannungsfeld zwischen partnerschaftlicher Zusammenarbeit und traditionellen Strukturen wurde damit sehr sichtbar – und zeigt, wie wichtig es ist, Sprache, Rollenbilder und Evaluationslogiken gemeinsam weiterzuentwickeln. Die Umgang mit solchen Begrifflichkeiten sollte in jedem Fall von Evaluator:innen vor einer Evaluation reflektiert und möglicherweise mit den Programmeigner:innen und Projekten besprochen werden.

Wie geht es weiter? Über Indikatoren nachdenken – für Projekte und Programme

Auf Basis der Diskussionen lässt sich erkennen, dass künftige Indikatorensets mehrdimensionale Perspektiven abbilden müssen: Qualität der Zusammenarbeit, Tiefe der Beteiligung, Wirkung auf Teilnehmende und Communities, wissenschaftliche Belastbarkeit der Ergebnisse, strukturelle Rahmenbedingungen und die Frage, ob Beteiligte sich ernsthaft eingebunden fühlen. Für Programme wiederum bedeutet dies, dass Förderlogiken Raum für solche Qualitäten schaffen müssen – durch Kriterien, die Co-Design, Empowerment, Fehlerkultur und kommunikative Qualität nicht nur zulassen, sondern gezielt fördern.

Fördergeber:innen könnten etwa stärker berücksichtigen, wie Projekte Beteiligungsprozesse planen, welche Rollen Citizen Scientists einnehmen, wie Reflexionsschleifen organisiert sind oder welche Wirkung über die unmittelbaren Outputs hinaus angestrebt wird. Gleichzeitig sollten Programme den notwendigen Mehraufwand anerkennen – finanziell, zeitlich, organisatorisch – und Anreize für echte Partnerschaft schaffen.

Fragen für das nächste OIS zam Forum

Damit wir die gewonnenen Erkenntnisse vertiefen und die Entwicklung konkreter Indikatoren weiterbringen können, nehmen wir folgende Fragen mit ins nächste Jahr:

1. Welche Formen von Wirkung – auf Teilnehmende, Communities oder Forschung – sind für euch am wichtigsten?
2. Welche Kriterien sollten Programme nutzen, um partizipative Projekte fair und sinnvoll zu bewerten?
3. Welche Indikatoren könnten von Citizen Scientists selbst mitdefiniert werden?
4. Wie kann ein Gleichgewicht zwischen wissenschaftlichen Anforderungen und partizipativer Qualität hergestellt werden?
5. Welche Strukturen braucht es, damit Fehlerkultur und offene Kommunikation in Projekten wirklich gelebt werden können?
6. Wie können Programme den Mehraufwand für Partizipation sichtbar machen – und angemessen honorieren?
7. Und ganz grundsätzlich: Welche Art von Unterstützung würdet ihr euch wünschen, damit partizipative Forschung in Österreich weiter wachsen kann?

Einen herzlichen Dank an das Team des OIS Centers für die Einladung und die Unterstützung vor Ort. Die Diskussion hat deutlich gemacht, dass Citizen Science nicht nur neue Erkenntnisse hervorbringt, sondern auch neue Evaluationsfragen eröffnet – und dass dieser gemeinsame Reflexionsraum für Projekte, Programme und Förderlogiken gleichermaßen wertvoll ist. Wir freuen uns darauf, die Diskussion beim nächsten OIS zam Forum weiterzuführen!