Überblick

Dieses Training vermittelt ein praxisorientiertes Verständnis für den gezielten Einsatz kontrafaktischer Wirkungsanalysen (KWA) in Forschungs-, Technologie- und Innovationsevaluierungen mit Fokus auf den österreichischen Kontext. Es richtet sich an alle Akteursgruppen des Evaluierungssystems, also an Auftraggeber:innen aus Verwaltung und Förderagenturen, an Evaluator:innen sowie an Policy-Intermediäre und Netzwerkinstitutionen. Teilnehmer:innen lernen, fundierte Entscheidungen über die Methodenwahl zu treffen, den damit verbundenen Ressourcenbedarf einzuschätzen und die Grenzen kausalanalytischer Designs im österreichischen FTI-System zu erkennen.

Der Zuschnitt liegt dabei bewusst auf der Entscheidungsebene und nicht auf der technischen Umsetzung. Die Arbeit mit Statistiksoftware und die Spezifikation eigener Schätzmodelle sind nicht Gegenstand des Trainings. Für Teilnehmer:innen mit methodischer Vorerfahrung liegt der Mehrwert entsprechend in der Praxisarbeit an konkreten Programmbeispielen und im Austausch zwischen den beteiligten Akteursgruppen.

Lernziele

Nach dem Training können Teilnehmer:innen:

• Kontextgerecht entscheiden: Beurteilen, für welche Evaluationsfragen und Programmtypen kontrafaktische Designs sinnvoll sind und für welche nicht
• Ressourcen realistisch kalkulieren: Verstehen, welche zeitlichen, finanziellen und datenseitigen Investitionen KWA erfordern und wann diese in einem angemessenen Verhältnis zum Erkenntnisgewinn stehen
• Qualitätsstandards einordnen: Unterscheiden zwischen robusten Designs (Level 3+) und leichteren Quasi-Experimenten und die damit verbundenen Unterschiede in der Aussagekraft einordnen
• Rolle im Methodenportfolio verstehen: Einordnen, welchen spezifischen Beitrag KWA innerhalb des Methodenportfolios einer Evaluierung leisten – und welche Fragen qualitative, theoriebasierte oder deskriptive Zugänge besser beantworten
• Institutionell agieren: Wissen, wie Evaluationsplanung, Datengovernance und Beschaffung strukturiert sein müssen, um KWA überhaupt möglich zu machen
• Grenzen kommunizieren: Aussagekraft und Unsicherheit kausaler Befunde gegenüber Entscheidungsträger:innen einordnen.

Trainingsstruktur

Das Training kombiniert theoretischen Input mit Praxisarbeit an konkreten Programmbeispielen aus Österreich.

Theoretisches Fundament: In komprimierter Form werden die konzeptionellen Grundlagen kausalanalytischen Denkens vermittelt: die fundamentale Frage (Kausalinferenz vs. Korrelation), die gängigsten Verfahren (Matching, DiD, RDD, Experimente) und ihre Anforderungsprofile. Der Fokus liegt auf Verständnis statt technischer Tiefe – Teilnehmer:innen sollen wissen, wann welches Verfahren warum geeignet ist, nicht wie es technisch implementiert wird.

Kontextbedingungen in Österreich: Der zweite Input-Block arbeitet die spezifischen Hürden und Chancen des österreichischen FTI-Systems heraus: kleine Fallzahlen, Förderkumulation, Zeitverzögerungen in Sekundärdaten, fragmentierte Dateninfrastruktur einerseits; wachsende Datenverfügbarkeit via AMDC, neue Methodologien (Synthetic Control), Policy-Experimente mit Randomisierung andererseits.

Praxisarbeit an Programmbeispielen: Im Hauptteil arbeiten die Teilnehmer:innen in gemischten Gruppen an zwei bis drei realen österreichischen Programmen (z. B. FFG-Basisprogramm, MSCA-Stipendien, KMU-Technologieprogramme), die die Bandbreite österreichischer Förderlogiken repräsentieren. Für jedes Programm klären sie gemeinsam:

• Welche Wirkungsfragen stellen sich hier?
• Sind KWA für diese Fragen sinnvoll? Wenn ja, welche Designs?
• Welche Daten wären nötig? Sind sie verfügbar?
• Welche Ressourcen müssten eingeplant werden? (Budgets, Laufzeiten, Expertise)
• Welche Alternativen (qualitative, Theory-Based, Mixed-Methods) wären komplementär wertvoll?
• Wie müsste die Programmplanung angepasst werden, um robuste Evaluation zu ermöglichen?

Diese Gruppenarbeit wird angeleitet durch Moderator:innen mit Expertise in österreichischen Evaluierungskontexten. Der Austausch zwischen Auftraggeber:innen, Evaluator:innen und Intermediären ist zentral – oft erkennen Auftraggeber:innen hier erstmals die Realitäten von Evaluator:innen und umgekehrt.

Abschluss: Eine kurze Synthese fasst zusammen, welche strukturellen Veränderungen (Datengovernance, Budgetierung, Evaluierungsplanung, Beschaffungspraxis) notwendig sind, damit kontrafaktische Designs in Österreich von der Ausnahme zur Regeloption werden können. Teilnehmer:innen erhalten ein Checklisten-Handout zur Entscheidungsfindung für die Praxis.

Zielgruppe und Zusammensetzung

Das Training ist bewusst heterogen zusammengesetzt. Auftraggeber:innen verstehen, was sie von Evaluator:innen realistisch verlangen können. Evaluator:innen erkennen, wo die Ausschreibungs- und Beauftragungspraxis die Methodenwahl prägt. Intermediäre und fteval-Mitglieder identifizieren Stellen, wo Systemadaptierung nötig ist. Dieser Dialog zwischen den Akteursgruppen ist oft das wertvollste Ergebnis des Trainings.

Ergebnis

Teilnehmer:innen können nach dem Training einschätzen, für welche Evaluierungsfragen und Programmtypen kontrafaktische Designs tragen, welche Daten und Aufwände sie voraussetzen und wo andere Zugänge die bessere Wahl sind. Die Arbeit an realen österreichischen Programmen macht diese Einschätzung direkt auf eigene Vorhaben übertragbar, und die gemeinsame Bearbeitung über die Akteursgruppen hinweg schafft ein geteiltes Verständnis davon, was in Beauftragung und Durchführung realistisch möglich ist.