Allgemeine Prinzipien für Evaluierungen
Diese Grundsätze sind ein wesentlicher Bestandteil der Bewertungsstandards und definieren die Anforderungen und Erwartungen verschiedener Teilnehmer, z. B. des Kunden oder der Kundenorganisation, der Bewerter und der von der Bewertung betroffenen Personen. Diese Grundsätze gelten für alle Arten von Bewertungen im Bereich der FTI-Politik. Die Bewertungen unterscheiden sich je nach Umfang, Zielsetzung, methodischem Ansatz usw. in ihrer Art voneinander. Dennoch wird erwartet, dass die Grundsätze und Standards gewissenhaft (als Verhaltenskodex) angewendet und eingehalten werden. Alle in diesen Standards beschriebenen Prinzipien sind gleichermaßen wichtig und voneinander abhängig.
Alle an einer Evaluierung Beteiligten bzw. relevanten Interessensgruppen (AuftraggeberInnen inklusive EvaluierungsmanagerInnen, EvaluatorInnen, VertreterInnen des Evaluierungsgegenstands) haben das gleiche Verständnis was eine Evaluierung allgemein ist (siehe Definition), was sie leisten kann und was nicht. Sie sind sich darüber einig, dass der Evaluierungsprozess ebenso wichtig ist wie die möglichen Zwischen- und Endergebnisse. Eine Evaluierung wird als Kommunikationsprozess verstanden.
Eine Evaluierung wird von allen relevanten EntscheidungsträgerInnen akzeptiert, institutionell mitgetragen und unterstützt. Als Ausdruck dieses Commitments ist eine Evaluierung dem Umfang entsprechend, ausreichend budgetiert und die notwendigen zeitlichen Ressourcen sind zur Verfügung gestellt. Die einzelnen Aufgaben und deren Verantwortung sind klar definiert und schriftlich festgehalten.
Eine Evaluierung ist nach dem Informationsbedarf der relevanten Interessensgruppen ausgerichtet. Sowohl der Evaluierungsprozess als auch die Evaluierungsergebnisse sollen für diese nützlich sein. Der Evaluierungsnutzen ist in der Regel dann gegeben, wenn alle relevanten Interessensgruppen in den Evaluierungsprozess partizipativ einbezogen sind, bedeutsame Evaluierungsfragen formuliert, professionell beantwortet und verständliche Evaluierungsempfehlungen kommuniziert sind. Eine Evaluierung gilt als nützlich, wenn sie rechtzeitig begonnen und beendet wurde und ihre Ergebnisse in Entscheidungs- und Verbesserungsprozesse einfließen. Im Rahmen der Evaluierung ist auch die Nutzung der erhobenen Daten geklärt, dies sollte in der Regel aus der Vergabeunterlage und/oder dem Vertrag ersichtlich sein.
Eine Evaluierung ist im zeitlich vorgegebenen Rahmen für alle relevanten Interessensgruppen realisierbar. Ausreichend Zeit ist nicht nur für die Erstellung qualitativ hochwertiger Anträge wichtig, sondern auch für den ausgewiesenen Evaluationszweck, die klar formulierten Evaluierungsfragen, den Methodensatz, die Datenauswertung, die Validierung der Ergebnisse u.a. Eine Evaluierung ist dann erfolgreich durchführbar, wenn die Art der Evaluierungsfragen und die Methoden mit dem Umfang der Evaluierung kompatibel und ausreichende Mittel zur Verfügung gestellt sind, die Evaluierung von kompetenten EvaluatorInnen durchgeführt wurde und keine externen Faktoren die Durchführung behindern.
Der gesamte Evaluierungsprozess und die Ergebnisse lassen auf unvoreingenommene Handlungen und Positionen schließen, müssen nachvollziehbar und transparent zustande gekommen sein. Relevante Werthaltungen, die möglicherweise den Evaluierungsprozess als auch die Ergebnisse beeinflussen, müssen explizit gemacht werden. Unterschiedliche Meinungen, Sichtweisen und Positionen von Personen bzw. Interessensgruppen spiegeln sich im Zwischen- und/oder Endergebnissen wieder. Die Evaluierung wird als ergebnisoffener Prozess verstanden.
Eine Evaluierung wird mithilfe von wissenschaftlichen Methoden erstellt. Unterschiedliche Meinungen bzw. Positionen, sind berücksichtigt. Die Evaluierung ist weder von Politik, AuftraggeberInnen, dem Programmmanagement oder auch von einem möglichen Bias der EvaluatorInnen selbst, inhaltlich beeinflusst bzw. manipuliert. Gefälligkeitsgutachten oder dergleichen, um möglicherweise Folgeaufträge zu generieren, sind zu unterlassen.
Alle relevanten Interessensgruppen sind frühzeitig im Evaluierungsprozess, z.B. anhand einer Stakeholder-Analyse, identifiziert und sind in der Evaluierungskonzeption eingebunden. Die Geschlechterperspektive ist dabei berücksichtigt, das heißt, es ist geprüft, ob Frauen und Männer vom Evaluierungsgegenstand und im Evaluierungsprozess unterschiedlich betroffen sind.
Sowohl AuftraggeberInnen wie auch EvaluatorInnen müssen über bestimmte Kompetenzen verfügen, um eine Evaluierung zu steuern bzw. durchzuführen. Dazu zählen die inhaltliche, methodische und geschlechtsspezifische Expertise, Kenntnisse über unterschiedliche Vergabeverfahren, Managementfähigkeiten und soziale Kompetenzen inklusive einem Verantwortungsbewusstsein.
Die Darstellung des Evaluierungsgegenstands beinhaltet die ursprünglich geplanten Interventionen und Wirkungen auf Frauen und Männer. Wenn die Genderdimension bei der Planung nicht berücksichtigt wurde, so ist dies anzuführen. Geschlechterspezifische Evaluierungsfragen sind in den ToR berücksichtigt. Daten sind geschlechtsdifferenziert erhoben, ausgewertet und interpretiert. Kontexte (Konzepte, Strategien, Politikdokumente, Programmunterlagen, Interventionen, u.a.) und gewonnene Informationen sind auf geschlechterspezifische Unterschiede analysiert und interpretiert. Evaluierungsempfehlungen berücksichtigen geschlechtsspezifische Aspekte. Alle für die Evaluierung erstellten Dokumente, wie die Ausschreibungsunterlage, der Evaluierungsbericht, u.a. sind geschlechtergerecht und/oder geschlechtsneutral formuliert. Das heißt, dass entweder die männliche und weibliche Form (z.B. Auftraggeber und Auftraggeberin oder AuftraggeberInnen) und/oder eine neutrale Form (z.B. Personen, Beschäftigte, Beteiligte) verwendet sind.
Der Evaluierungsprozess, seine Ergebnisse und die darauf basierenden Empfehlungen müssen für alle Beteiligten und Betroffenen nachvollziehbar und transparent sein bzw. zustande kommen. Das erfordert auch die öffentliche Zugänglichkeit von Evaluierungsergebnissen/Berichten, siehe fteval-Repositorium, https://repository.fteval.at/. Sollten unterschiedliche Auffassungen, Erwartungen, Interessen und Bedürfnisse zutage treten, so ist es notwendig, sich frühzeitig damit auseinander zu setzen, um Ungereimtheiten, unterschiedliche Erwartungen oder auch Missverständnisse zu klären. Diese können den Evaluierungsprozess und die Ergebnisse negativ beeinflussen. Die Teilnahme und der Respekt der Beteiligten ist unter anderem auch ein wesentlicher Faktor, ob die Evaluierungsergebnisse angenommen und umgesetzt werden.
Tätigkeiten im Zusammenhang mit Evaluierungen sind ethisch verantwortungsvoll, gender-sensibel und mit einer Offenheit gegenüber kultureller Vielfalt durchgeführt. Bei dem Thema Diversität werden die Aspekte von Alter, Herkunft, Sprache, u.a. berücksichtigt. Alle an einer Evaluierung Beteiligten oder Betroffenen werden respektvoll und fair behandelt. Evaluierungen sind so geplant und durchgeführt, dass die Persönlichkeitsrechte, Sicherheit und Würde aller Beteiligten und Betroffenen geschützt sind. Sensible Daten dürfen nicht ohne Zustimmung verwendet und nicht zu ihrer Quelle zurückverfolgt werden können. Erhobene Daten unterliegen dem allgemeinen Datenschutz und sind in der Regel Eigentum der Auftrag gebenden Institution. Im Sinne eines ethischen Handels, sind Evaluierungsaktivitäten nicht zu behindern und ihre Ergebnisse nicht verzerrt darzustellen oder zu interpretieren. Eine Evaluierung darf nicht missbräuchlich verwendet werden um Institutionen, Programme oder Personen vorsätzlich zu schaden.
Eine Evaluierung ist dann glaubwürdig, wenn sie unabhängig, unvoreingenommen, transparent und kompetent geplant, gemanagt und durchgeführt ist, sowie alle relevanten Interessensgruppen identifiziert und einbezogen hat. Methodologisch bedeutet es, dass z.B. unterschiedliche Methoden, den Evaluierungsfragen entsprechend, verwendet und trianguliert sind. Aus Analysen gewonnene Evidenzen, Interpretationen sowie daraus abgeleitete Bewertungen und Empfehlungen sind verständlich und nachvollziehbar.