Gibt es einen Verdienst neben der Landwirtschaft? Wenn ja, welche Art von Gewerbe ist es? Wie hoch ist das Einkommen aus diesem Gewerbe? Wurde in diesem Feld ein Training absolviert?
Es sind viele Fragen, die Girma Woldemichael den Menschen in Ginde Beret und Abune Ginde Beret stellt. Girma ist in den beiden Projektregionen für die laufende Projektkontrolle und Evaluierung zuständig. Dabei geht es aber nicht um die nackten Zahlen, zum Beispiel wie viele Menschen einen landwirtschaftlichen Kurs absolviert haben, sondern hauptsächlich um die tatsächliche Wirkung, wie Girma erklärt: „Bei meinen Besuchen bei den Menschen zuhause spreche ich mit ihnen über die Schulungen und was sie konkret umgesetzt haben. Ich frage auch wie viel sie mit dem Verkauf von Gemüse verdienen oder ob irgendwelche Probleme aufgetreten sind.“
Wirkungen erkennen
Girma inspiziert aber nicht nur die Felder und Höfe der Bauern – sein Aufgabenbereich umfasst alle Maßnahmen, die in der Region umgesetzt werden. Er dokumentiert zum Beispiel, wie viele Kinder eine Schule besuchen, von wie vielen Menschen ein neuer Brunnen genutzt wird oder wie sich der Einsatz von geschlossenen, holzsparenden Öfen auf das Leben der Frauen auswirkt. Dieses wirkungsorientierte Monitoring zeigt konkret auf, was mit welchen Maßnahmen auf lange Sicht erreicht werden kann. „Wenn zum Beispiel eine Frau an einem Handwerkskurs teilgenommen hat, frage ich nach, ob und was sich für sie verändert hat. Meine Aufgabe ist es diese unterschiedlichen Daten zu sammeln und zu überprüfen, welche Maßnahmen wie und mit welcher Wirkung umgesetzt wurden. So können wir unsere Arbeit entsprechend verbessern.“
Projektpläne verwirklichen
Wer ein Projekt kontrolliert, muss natürlich wissen worauf er zu achten hat. Schon bevor die Arbeit in einer Projektregion beginnt werden deshalb detaillierte Pläne erstellt: Projektphasenpläne, die zusammenfassen, was in den kommenden Jahren passieren wird – in der Regel umfassen diese Pläne eine Zeitspanne von drei oder fünf Jahren – sowie Jahrespläne, die genau vorgeben, welche Maßnahmen innerhalb eines Jahres umgesetzt werden. Durch die laufende Projektkontrolle können diese Jahrespläne angepasst werden. So kann es zum Beispiel vorkommen, dass der Bau einer Schule aufgrund von zu starken Regenfällen nicht termingerecht starten kann. Oder es wird ersichtlich, dass ein bereits gebauter Brunnen so stark frequentiert wird, dass auch im Nachbardorf einer errichtet werden sollte.
Überraschende Ergebnisse
Änderungen wie diese werden in den Projektplänen festgehalten – diese werden auch mit den örtlichen Behörden abgestimmt, mit denen Hand in Hand gearbeitet wird, um die Maßnahmen langfristig zu sichern. Eine Schule wird beispielsweise nach Fertigstellung in die Verantwortung der äthiopischen Schulbehörde übergeben: Sie muss für den Erhalt und die Wartung sorgen und natürlich die Lehrer bereitstellen. Die Erfahrung hat gezeigt, dass die neuen Menschen für Menschen-Schulen auch bei Lehrern sehr beliebt sind. Wie sich das auf den Unterricht auswirkt, hat Annette Schmidt bei der Evaluierung in Ginde Beret herausgefunden: „Es ist wohl so, dass viele Lehrerinnen und Lehrer um eine Versetzung an eine der neu gebauten Schulen ersuchen und die neuen Räumlichkeiten einen Motivationsschub beim Lehrpersonal und den Schülerinnen und Schülern auslösen. Das ist sehr nachvollziehbar, wenn man sich die baufälligen, dunklen, alten Schulen anschaut. Also ist es tatsächlich vorstellbar, dass sich sogar der Unterricht verbessert – das hat mich überrascht.“
Wirkungskettenreaktion
Andere positive Auswirkungen sind da schon offensichtlicher. Zum Beispiel, dass landwirtschaftliche Schulungen und neues und verbessertes Saatgut zu vitaminreicher Ernährung, höherem Einkommen und Ernährungssicherheit führen. An der Analyse dieser exemplarischen Wirkungskette orientiert sich die Evaluierung von Maßnahmen. Um Details und Ausmaß der Auswirkungen herauszufinden, steht das Gespräch mit den Menschen im Vordergrund: Einerseits natürlich mit den Familien in den Projektregionen, die von den Maßnahmen profitieren, andererseits auch mit Vertretern der Gemeinden, um auch etwas über die breitere Wirkung zu erfahren.
Am Ende einer Evaluierung steht natürlich nicht nur Lob, sondern auch die eine oder andere Empfehlung, wie die Projektarbeit theoretisch effizienter, effektiver und wirkungsvoller gestaltet werden kann. Die Einführung des wirkungsbezogenen Monitorings wurde beispielsweise im Rahmen einer vergangenen Evaluierung empfohlen. Auch die Einbindung von stark benachteiligten Gruppen durch angepasste Maßnahmen ist eine Empfehlung, die bereits umgesetzt wurde.
Überprüfung nach internationalen Standards
Damit Evaluierungen auch gewissen internationalen Anforderungen entsprechen, ist es wichtig, Standards zu folgen. Das Development Assistance Committee (DAC; Ausschuss für Entwicklungshilfe) der OECD (Organisation für wirtschaftliche Zusammenarbeit und Entwicklung) hat in diesem Zusammenhang Kriterien erstellt, die bei einer Projektevaluierung zum Tragen kommen. Diese Kriterien sind wie folgt definiert:1
Relevanz
Wird das Richtige getan? Wie groß ist die Relevanz bzw. Bedeutung der Intervention in Bezug auf die lokalen und nationalen Bedürfnisse und Prioritäten vor Ort?
Effektivität
Werden die Ziele der Entwicklungsmaßnahme erreicht? Wie groß ist die Effektivität bzw. der Wirkungsgrad des Vorhabens im Vergleich zu den gesetzten Zielen?
Effizienz
Werden die Ziele durch die Entwicklungsmaßnahme wirtschaftlich erreicht? Wie groß ist die Effizienz bzw. der Nutzungsgrad der eingesetzten Ressourcen?
Wirkung
Trägt die Entwicklungsmaßnahme zur Erreichung übergeordneter entwicklungspolitischer Ziele bei? Was ist der Impact bzw. die Wirkung der Intervention im Verhältnis zur Gesamtsituation der Zielgruppe bzw. der Betroffenen?
Nachhaltigkeit
Sind die positiven Wirkungen von Dauer? Wie ist die Nachhaltigkeit bzw. Dauerhaftigkeit der Intervention und ihrer Auswirkungen zu beurteilen?
1Quelle: „Leitfaden für Projekt- und Programmevaluierungen“, Austrian Development Agency, 2008
Zur Person:
Girma Woldemichael ist in den Projektregionen Ginde Beret und Abune Ginde Beret für die laufende Projektkontrolle und Evaluierung zuständig. Ausgehend von den Zielen, die in den Projektplänen festgehalten sind, dokumentiert und evaluiert er die Fortschritte in der Region. Auch bei auftretenden Problemen ist er Ansprechpartner für die Bevölkerung.