Erbsenzählen für Fortgeschrittene

Interview mit Jochen Currle, Beratungsorganisation FAKT

Evaluierungen durch unabhängige Experten dienen regelmäßig dazu, unsere Projektmaßnahmen vor Ort insbesondere auf ihre Wirkung für die Bevölkerung zu überprüfen. Als 2014 die erste, dreijährige, Projektphase in Abune Ginde Beret endete, reiste Evaluator Jochen Currle nach Äthiopien, um gemeinsam mit seinem äthiopischen Kollegen Chali Guteta von der Beratungsorganisation FAKT die Projekte vor Ort zu untersuchen. Im Mittelpunkt standen dabei natürlich auch die Ziele, die Menschen für Menschen zu Beginn der Arbeit für die Weiterentwicklung in Abune Ginde Beret festgesetzt hatte.

Herr Currle, wie kann man sich einen typischen Tagesablauf eines Evaluators im Projekt vorstellen?

Üblicherweise ist jeder Tag voll mit Besuchen und Gesprächen in Dörfern oder bei Bauern auf dem Feld. Dazu gehören Gespräche mit einzelnen Personen, wie Bauern, Beratern oder Verwaltungsangestellten, mit Familien und bestimmten Gruppen, wie zum Beispiel den Nutzern einer Quelle, oder Teilen ganzer Siedlungen. Dabei sammle ich Unmengen von Eindrücken und Informationen, die ich in der Regel am Abend strukturiere, um die Wichtigen von den Unwichtigen zu trennen und die Informationen zu bestimmten Hypothesen zu verdichten. Am besten ist es, wenn am Abschluss des Tages ein paar zentrale Erkenntnisse im Heft stehen sowie Fragen, die es in den nächsten Tagen unbedingt noch zu beantworten gilt.

Wie haben Sie persönlich die Arbeit vor Ort empfunden? Gab es in Zusammenarbeit mit dem Team bestimmte Herausforderungen oder Hindernisse?

Nein, das Team war ausgesprochen offen und bereit zum gemeinsamen Nachdenken. Oft ist es ja so, dass man mit dem Projektteam ein Untersuchungsprogramm abgesprochen hat, dann aber auf etwas unverhofft Interessantes stößt. Dann will man das etwas genauer anschauen und schon ist der vorab geplante Ablauf dahin. Dass das Team von Menschen für Menschen selbst solche Umwege geduldig mitging und auch kurzfristig Termine organisierte, war sehr positiv.

Wann ist die Zusammenarbeit mit der Organisation besonders gefragt?

Die Kooperation der Organisation ist während des ganzen Ablaufes einer Evaluierung gefragt. Die beste Voraussetzung ist eine offene und interessierte Haltung der Mitarbeiter sowie der Wunsch zu lernen und die eigene Arbeit verbessern zu wollen. Wichtigstes Kriterium ist dabei die Transparenz und Bereitschaft, Informationen und Kontakte unvoreingenommen und offen zur Verfügung zu stellen. Eine solche Haltung macht eine Evaluierung zu einer spannenden Entdeckungsreise, bei der alle Beteiligten darüber nachdenken, warum Dinge gerade so und nicht anders gelaufen sind, was ein bestimmtes Ergebnis bedeutet und welche Lehren man daraus für die Zukunft des Projektes ziehen kann.

Kann man im Zusammenhang mit einer Evaluierung überhaupt von Ergebnissen sprechen, oder handelt es sich vielmehr um eine Momentaufnahme?

In der Evaluierung versuchen wir, die Ergebnisse und Wirkungen von Projekten zu erfassen und zu bewerten. In der Regel tun wir dies, indem wir bestimmte Werkzeuge und Methoden systematisch anwenden, um damit notwendige Informationen zusammen zu tragen, um etwas über vorab festgelegte Indikatoren aussagen zu können. Diese Aussagen sind dann unsere Ergebnisse. Diese Ergebnisse sind natürlich von verschiedenen Faktoren abhängig: ob wir wirklich relevante Informationen bekommen, ob wir die Informationen überprüfen und vielleicht auch mit anderen diskutieren können und vieles mehr. Das heißt: Ja, eine Evaluierung ist eine Momentaufnahme, da sie in einer begrenzten Zeit durchgeführt wird. Sie ist aber eine Momentaufnahme, deren Aussagen durch möglichst systematisches Vorgehen erklärt und nachvollziehbar gemacht werden.

Bei Evaluierungen geht es zu einem Teil auch darum, den Erfolg eines Projektes zu messen. Doch was bedeutet Erfolg in diesem Zusammenhang überhaupt?

Nicht ganz einfach – denn da sind verschiedene Ebenen und Perspektiven im Spiel. Ganz formal könnte man sagen: Ein Projekt ist erfolgreich, wenn es die OECD/DAC Kriterien (siehe Seite 28) erfüllt, wenn es also die geplanten Ziele mit einem vertretbaren Aufwand erreicht hat. Das kann es in der ländlichen Entwicklung nur dann, wenn diese Ziele für eine möglichst breite Anzahl von Akteuren und Zielgruppen wichtig und stimmig sind und wenn das richtige Vorgehen gewählt wird. Nur wenn das zu guten Teilen zutrifft, werden die Interventionen des Projektes auch langfristig und nachhaltig wirken.

Man könnte aber auch sagen: Ein Projekt der ländlichen Entwicklung ist dann erfolgreich, wenn die beteiligten Menschen bereit und in der Lage sind, einerseits ihr eigenes Leben in die Hand zu nehmen und andererseits ihre selbst gesteckten und geteilten Ziele gemeinsam zu erreichen.

Wie lässt sich dieser Erfolg messbar machen? Gibt es Maßnahmen bei denen diese Messbarkeit leichter fällt als bei anderen?

Alles, was gezählt, gewogen, verglichen werden kann, ist relativ leicht messbar, also z.B. Erträge, Einkommen, Anzahl von Anwendern einer bestimmten Praxis. Allerdings gibt es auch schon da die Schwierigkeit, dass ich für eine Erfolgsmessung wissen sollte, was ich genau darunter verstehen will, welche Erfolgskriterien ich festlegen muss und wie ich sie messen will. Wenn also ein Projektziel wäre, die ökonomische Situation der Bevölkerung zu verbessern, könnte ich den Erfolg beispielsweise dadurch messen, dass ich die Einkommen der Haushalte messe. Ohne jedoch zu wissen, wie diese Einkommen vor dem Projekt waren, kann ich zum so definierten Erfolg nichts sagen.

Schwieriger wird diese Übung natürlich, wenn es um solche Dinge wie „Selbsthilfefähigkeit“ oder „Gleichberechtigung“ geht. Dann muss ich mir im Vorfeld gut überlegen, wie ich diese Fähigkeiten oder Zustände belegen oder messen kann, die Suche nach Indikatoren wird schwieriger.

Wie schwierig ist es darüber hinaus eine direkte Wirkung der Maßnahmen messbar zu machen?

Es kommt darauf an, dass ich mir darüber im Klaren bin, welche Wirkungen ich mit dem Projekt überhaupt anstrebe. In der Projektvorbereitung und -planung richten sich die Maßnahmen daran aus. Außerdem gilt es –möglichst frühzeitig – festzulegen, woran und wie ich messen will, ob diese Wirkungen eintraten, das heißt, ich muss nach geeigneten Messgrößen oder Indikatoren suchen, die etwas über die Wirkung aussagen. Ist es mir also z.B. wichtig, dass der Gesundheitszustand in einer Region sich verbessert, werde ich Indikatoren wie das Durchschnittsalter oder das Auftreten bestimmter, typischer Krankheiten (Durchfall-Erkrankungen, Trachom, Müttersterblichkeit bei Geburt oder im Kindbett) als Indikatoren festlegen. Ist mir wichtig, dass die Ernährungssituation sich verbessert, werde ich z.B. die Veränderung der Essensgewohnheiten verfolgen – was ist im Jahr x bei den meisten Familien auf dem Speiseplan und was ist fünf Jahre später bei den meisten Familien auf dem Speiseplan. Und Sie sehen schon an den Indikatoren, dass die einen recht einfach und die anderen relativ aufwändig zu erheben sind.

Menschen für Menschen setzt in ganzen Regionen ein Bündel an Maßnahmen um – was sind die größten Herausforderungen solcher Projekte?

Was die Projekte von Menschen für Menschen so interessant macht, ist gleichzeitig ihre größte Herausforderung: ihre Komplexität und das Zusammenwirken von verschiedensten Maßnahmen auf ein Ziel zu. Um eine Verbesserung der Gesundheitssituation in einer Region zu erreichen, werden Brunnen gebaut, werden Kurse im Gemüseanbau und Kochkurse abgehalten, werden Gesundheitsposten eingerichtet und Personal trainiert, wird der Bau von Latrinen initiiert und so weiter. Diese Maßnahmen aufeinander abzustimmen, erfordert einen hohen Einsatz an Kommunikation und Zusammenarbeit im Projektteam. Gibt es diesen nicht, laufen Dinge nebeneinander her, ohne sich zu ergänzen, im schlimmsten Falle behindern sie sich sogar. Sind sie aber abgestimmt – und die Projektteams von Menschen für Menschen sind mit hohem Einsatz dabei – sind die Wirkungen zum Teil erstaunlich.

Gab es auch ein Erlebnis das Sie besonders berührt hat?

Besonders berührt hat mich die Vitalität und Energie, die das Projekt vor allem bei Frauen freigesetzt hat. Dies wurde mir besonders beim abschließenden Workshop deutlich, bei dem Delegierte fast aller Kebeles (Gemeinden, Anm.) zusammenkamen, um noch einmal über die Auswirkungen des Projektes zu diskutieren. Die Kraft und die Freude, mit der sich vor allem die Frauen in das Gespräch stürzten, machten deutlich, wie wichtig es ihnen ist, ihre Kinder in die Schule schicken zu können, selbst ihr Leben in die Hand nehmen zu können, das war absolut berührend.