#104: Treatment-Effekte messen: Was hat eine Maßnahme wirklich gebracht?

Ob in der Entwicklungszusammenarbeit, im Online-Marketing oder beim Pricing: Wer wissen will, was eine Maßnahme bewirkt hat, steht vor dem Problem, dass sich immer nur eine Welt beobachten lässt. In dieser Folge sprechen Mira und Amit darüber, wie sich trotzdem ein belastbares Counterfactual konstruieren lässt und warum Korrelation dafür nicht ausreicht. Sie gehen Studiendesigns von RCTs über Difference-in-Differences, Regression Discontinuity und Propensity Score Matching bis hin zu Instrumentvariablen, Synthetic Control und Panel-Methoden durch. Außerdem geht es um die Frage, welche Variablen in die Auswertung gehören, wie man Ergebnisse auf Robustheit prüft und was Dosis-Wirkungs-Beziehungen zusätzlich verraten. Ein Plädoyer dafür, die Auswertung schon vor Beginn einer Maßnahme mitzudenken.

**Zusammenfassung**

• Das Kernproblem der Evaluation: Das Counterfactual ist unbeobachtbar, und ein statistischer Zusammenhang belegt noch keine Kausalität.
• Vor jeder Analyse steht die Wirkkette: Ohne logisches Verständnis, wie eine Maßnahme wirken soll, drohen falsche Metriken, übersehene Einflüsse und schlechte Vergleichsgruppen.
• Metriken sollten das messen, was wirklich zählt (z.B. Gewinn statt Auslastung, CLV statt Click-Through-Rate), und die Frage der Generalisierbarkeit gehört von Anfang an dazu.
• RCTs und A/B-Tests gelten als Goldstandard, setzen aber eine Poweranalyse vorab und eine saubere Auswertung voraus.
• Wenn Randomisierung nicht möglich ist, helfen DiD, RDD, Propensity Score Matching, Synthetic Control, Interrupted Time Series oder Fixed-Effects-Modelle, je nach Datenlage und Selektionsprozess.
• Instrumentvariablen lösen das Problem unbeobachteter Confounder wie Motivation, liefern aber nur einen lokalen Effekt (LATE), und die Ausschlussrestriktion lässt sich nicht statistisch testen.
• In der Analyse gehören Confounder ins Modell, Mediatoren nicht; Double ML, Causal Forests und Dosis-Wirkungs-Analysen erweitern das Werkzeugset.
• Robustheitschecks und eine Fehlerkultur, in der auch "wirkt nicht" ein wertvolles Ergebnis ist, sind entscheidend für glaubwürdige Evaluation.

**Links**

• #73: Korrelation vs. Kausalität: Was braucht es für fundierte Entscheidungen? https://www.podbean.com/ew/pb-xmeyy-18c0d20
• #26: A/B-Testing: Erkenntnisse statt Bauchgefühl https://www.podbean.com/ew/pb-6fzpj-143cfb1

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]