Pular para o conteúdo

#104: Treatment-Effekte messen: Was hat eine Maßnahme wirklich gebracht?

8 de outubro de 2026 · 41 min

Notas do episódio

Ob in der Entwicklungszusammenarbeit, im Online-Marketing oder beim Pricing: Wer wissen will, was eine Maßnahme bewirkt hat, steht vor dem Problem, dass sich immer nur eine Welt beobachten lässt. In dieser Folge sprechen Mira und Amit darüber, wie sich trotzdem ein belastbares Counterfactual konstruieren lässt und warum Korrelation dafür nicht ausreicht. Sie gehen Studiendesigns von RCTs über Difference-in-Differences, Regression Discontinuity und Propensity Score Matching bis hin zu Instrumentvariablen, Synthetic Control und Panel-Methoden durch. Außerdem geht es um die Frage, welche Variablen in die Auswertung gehören, wie man Ergebnisse auf Robustheit prüft und was Dosis-Wirkungs-Beziehungen zusätzlich verraten. Ein Plädoyer dafür, die Auswertung schon vor Beginn einer Maßnahme mitzudenken.

**Zusammenfassung**

  • Das Kernproblem der Evaluation: Das Counterfactual ist unbeobachtbar, und ein statistischer Zusammenhang belegt noch keine Kausalität.
  • Vor jeder Analyse steht die Wirkkette: Ohne logisches Verständnis, wie eine Maßnahme wirken soll, drohen falsche Metriken, übersehene Einflüsse und schlechte Vergleichsgruppen.
  • Metriken sollten das messen, was wirklich zählt (z.B. Gewinn statt Auslastung, CLV statt Click-Through-Rate), und die Frage der Generalisierbarkeit gehört von Anfang an dazu.
  • RCTs und A/B-Tests gelten als Goldstandard, setzen aber eine Poweranalyse vorab und eine saubere Auswertung voraus.
  • Wenn Randomisierung nicht möglich ist, helfen DiD, RDD, Propensity Score Matching, Synthetic Control, Interrupted Time Series oder Fixed-Effects-Modelle, je nach Datenlage und Selektionsprozess.
  • Instrumentvariablen lösen das Problem unbeobachteter Confounder wie Motivation, liefern aber nur einen lokalen Effekt (LATE), und die Ausschlussrestriktion lässt sich nicht statistisch testen.
  • In der Analyse gehören Confounder ins Modell, Mediatoren nicht; Double ML, Causal Forests und Dosis-Wirkungs-Analysen erweitern das Werkzeugset.
  • Robustheitschecks und eine Fehlerkultur, in der auch "wirkt nicht" ein wertvolles Ergebnis ist, sind entscheidend für glaubwürdige Evaluation.

**Links**

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]

Todos os episódios de Data Science Deep Dive

Configurações

Exibição

Idioma

Define quais estações você vê primeiro na página inicial.

Histórico

As rádios e episódios ouvidos recentemente e suas últimas buscas ficam só neste navegador.

Avisos

Um aviso rápido quando um podcast que você segue tem um episódio novo. Desative podcasts individuais pelo sino na página deles.

Conta

Salve favoritos – no app e no site.

Atalhos de teclado

/
Abrir busca
Espaço
Reproduzir ou pausar
← →
No player: voltar 15 s, avançar 30 s (episódios) · na fileira: próximo bloco
↑ ↓
Na fileira: alvo dentro do bloco
Home / End
Na fileira: primeiro ou último bloco
Esc
Fechar janela ou menu
?
Esta visão geral
Tocando agora

Ir para a estação

A seguir

    Adicione episódios com “A seguir” – eles tocam depois do episódio atual.