#106: Die AI Pill im Realitätscheck: Agentic Programming und Produktivität

In dieser Folge geht es darum, wie Agentic Programming die Produktivität von Softwareentwickler*innen verändert und welche empirischen Zahlen es dazu gibt. Wir stellen optimistische und skeptische Stimmen gegenüber: Auf der einen Seite stehen Unternehmen mit vollständig agentischer Entwicklung, auf der anderen Kent Becks Sicht auf KI als Verstärker bestehender Stärken und Schwächen. Im Mittelpunkt stehen Studien wie das METR-Experiment, die DORA-Erhebungen und eine NBER-Arbeit zu verschiedenen Generationen von KI-Tools sowie Arbeitsmarktdaten aus Deutschland und den USA. Wir besprechen auch, warum sich Produktivität so schwer messen lässt und mit welchen methodischen Problemen neuere Studien zu kämpfen haben. Zum Schluss geht es darum, worauf Teams bei der Einführung von KI achten sollten, damit sie die Arbeit verbessert und nicht nur verdichtet.

**Zusammenfassung**

• Mehr Code ist nicht gleich mehr Produktivität: 700 % mehr Codezeilen stehen nur rund 30 % mehr Produktivität gegenüber. Der Engpass ist das Code Review, und automatische Reviews reichen nicht aus, um Qualität zu sichern.
• METR-Studie 2025: Entwickler*innen erwarteten, mit KI 25 % schneller zu sein, und schätzten sich hinterher 20 % schneller ein. Tatsächlich waren sie 20 % langsamer. Die Folgestudie 2026 ist methodisch schwieriger, unter anderem wegen Selektionseffekten und weil sich die Arbeitszeit beim Betreuen von Agenten kaum messen lässt.
• DORA-Erhebungen: Die Umfragen zeigen positive Effekte von 5–10 % auf Team- und Organisationsebene und rund 15 % auf individueller Ebene. Gleichzeitig steigt die Instabilität um etwa 10 %, und es zeigen sich Effekte auf Burnout.
• NBER-Studie: Sie misst Produktivität über mehrere Generationen von KI-Tools hinweg. Dabei zeigt sich ein Engpass: Es entstehen viele neue Apps, aber viele davon finden nie genug Nutzer*innen.
• Skeptische Perspektiven: Kent Beck beschreibt KI als Verstärker, der Gutes wie Schlechtes verstärkt. Das „Expensive Loop Problem“ erklärt, warum Agenten nur an günstigen Feedback-Schleifen lernen, während Expert*innen diese als Proxy für teure Schleifen einordnen können.
• Arbeitsmarkt: In Deutschland steigt die IT-Arbeitslosigkeit, liegt aber weiterhin unter 4 %. Besonders Berufseinsteiger:innen haben es schwerer. In den USA liegt sie bei etwa 3,5 %, bei Entry-Level-Softwareentwickler*innen bei rund 7 %.
• Essay-Studie mit EEG: Die kleine Studie mit 54 Teilnehmenden zeigt, dass LLM-Nutzer*innen homogene, gut bewertete Aufsätze schreiben, daraus aber kaum zitieren können. Ohne Tools war die neuronale Vernetzung am stärksten.
• Fazit: Goodhart’s Law gilt auch für Produktivitätsmetriken. KI hilft, wenn sie Menschen ermöglicht, ihre Arbeit selbstbestimmt zu verbessern (Zentaur). Sie schadet, wenn sie vor allem mehr Output mit weniger Qualität erzwingt (Reverse Zentaur).

**Links**

• "The most AI pilled company" (@jsnnsa auf X): https://x.com/jsnnsa/status/2115623382721126826
• The Rise of the Product Engineer: When code costs nothing, what’s left of the job (AI Engineer): https://ai.engineer/talks/kspZP5BgkEU-ai-writes-code-so-whats-left-engineers und https://www.youtube.com/watch?v=kspZP5BgkEU
• The Expensive Loop Problem (LessWrong): https://www.lesswrong.com/posts/2mStxuNDMdaWdyHu6/the-expensive-loop-problem
• The Augmented Forest (Kent Beck, Keynote GOTO 2026): https://www.youtube.com/watch?v=NVkw-RFx2cc
• The Reverse Centaur’s Guide to Life After AI (Cory Doctorow): https://us.macmillan.com/books/9780374621575/thereversecentaursguidetolifeafterai/
• Arbeitslosenzahlen
  • Deutschland: Der Arbeitsmarkt für IKT-Berufe im Kontext der Transformation (Bundesagentur für Arbeit): https://www.arbeitsagentur.de/datei/der-arbeitsmarkt-fuer-ikt-berufe-im-kontext-der-transformation_ba053543.pdf
  • USA: Current Population Survey (U.S. Bureau of Labor Statistics): https://www.bls.gov/cps/cpsaat25b.htm
• Uplift Update 2026 (METR): https://metr.org/blog/2026-02-24-uplift-update/#other-means-of-measuring-productivity
• Artificial Intelligence in the Firm: Bottlenecks in Software Production: https://fion.ac/jellyfish.pdf
  NBER Working Paper w35275 (National Bureau of Economic Research): https://www.nber.org/papers/w35275
• DORA – DevOps Research and Assessment (Google Cloud): https://dora.dev/
• Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task (Kosmyna et al., MIT Media Lab): https://arxiv.org/abs/2506.08872

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]