#98: Risiken bei der Softwareentwicklung mit AI Agents

Sebastian und Liel setzen die Folge #91 zur Zukunft der Softwareentwicklung fort und widmen sich diesmal den Risiken beim Einsatz von AI Agents. Sie ordnen ein, welche Gefahren beim lokalen Arbeiten mit Agents tatsächlich bestehen – von autonom ausgeführten Befehlen mit Datenverlust über Prompt Injection bis zur Weitergabe sensibler Daten an externe Modelle. Im zweiten Teil geht es um konkrete Strategien zur Risikominimierung: durchdachte Berechtigungen, Repository-scoped Tokens, isolierte Workspaces mit Dev-Containern oder Mini-VMs sowie eine bewusste Auswahl der eingesetzten Modelle. Zum Abschluss diskutieren die beiden, wohin sich die Arbeit mit Coding-Agents entwickelt und welche Rolle Reviews und Wartbarkeit dabei spielen. Ein "sicher" gibt es dabei nicht, wohl aber ein "sicherer".

**Zusammenfassung**

• AI Agents führen im YOLO-Mode Code direkt auf dem eigenen System aus – Datenverlust durch unbedachte Befehle ist ein reales Risiko.
• Prompt Injection kommt über README-Anweisungen, MCP-Server und Webfetch ins System; halluzinierte Library-Namen lassen sich durch Squatting für Schadcode ausnutzen.
• Die "lethal trifecta" beschreibt die kritische Kombination aus Zugriff auf private Daten, Verarbeitung nicht vertrauenswürdiger Inhalte und Möglichkeit zur Kommunikation nach außen.
• Kompromittierung betrifft Credentials, proprietären Code und personenbezogene Daten – jede Query an ein extern gehostetes Modell verlässt das eigene System.
• Default-Konfigurationen (OpenCode, VSCode + GitHub Copilot) sind ein häufiger Stolperstein, da Daten oft standardmäßig zum Training genutzt werden.
• Zur Absicherung helfen fein eingestellte Berechtigungen, Repository-scoped Tokens, Provisionierung im Unternehmen und isolierte Workspaces (Dev-Container, VibePod, nono).
• Bei der Modellauswahl lohnt der Blick auf Selfhosting sowie europäische bzw. offene Alternativen wie Mistral und das Schweizer Apertus.
• Traceability, Live- und Kostenmonitoring werden wichtiger, da Agents Tokenverbrauch und Aktionen kaum noch kontrollierbar machen.

**Links**

• #91: Software ohne Entwickler*innen? Wie AI Agents unsere Arbeit neu definieren https://www.podbean.com/ew/pb-2if5e-1a90f94
• The lethal trifecta for AI agents: private data, untrusted content, and external communication (Simon Willison): https://simonwillison.net/2025/Jun/16/the-lethal-trifecta/
• The Vulnerable MCP Project (Übersicht zu MCP-Schwachstellen): https://vulnerablemcp.info/index.html
• Cory Doctorows Blog (Quelle zum Halluzinations-Beispiel): https://pluralistic.net
• VibePod CLI - The zero-config CLI for running AI coding agents locally https://vibepod.dev/
• nono - Run AI agents in a zero-latency sandbox in seconds, with zero setup. https://nono.sh/
• Docker Sandboxes https://docs.docker.com/ai/sandboxes/
• Agentlytics https://agentlytics.io/
• Apertus, das offene Schweizer Sprachmodell (Hugging Face): https://huggingface.co/collections/swiss-ai/apertus-llm
• Mistral (europäischer Modellanbieter): https://mistral.ai

📬 Fragen, Feedback oder Themenwünsche?
Schreibt uns gern an: [email protected]