Schwerpunkt: LLMOps im Enterprise: Golden Datasets, Regressionstests und Modelldrift-Monitoring.
Offizielles Video-Replay ansehen
Kern-Erkenntnisse (Key Takeaways)
- Gefahr von „AI Shadow IT“: Unkontrollierter Wildwuchs von Copiloten, Agents und API-Keys.
- SAP AI Agent Hub als zentrales Kontroll- und Observability-Zentrum für Agenten.
- Verknüpfung von Agenten mit Enterprise Architecture (Geschäftsfähigkeiten, Applikationen, Datenobjekte).
- Vollständiger Lifecycle: Discovery → Governance → Observation → Optimization.
1. Die Herausforderung der Skalierung
Wenn dutzende Agenten im Unternehmen aktiv sind, droht Kontrollverlust bezüglich Kosten, Latenzen, Berechtigungen und Modellaktualisierungen. Klassisches IT-Service-Management reicht für autonome Agenten nicht aus.
2. Observability & Monitoring
Lückenloses Tracking von Token-Verbräuchen, Antwortzeiten, Fehlerraten und Benutzerfeedback über ein zentrales Dashboard ist Voraussetzung für den stabilen Betrieb.
3. Regressionstests & Golden Datasets
Da Cloud-Modelle sich im Hintergrund verändern können, sind automatisierte Testläufe gegen kuratierte Referenz-Datensätze (Golden Datasets) Pflicht.
Praxis-Empfehlungen für SAP-Architekten
- Zentrales Register: Alle im Unternehmen genutzten Agenten im SAP AI Agent Hub oder LeanIX registrieren.
- Automatisiertes Drift-Monitoring: Wöchentliche Testläufe zur Überprüfung von Antwortkonsistenz und Schema-Konformität etablieren.
- Kostenkontrolle: Budgetgrenzen und Token-Limits pro Fachbereich und Agent konfigurieren.