Amazon und AWS-Teams haben die Ticket-Klassifizierung ihres internen Systems von Claude Sonnet 4.6 auf den Entscheidungsmodell-Build „Strands Decider E4B“ (basierend auf Gemma 4) umgestellt. Durch den Einsatz des Modells auf AWS SageMaker (ml.g5.xlarge) und verkürzte Prompts sanken die Token-Kosten pro Ticket um 70 %, während sich die Gesamtkosten um 98 % auf etwa 500 US-Dollar pro Million Tickets reduzierten. Eine dreistufige Schaltung über AWS AppConfig ermöglichte den risikofreien Parallelbetrieb und direkten Abgleich beider Modelle vor der finalen Umstellung.
Wichtigste Punkte
Modellwechsel und Kosteneinsparung: Ersetzung von Sonnet 4.6 durch Strands Decider E4B, wodurch die Kosten von ca. 22.200 USD auf rund 500 USD pro eine Million Tickets (98 % Reduktion) sanken.
Technische Infrastruktur: Ausführung auf AWS SageMaker (ml.g5.xlarge Instanzen mit einer A10G GPU und 24 GB Speicher, ca. 19 GiB Modellnutzung) mit einer Verarbeitungsdauer von ca. 640 ms pro Anfrage. Die Architektur nutzt AWS SQS, Lambda, AppConfig und CloudWatch.
Token-Reduktion: Rückgang der Gesamttokens pro Ticket von 6.724 auf 2.010 (-70 %) durch die Ausgabe einer Einzelwahl anstelle von JSON und drastisch verkürzte Kategoriendefinitionen (20 Labels als 1-2 Sätze formuliert).
Drei-Wege-Schalter (AppConfig): Implementierung einer Konfiguration mit den Modi BEDROCK, DUAL und DECIDER, um Sonnet und das Entscheidungsmodell parallel zu betreiben, Abweichungen zu messen und ein sicheres Rollback innerhalb von 45 Sekunden zu gewährleisten.
JSON-Schlüsselreihenfolge: Entdeckung, dass eine veränderte Schlüsselreihenfolge die Ausgabewahrscheinlichkeiten um bis zu 0.19 verschiebt; behoben durch automatisches Sortieren der JSON-Schlüssel vor API-Aufrufen.
Diskussions-Highlights
Rückkehr zu klassischen Klassifikatoren: Zahlreiche Kommentatoren kritisierten den blinden Einsatz von LLMs für einfache Klassifizierungsaufgaben und verwiesen auf traditionelle Alternativen wie Support Vector Machines (SVMs), scikit-learn oder ältere bewährte Pipelines (z. B. „Linnaeus“ von 2021), die weitaus ressourcenschonender arbeiten.
Alternativmodelle und Hosting-Fragen: Es wurde hinterfragt, warum keine kostengünstigen Cloud-Alternativen wie Claude Haiku, DeepSeek oder kleinere Open-Source-Modelle direkt über AWS Bedrock genutzt wurden, anstatt ein externes Entscheidungsmodell auf SageMaker zu hosten.
Produktions- und Skalierungsprobleme: Branchenvertreter (u. a. Seldon-AI-Gründer) warnten vor dem verbreiteten Anti-Muster, teure LLM-Prototypen unreflektiert in die Produktion zu überführen, wo monatliche Kosten explodieren, während klassische ML-Pipelines an Know-how-Hürden im Betrieb scheitern.
Architekturelle und methodische Kritik: Diskutanten merkten an, dass es sich bei dem System technisch gesehen um einen einzelnen Modellaufruf und kein echtes „Agenten-System“ handelt. Zudem wurde kritisiert, dass das automatische Verwerfen älterer Kommentare bei langen Tickets zu Informationsverlusten führen kann.
Glossar
Claude Sonnet 4.6: Ein kommerzielles, generatives Großsprachmodell (LLM) von Anthropic, das für komplexe Textgenerierung und logische Analysen eingesetzt wird.
Entscheidungsmodell (Decision Model / Strands Decider): Ein spezialisiertes KI-Modell, das im Gegensatz zu generativen LLMs keinen Fließtext oder JSON generiert, sondern vordefinierte Optionen mit Eintrittswahrscheinlichkeiten und Konfidenzwerten versieht.
AWS SageMaker: Ein vollständig verwalteter Cloud-Dienst von Amazon Web Services zum Trainieren, Optimieren und Bereitstellen von Machine-Learning-Modellen in Produktionsumgebungen.
A10G GPU / ml.g5.xlarge: Eine hochleistungsfähige Grafikkarte von NVIDIA bzw. ein spezifischer AWS-Instanztyp, die für beschleunigtes Machine Learning und Modell-Inferenz optimiert sind.
GiB (Gibibyte): Eine digitale Dateneinheit entsprechend 1.024 Mebibyte, genutzt zur präzisen Messung des Arbeitsspeicherbedarf von Software.
AWS AppConfig: Ein AWS-Dienst zur Erstellung, Verwaltung und schnellen Bereitstellung von Konfigurationsdaten und Funktionsschaltern (Feature Flags) in Applikationen.
AWS SQS (Simple Queue Service): Ein verwalteter Nachrichtendienst (Message Queue) zur Entkopplung und Skalierung von Microservices und verteilten Systemen.
AWS Lambda: Ein serverloser Compute-Dienst, der Code als Reaktion auf Ereignisse ausführt, ohne dass Server verwaltet werden müssen.
SVM (Support Vector Machine): Ein klassisches, mathematisch basiertes Machine-Learning-Verfahren zur Mustererkennung und linearen Klassifizierung von Daten.
Token: Die grundlegende Verarbeitungseinheit von Text in Sprachmodellen (entspricht im Schnitt etwa vier Zeichen oder drei vierteln eines Wortes im Englischen).