Notizen aus der Entwicklung von COLVO
Was wir beim Testen von KI-Agenten lernen, die erstatten, kündigen und Pläne wechseln – und was schiefgeht, wenn niemand nachprüft.
ProduktIhr KI-Agent und Chargebee: Eine Erstattung ist eine Gutschrift auf eine Rechnung
Auf Chargebee erstattet ein Agent eine Rechnung, keine Zahlung – und Chargebee merkt sich einen Wiederholungsversuch nur 30 Minuten lang. Was das für einen KI-Agenten bedeutet und wie COLVO damit umgeht.
ProduktIhr KI-Agent und Paddle-Erstattungen: „beantragt“ ist nicht „erstattet“
Paddle prüft Erstattungen vor der Auszahlung, und seine API kennt keine Idempotenzschlüssel. Zwei Gründe, warum ein KI-Agent auf Paddle dem Kunden das Falsche sagen – oder doppelt erstatten – kann.
ProduktSchrittprüfungen: Der Zustand stimmte, der Agent nicht
Stripe sah perfekt aus. Der Agent hatte trotzdem zweimal versucht zu kündigen. Warum wir jetzt den OpenTelemetry-Trace des Agenten lesen – und warum ein fehlender Trace nie einen Test scheitern lässt.
ProduktFreigeben aus Slack – ohne blind freizugeben
Freigabe-Buttons, die COLVO genau bei der betreffenden Anfrage öffnen. Warum in Slack selbst nichts freigegeben wird.
ProduktGesagt vs. getan: Die Antwort Ihres KI-Agenten ist kein Beweis
Ein Agent kann höflich, selbstsicher und völlig falsch darin sein, was er getan hat. Deshalb liest COLVO nach jeder Aktion das Konto selbst aus.