Notizen aus der Entwicklung von COLVO
Was wir beim Testen von KI-Agenten lernen, die erstatten, kündigen und Pläne wechseln – und was schiefgeht, wenn niemand nachprüft.
Gesagt vs. getan: Die Antwort Ihres KI-Agenten ist kein Beweis
Ein Agent kann höflich, selbstsicher und völlig falsch darin sein, was er getan hat. Deshalb liest COLVO nach jeder Aktion das Konto selbst aus.
Beitrag lesen →
GuardGuard sagt Nein: Was ein Mandat ist und warum Ihr Agent sich nicht daran vorbeireden kann
Eine höflich erbetene Erstattung von 120 € liegt trotzdem 70 € über dem Limit. Wie COLVO aus „der Kunde war verärgert“ ein ALLOW, REVIEW oder DENY macht – ohne KI in der Entscheidung.
ProduktIhr KI-Agent und Chargebee: Eine Erstattung ist eine Gutschrift auf eine Rechnung
Auf Chargebee erstattet ein Agent eine Rechnung, keine Zahlung – und Chargebee merkt sich einen Wiederholungsversuch nur 30 Minuten lang. Was das für einen KI-Agenten bedeutet und wie COLVO damit umgeht.
ProduktIhr KI-Agent und Paddle-Erstattungen: „beantragt“ ist nicht „erstattet“
Paddle prüft Erstattungen vor der Auszahlung, und seine API kennt keine Idempotenzschlüssel. Zwei Gründe, warum ein KI-Agent auf Paddle dem Kunden das Falsche sagen – oder doppelt erstatten – kann.
ProduktSchrittprüfungen: Der Zustand stimmte, der Agent nicht
Stripe sah perfekt aus. Der Agent hatte trotzdem zweimal versucht zu kündigen. Warum wir jetzt den OpenTelemetry-Trace des Agenten lesen – und warum ein fehlender Trace nie einen Test scheitern lässt.
ProduktFreigeben aus Slack – ohne blind freizugeben
Freigabe-Buttons, die COLVO genau bei der betreffenden Anfrage öffnen. Warum in Slack selbst nichts freigegeben wird.
LaunchDas ist COLVO: KI-Agenten testen, absichern und verifizieren, die mit Geld umgehen
Was wir gebaut haben, für wen es ist, und die drei Momente, auf die es ankommt: vor dem Launch, im Moment der Aktion und danach.