PEAX
Heartbeat: KI-gestütztes End-to-End-Testframework
Senior Frontend Engineer & Applied AI Engineer
Heartbeat prüft die PEAX Plattform und das Backoffice so, wie Kundinnen und Kunden sie nutzen: Ein Browser meldet sich an, klickt sich durch eine Funktion und prüft das Ergebnis. Die Tests schreiben und pflegen KI-Agenten in einem eigens gebauten Agent Harness. Das Heartbeat Dashboard zeigt, welche Fähigkeit der Plattform gerade gesund ist.
Die Herausforderung
Weil über die PEAX Plattform Briefpost, digitale Dokumente, Rechnungen und Zahlungen von Privat- und Geschäftskunden laufen, durchläuft jede Freigabe eine Regression. Bis Heartbeat hiess das: Testfälle von Hand durchklicken, Ergebnisse festhalten, Abweichungen melden. Das dauerte Tage, und PEAX wollte diese Zeit den Leuten zurückgeben, die neue Funktionen bauen. Deshalb entschied PEAX, die Regression mit KI-Agenten zu automatisieren.
Dabei wollte PEAX mehr als klassische Testautomatisierung. Produktverantwortliche schreiben Testfälle in natürlicher Sprache, und aus genau diesen Testfällen sollen automatisierte Tests werden. Weil sich die Oberfläche laufend weiterentwickelt, müssen die Tests mitwachsen. Und ein rotes Ergebnis soll sofort zeigen, ob der Fehler in der App steckt, im Test oder in den Testdaten.
Der Ansatz
Bei Heartbeat schreiben und pflegen Agenten die Tests, Menschen entscheiden die fachlichen Fragen. Die Agenten arbeiten in einem Agent Harness, also der Konfiguration für die KI-Agenten mit Skills für jede wiederkehrende Aufgabe, spezialisierten Subagents, Hooks und festen Prüfschritten.
Vom Testfall zum geprüften Test. Jeder Testfall aus dem Testmanagement wird zuerst geprüft: Lässt er sich automatisieren, ist er schon abgedeckt, passt er zur Fachlogik? Danach arbeiten fünf Agenten nacheinander. Zuerst liest der Scout den aktuellen Stand der Anwendung und findet stabile Selektoren. Der Planner zerlegt den Testfall in Use Cases und legt die Testdaten fest. Den Playwright-Test schreibt der Implementer, der Runner beweist ihn in mehreren Läufen hintereinander, und der Reviewer prüft Architektur, Isolation und Regeln. Findet der Reviewer etwas, geht der Test zurück an den Implementer, bis er grün ist.
LLM as a Judge statt Freigabe bei jedem Schritt. Am Ende bewertet ein Judge-Agent, ob das Ergebnis eindeutig ist. Er prüft etwa, ob das erwartete Verhalten der dokumentierten Fachregel entspricht. Eindeutige Fälle laufen ohne Rückfrage bis zum Pull Request. Einen Menschen zieht der Judge nur bei einer relevanten Entscheidung hinzu, zum Beispiel wenn sich eine Fachregel geändert hat.
Jeder automatisierte Schritt entspricht genau einem Schritt im Testfall.
Fachwissen als Quelle der Wahrheit. Was eine Funktion fachlich tun soll, steht in einer eigenen Domain-Dokumentation. Die Agenten lesen sie vor jedem Test und ergänzen sie danach, sodass sie nach belegten Regeln entscheiden und das Wissen mit jedem Test wächst.
Guardrails. Geheimnisse erreichen die Agenten nie. Jede Änderung muss ein automatisches Gate passieren: Typprüfung, Linting, Regelprüfung und Dokumentations-Check.
Ein System, das sich selbst pflegt. Ändert sich die Oberfläche, erkennt ein Agent die betroffenen Tests und ordnet jede Abweichung ein. Einen umbenannten Selektor repariert er, ohne eine Prüfung anzufassen, und eine geänderte Fachregel gibt er an einen Menschen. Nach jedem Lauf trennt ein Triage-Agent echte App-Fehler von Testfehlern und Ausreissern. Er gleicht sie mit offenen Bugs ab und entwirft für jeden neuen Fehler ein Ticket mit Video.
Das Heartbeat Dashboard. Eine eigene Web-App (React, Nest.js) fasst alle Läufe zu einer Karte der Plattform-Fähigkeiten zusammen. Die Heatmap zeigt, welche Fähigkeit gesund ist, wo Tests fehlen und welcher offene Bug hinter einem roten Test steht. Ein Kostenmodell vergleicht die Automatisierung mit der manuellen Regression. So sehen Produktverantwortliche den Zustand der Plattform, ohne einen Testbericht zu lesen.


Ergebnisse & Wirkung
- Manueller Regressionsaufwand um geschätzt 90 % kleiner. Ein vollständiger Regressionslauf dauert Minuten statt Tage.
- Testfall und Test bleiben deckungsgleich. Jeder Testschritt meldet sein Ergebnis mit Screenshot an den passenden Schritt im Testmanagement.
- Vom Testfall zum Pull Request ohne Handarbeit. Menschen entscheiden nur dort, wo es fachlich darauf ankommt.
- Fehler mit Beleg. Ein neuer App-Fehler kommt als Ticket mit Reproduktionsschritten, Screenshots und Video.
- Zustand auf einen Blick. Das Dashboard zeigt jederzeit, wie es um jede Fähigkeit steht, was abgedeckt ist und was die Automatisierung einspart.
- Aktuelle Dokumentation. Fach- und Framework-Dokumentation werden im selben Schritt wie der Code geprüft und nachgeführt.
Meine Rolle
Konzept, Architektur und Umsetzung von Heartbeat, allein verantwortet. Das umfasst den Agent Harness mit Skills, Subagents, Hooks und Guardrails, die Playwright-Testsuite und die Anbindung an Testmanagement, Ticketsystem und CI. Auch das Heartbeat Dashboard gehört dazu, von der Datenmodellierung bis zum Betrieb.
Ähnliche Herausforderung?
Erzähl mir von deiner Herausforderung. Ich sage dir, wie ich sie angehen würde — und eine realistische Timeline.