Ein beendeter Prozess ist noch nicht das ganze Ergebnis
Ein Workflow kann enden, ohne das gewünschte fachliche Ergebnis zu liefern. Ein KI-Agent kann eine Antwort erzeugen, während die nachgelagerte Speicherung scheitert. Hilfreiches Workflow-Monitoring erfasst die Ausführung eindeutig und macht die Bedeutung von Erfolg nachvollziehbar.
Workflow-Monitore von MetriBeacon nehmen Lebenszyklusereignisse Ihrer Integration entgegen. Sie zeigen Starts, Abschlusszustände, Dauer und übermittelte Messwerte wie Kosten. Sie verstehen nicht automatisch Ihre Prompts und entscheiden nicht selbst, ob eine KI-Antwort richtig ist.
Jedem Lauf eine eigene Kennung geben
Erzeugen Sie für jede Workflow-Ausführung eine neue UUID und verwenden Sie sie für alle Ereignisse dieses Laufs. Parallele Ausführungen benötigen unterschiedliche Laufkennungen, auch wenn sie die gleiche Aufgabenart bearbeiten. Eine wiederverwendete Kennung für viele Ausführungen macht die Historie mehrdeutig.
Die erneute Zustellung eines Ereignisses ist etwas anderes als die Wiederholung des Workflows. Senden Sie bei einem Zustellversuch dasselbe Ereignis mit stabiler Ereigniskennung und unverändertem Inhalt erneut. Startet Ihre Anwendung tatsächlich eine neue Ausführung, vergeben Sie eine neue Laufkennung. Halten Sie beide Entscheidungen in der Integration getrennt.
Einen vollständigen Lebenszyklus melden
| Ereignis | Bedeutung |
|---|---|
started |
Die Integration meldet den Beginn dieser Ausführung |
succeeded |
Der Lauf erreicht den von Ihnen definierten erfolgreichen Abschluss |
failed |
Die Ausführung endet mit einem gemeldeten Fehler |
aborted |
Die Ausführung wird absichtlich oder anderweitig abgebrochen |
Melden Sie den Abschluss mit derselben Laufkennung wie den Start. Legen Sie zuerst fest, was jeder Zustand in Ihrer Anwendung bedeutet. „Erfolgreich“ könnte beispielsweise sowohl die Erzeugung als auch die Speicherung eines Ergebnisses verlangen und nicht nur den Empfang einer API-Antwort.
Die Workflow-Dokumentation erläutert Ereignismodell und Integration. Verwenden Sie für das konkrete Anfrageformat zusätzlich die HTTPS-API-Dokumentation, statt Feldnamen aus der Darstellung abzuleiten.
Zuerst einen Workflow anbinden
- Legen Sie einen Workflow-Monitor mit verständlichem Namen an.
- Richten Sie einen Meldeschlüssel mit passendem Geltungsbereich ein.
- Erzeugen Sie beim Arbeitsbeginn eine eigene Laufkennung.
- Senden Sie das Startereignis und behalten Sie die Kennung während der Ausführung.
- Melden Sie den tatsächlichen Abschlusszustand und relevante Messwerte.
- Prüfen Sie einen erfolgreichen Lauf, einen kontrollierten Fehler und zwei parallele Ausführungen.
Trennen Sie Meldefehler vom Ergebnis der eigentlichen Arbeit. Eine vorübergehend fehlgeschlagene Abschlussmeldung bedeutet nicht, dass die fachliche Operation automatisch erneut ausgeführt werden sollte. Wiederholte Ereigniszustellung darf die tatsächliche Aufgabe nicht duplizieren.
Laufzeiten für die Untersuchung verwenden
Ein überlanger Lauf kann auf blockierte Arbeit, eine langsame Abhängigkeit oder eine fehlende Abschlussmeldung hinweisen. Seine Dauer beweist allein keine dieser Ursachen. Vergleichen Sie gemeldeten Start, erwartete Laufzeit und Zustellweg des Abschlusses, bevor Sie den Workflow ändern.
Bei gemeldeten Einzelschritten beschreiben Sie beobachteten Fortschritt. Ein Schritt sollte eine tatsächlich beobachtete Operation darstellen und keinen erfundenen Erfolg, der die Ansicht grün erscheinen lässt. Nicht vorhandene Beobachtungen bleiben fehlende Nachweise.
Für Arbeit nach festem Zeitplan eignet sich möglicherweise ein Job-Monitor besser zur Prüfung ausgebliebener Starts. Der Beitrag zur Cronjob-Überwachung behandelt geplante Läufe. Workflow-Monitoring beschreibt dagegen den Lebenszyklus der einzelnen Ausführung.
Kosten melden statt schätzen lassen
Kennt Ihre Integration die Kosten eines Laufs, übermitteln Sie den gemessenen Betrag mit passender Messreihe und Einheit. Die Monitoring-Anzeige hängt von Ihren Meldungen ab. MetriBeacon leitet keine Anbieterrechnung aus Laufzeiten ab und untersucht nicht automatisch sämtliche Modellanfragen.
Halten Sie die Kostendefinition über Ausführungen hinweg gleich. Umfasst ein Wert mehrere Aufrufe und ein anderer nur einen, ist der Vergleich irreführend. Beschreiben Sie den Umfang beim Monitor oder der Messreihe. Unvollständige Messungen dürfen nicht wie echte Kosten von null erscheinen.
Inhalte der Aufgabe schützen
Die Lebenszyklusintegration erfasst nicht automatisch vollständige Prompts, Logs oder Kundendaten. Melden Sie die benötigten Betriebsnachweise und vermeiden Sie Geheimnisse oder sensible Aufgabeninhalte in Namen und Diagnosefeldern. Eine Laufkennung ermöglicht Zuordnung, ohne den Monitoring-Eintrag zur Kopie der bearbeiteten Daten zu machen.
Häufige Fragen
Bewertet MetriBeacon die Richtigkeit einer KI-Antwort?
Nein. Ihre Anwendung oder eine gesonderte Auswertung prüft das. Melden Sie den Abschluss anhand einer Erfolgsdefinition, die Sie nachvollziehbar bestätigen können.
Sollen Wiederholungen dieselbe Laufkennung verwenden?
Die erneute Zustellung gehört zum selben Lauf und einer stabilen Ereigniskennung. Eine neue Workflow-Ausführung benötigt eine neue Laufkennung.
Beweist eine fehlende Abschlussmeldung einen Fehler?
Sie zeigt eine unvollständige Meldehistorie. Prüfen Sie sowohl die Ausführung als auch die Zustellung ihres Abschlussereignisses.
Eine Ausführung nachvollziehbar machen
Erstellen Sie ein kostenloses Konto und verbinden Sie einen Workflow anhand des dokumentierten Lebenszyklus. Für getrennte geplante Aufgaben bietet die Vorlage Backup/Cron darunter einen Einstieg in Job-Monitoring. Halten Sie Ausführungsberichte, Zeitplanprüfungen und fachliche Ergebniskontrolle klar erkennbar.
