Eine plausible Antwort ist keine geprüfte Antwort

Kurzfassung. Ein Experte winkt eine von ChatGPT berechnete, deutlich zu hohe Bierkästen-Menge für eine Einschulungsfeier ungeprüft durch – der Getränkehändler liefert alles. KI lügt nicht bewusst, ihr fehlt die Prüfinstanz gegen eine Referenz. Auch DSGVO und EU AI Act definieren "hohes Risiko" nicht sauber. Prüfung muss man selbst einfordern und einrichten, als Prozess.

Es ist ein Abend im Spätsommer 2023, wenige Wochen vor der Einschulungsfeier meiner Tochter. Ich habe keine Lust, Bierkästen und Wasserkisten von Hand durchzurechnen, also spreche ich ChatGPT die Eckdaten vor: Anzahl Kinder, Anzahl Erwachsene, ein paar weitere Parameter. Nach ein paar Nachfragerunden steht eine Liste, und kurz danach geht sie als Mail direkt an den Getränkehändler raus. Die Mengen sind, wie sich zeigt, deutlich zu hoch – für eine Party kein Problem, und beim Händler läuft das ohnehin auf Kommission. Interessant wird es an der Stelle danach. Der Händler kennt solche Feiern, hat Erfahrung, hat sogar ein wirtschaftliches Interesse daran, nicht zu viel zu liefern. Er korrigiert trotzdem nichts. Er liefert alles, braucht dafür einen Anhänger, den er sich hätte sparen können.

Ich habe diese Geschichte im November 2023 im Podcast "The German Quest" erzählt, als Gast in Episode 11¹, damals schon im Vorstand des ARIC². Mein Urteil damals: Das ist eigentlich ein Fall von Human-in-the-loop – ein Mensch prüft die Ausgabe der KI, bevor sie wirkt. Nur hat der Mensch die Verantwortung nicht übernommen. Nicht, weil er keine Ahnung hatte, sondern weil er kein Interesse daran hatte, sie einzusetzen. Für mich war das damals eher eine Beruhigung als ein Warnsignal: Ich lief nicht ohne Kontrollmechanismus, ich hatte einen Experten in der Kette. Nur hat dieser Experte die Zahlen ungeprüft durchgewunken, so wie ich es von Menschen in solchen Situationen öfter erlebe, als mir lieb ist.

Genau dieser Punkt trägt auch meine Antwort auf die zweite Frage der Sendung, ob eine KI lügen kann. Meine Antwort war: nicht bewusst. Eine KI hat eine Informationsbasis und versucht, auf dieser Basis die plausibelste Antwort zu geben. Sie kann mir keine Emotionen zeigen, ich kann in ihrem Text keine Lüge erkennen, und ich sehe in vielen Fällen nicht, woher eine Information stammt. Die naive Lesart lautet: KI lügt, wenn sie halluziniert³. Das trifft den Mechanismus nicht. Es fehlt schlicht die eingebaute Instanz, die eine Antwort gegen eine Referenz prüft, bevor sie ausgegeben wird. Man kann die KI anweisen, nur aus vorgegebenen Dokumenten zu antworten – das hilft, verhindert das Problem aber nicht vollständig. Die Prüfung bleibt Aufgabe von außen.

Und damit schließt sich der Kreis zum Getränkehändler: Die KI liefert eine plausible Zahl ohne eingebaute Prüfinstanz. Der Experte liefert eine plausible Menge Bierkästen, obwohl er die Prüfinstanz gewesen wäre. In beiden Fällen war eine Instanz vorhanden, die hätte prüfen können. In beiden Fällen hat sie es nicht getan.

Dieselbe Lücke sehe ich auf der regulatorischen Ebene, und auch das habe ich im Podcast so eingeordnet. Die DSGVO und die kommenden Regeln aus dem EU AI Act⁴ halte ich für gut gemacht – so gut, dass andere Länder sich daran orientieren. Mein Punkt war aber: An der entscheidenden Stelle bleiben sie unklar. Was eine KI mit hohem Risiko ist und was nicht, ist nicht sauber definiert. Für ein Unternehmen bedeutet das: Es bekommt eine Regel, die auf dem Papier prüft, aber im eigenen Betrieb keine verlässliche Antwort gibt, auf welcher Seite der Linie man steht. Auch hier steht eine Kontrollinstanz auf dem Papier, die im entscheidenden Moment nicht liefert.

Für Entscheider heißt das aus meiner Sicht: Man kauft sich mit einer KI-Anwendung keine Prüfung, man kauft sich eine plausible Antwort. Man kauft sich mit einem zuständigen Experten in der Kette auch keine Prüfung, sondern nur die Möglichkeit dazu. Und man bekommt mit einer Regulierung, die "Risiko" nicht sauber definiert, ebenfalls keine verlässliche Prüfung, sondern nur den Anschein einer. Die Prüfung selbst muss man einfordern und einrichten, als Prozess, nicht als Feld in einem Formular oder als Name in einer Verantwortungsliste. Wer das nicht tut, bekommt am Ende einen Anhänger voll Bier, den niemand bestellt hat. Bei einer Einschulungsfeier ist das ein amüsantes Detail. Bei einer Unternehmensentscheidung ist es keins.

Mehr zum Auftritt: The German Quest, Folge 11. Die ganze Folge zum Nachhören: the-german-quest.podigee.io/11-michael-koch (öffnet neues Fenster).

Wie dieser Text entstanden ist
─────────────────────────────────────────────────────────────
Modell            Claude Sonnet 5 (Anthropic), Stand 2026-09
Arbeitsweise      Inhalt aus meinem 2023 aufgezeichneten Podcast-Interview,
                  zwei unabhängige Fassungen durch das Modell, eine davon
                  von mir gewählt
Eigenanteil       Geschichte, Aussagen und Urteile aus meinem Interview,
                  Wahl der Variante, Freigabe
Geprüft           Stilabgleich gegen eigenen Textbestand · 2 von 4 Fußnoten
                  an Primärquellen geprüft (German-Quest-Episode, ARIC),
                  2 sind Begriffserklärungen ohne Primärquelle
                  (Halluzination, EU AI Act) · Abgleich gegen acht eigene
                  veröffentlichte Artikel · Strukturprüfung · einmal laut
                  gelesen
Quellen           2 belegt, davon 2 Primärquellen
Verantwortlich    Michael Koch, 2026-10-01
Verfahren         innopractics.de/schreiben-mit-ki