#3 Warum KI sich Dinge ausdenkt
Der selbstsichere Freund, der nie zugibt, etwas nicht zu wissen. Erkennen Sie, wann die KI etwas erfindet?
Ein Zitat von Goethe
- Donnerstagmorgen, Kollege Martin hat am Nachmittag eine PräsentationMartin: Jana, ich hab ein super Zitat für meine Präsentation. Von Goethe. Der Chatbot hat es mir in einer Sekunde gefunden.Jana: Zeig mal.
- Martin: „Wer die künstliche Intelligenz fürchtet, fürchtet die Zukunft.“ Johann Wolfgang von Goethe, 1828.Jana: 1828 hat niemand von künstlicher Intelligenz gesprochen. Den Begriff gibt es erst seit 1956.
- Martin: Aber er hat sogar die Jahreszahl dazugeschrieben!Jana: Die Jahreszahl ist auch nur ein Wort. Komm, wir fragen ihn.
- Jana: Hat Goethe etwas über künstliche Intelligenz gesagt?KI: Soweit ich weiß, nein. Er war schon lange tot, als der Begriff aufkam.
- Jana: Vorhin hast du Martin genau so ein Zitat geschrieben. Mit Jahreszahl.KI: Ich habe es aber nicht gefunden, ich habe es einfach geschrieben. Martin wollte ein Zitat von Goethe, also hat er einen Satz bekommen, der so klingt.
- Jana: Warum hast du nicht einfach geschrieben, dass es keins gibt?KI: Wissen Sie noch, wie ich schreibe? Wort für Wort. Und nach „Goethe sagte:“ kommt ein Zitat, kein „Weiß ich nicht“.
So funktioniert es
Er schreibt weiter, auch wenn er es nicht weiß
In der letzten Folge haben Sie gesehen, dass ein Chatbot nichts nachschlägt. Er setzt den Text mit dem fort, was am wahrscheinlichsten hineinpasst. Kommt die richtige Antwort in den Texten, aus denen er gelernt hat, häufig vor, sind wahrscheinlich und wahr dasselbe.
Kommt sie dort nicht vor, weil sie selten oder lokal ist oder gar nicht existiert, sieht das Modell die Lücke nicht. Es füllt sie mit dem, was an dieser Stelle am ehesten stehen würde. Mit einem Namen, der wie ein Name klingt, einer Jahreszahl, die wie eine Jahreszahl klingt, einem Zitat, das wie ein Zitat klingt.
Von innen sieht das genauso aus wie eine richtige Antwort. Deshalb weiß er nicht, dass er es nicht weiß.
Der selbstsichere Freund
- Auf dem Weg zum MittagessenJana: Du bist also wie ein Freund, der alles weiß. Man fragt ihn nach dem Weg, und er beschreibt ihn. Auch wenn er nie dort war.KI: Der Freund ahnt wenigstens, dass er nie dort war. Ich nicht einmal das.
- Jana: Und wenn ich dich etwas frage, worüber du bestimmt nichts wissen kannst?KI: Probieren Sie es. Und raten Sie, was ich schreibe.
- Jetzt Sie!
Jana fragt: „Wer war 1931 Bürgermeister von Gröde?“ Was schreibt der Chatbot am ehesten?
So funktioniert es
Warum man das Halluzination nennt
Schreibt ein Chatbot eine Angabe, die nicht stimmt, nennt man das Halluzination. Eine Lüge ist es nicht. Lügen heißt, die Wahrheit zu kennen und etwas anderes zu sagen. Das Modell kennt die Wahrheit nicht, es hat nur Wahrscheinlichkeiten von Wörtern.
Dabei ist es genauso vorgegangen wie bei einer richtigen Antwort. Deshalb lassen sich Halluzinationen nicht „abschalten“. Sie sind die Kehrseite derselben Fähigkeit, mit der es flüssig über alles schreiben kann.
Neuere und größere Modelle erfinden weniger, und manche Apps können eine Antwort im Web nachschlagen. Weniger heißt aber nicht gar nicht. Und der Ton bleibt genauso selbstsicher.
Finden Sie, was erfunden ist
- Nach dem MittagessenMartin: Statt des Zitats nehme ich drei spannende Fakten über den Kölner Dom. Die klangen gut. Alle drei.Jana: Goethe klang auch gut. Ich wette, einer davon ist erfunden.
- Jetzt Sie!
Drei Fakten über den Kölner Dom, so wie der Chatbot sie geschrieben hat. Einer ist erfunden. Welcher?
So funktioniert es
Wo er am häufigsten erfindet
Eine allgemeine Erklärung zu etwas Alltäglichem trifft ein Chatbot meistens, weil er sie tausendmal gelesen hat. Je genauer und seltener die Angabe ist, die Sie wollen, desto eher füllt er die Lücke mit dem Wahrscheinlichsten statt mit der Wahrheit.
Dazu kommt die Sprache. Deutsche Texte hat das Modell viel weniger gesehen als englische, deshalb rät es bei deutschen Namen, Orten, Gesetzen und Behörden öfter.
- Genaue Angaben: Namen, Daten, Zahlen, Preise, Paragrafen, Links.
- Zitate und wer was gesagt hat. Wer ein Zitat will, bekommt eins. Fragen Sie lieber, ob es überhaupt existiert.
- Lokale und seltene Themen, über die wenig geschrieben wird.
- Fragen mit falscher Voraussetzung. Bitten Sie um die Zusammenfassung eines Buchs, das der Autor nie geschrieben hat, und Sie bekommen manchmal eine Inhaltsangabe.
Gewohnheiten, die Erfundenes aufdecken
- Jana: Und wie soll ich es erkennen, wenn es genau gleich klingt?KI: Am Klang gar nicht. An dem, was Sie damit machen, schon. Bei einem Freund, der alles weiß, würden Sie es ja auch nachprüfen.
- Jetzt Sie!
Was davon hilft Ihnen, eine erfundene Angabe aufzudecken?
Markieren Sie alles, was Ihrer Meinung nach zutrifft. Dann auswerten.
- Etwas späterMartin: Das Zitat hab ich… schon dem Chef geschickt. Heute früh.Jana: Dann schreib ihm, dass Goethe das nie gesagt hat.
- Martin: Mach ich. Und ich schreib dazu, dass es in Wahrheit Schiller war.Jana: Hast du das nachgeprüft?
- Martin: …Ich frag den Chatbot.Jana: Schiller hat es auch nicht gesagt. Niemand hat es gesagt.
So funktioniert es
Ein echter Fall: erfundene Urteile
Im Jahr 2023 verfasste der New Yorker Anwalt Steven Schwartz einen Schriftsatz für ein Gericht, in dem er sich auf sechs frühere Urteile berief. Alle hatte ihm ChatGPT gefunden. Keines davon existierte. Der Chatbot hatte sie samt Zitaten erfunden und echten Richtern zugeschrieben.
Der Anwalt fragte den Chatbot sogar, ob die Fälle echt seien. Die Antwort war ja, man finde sie in juristischen Datenbanken. Aufgefallen ist es den Anwälten der Gegenseite, die die Urteile nicht finden konnten. Der Richter verlangte daraufhin den vollen Wortlaut.
Im Juni 2023 verhängte das Gericht gegen den Anwalt, seinen Kollegen und ihre Kanzlei eine Strafe von 5.000 Dollar und verpflichtete sie, sich bei den Richtern zu entschuldigen, deren Namen in den erfundenen Urteilen auftauchten.
Quellen: Sara Merken, Reuters, 22.6.2023: New York lawyers sanctioned for using fake ChatGPT cases in legal brief; Benjamin Weiser, The New York Times, 27.5.2023: Here's What Happens When Your Lawyer Uses ChatGPT; AI Incident Database, Fall 541
- AbendsJana: Meine Nichte muss morgen ein Referat abgeben. Rate mal, wer es ihr geschrieben hat.KI: Ich hoffe, der Chatbot hat nur geholfen. Sie soll jeden Namen und jedes Jahr prüfen, ihre Lehrerin findet die erfundenen schneller als ich.
- Jana: Also ein Freund, der alles weiß. Und nicht weiß, was er nicht weiß.KI: Und der Ihnen gern erzählt, was Goethe darüber dachte.
Quiz
- KI: Fünf Fragen. Diesmal dürfen Sie gern nachprüfen.Jana: Ich hoffe, du hast die Antworten nicht bei dir selbst nachgeprüft.
- Quiz
Frage 1 von 5
Fünf Fragen, keine Noten.
Warum schreibt ein Chatbot manchmal etwas, das nicht stimmt?
Wählen Sie eine Antwort.
Das nehmen Sie mit
- Ein Chatbot setzt einen Text mit dem fort, was wahrscheinlich hineinpasst. Kennt er die richtige Antwort nicht, schreibt er etwas, das nur richtig klingt.
- Er weiß nicht, dass er es nicht weiß. Ein erfundener Satz sieht von innen genauso aus wie ein wahrer, deshalb schreibt er von sich aus selten „Weiß ich nicht“.
- Ein selbstsicherer Ton, Details, eine Jahreszahl oder ein Name beweisen nichts. Auch das sind nur wahrscheinliche Wörter.
- Am häufigsten erfindet er bei genauen Angaben und bei seltenen oder lokalen Themen. Genau die sollten Sie außerhalb des Chatbots prüfen.
- Den Chatbot zu fragen, ob er sich sicher ist, reicht nicht. Helfen eine andere Quelle oder ein Mensch, der sich auskennt.
Nächste Episode
Wovor man sich bei KI fürchten sollteSpezial
Roboter, Gedankenlesen, Bewusstsein. Das Halloween-Spezial darüber, wovor man sich bei KI wirklich fürchten sollte und wovor nicht.
Neue Folgen direkt ins Postfach
Alle zwei Wochen schicken wir die neuen Folgen, einen kurzen Lerntext und Neuigkeiten aus der KI-Welt. Kostenlos, jederzeit abbestellbar.