OpenAI beschäftigt Hunderte externe Mitarbeiterinnen und Mitarbeiter, die Eingaben von ChatGPT-Nutzern lesen und bewerten. Das geht aus internen Dokumenten hervor, die dem Magazin 404 Media vorliegen. Die geprüften Prompts können dabei vollständige Unterhaltungen umfassen und dienen dazu, die Antworten der KI zu verbessern.
Die Evaluierung läuft laut Bericht unter dem internen Projektnamen "Project Lily". Externe Mitarbeitende erhalten über Dashboards Zugriff auf reale Prompts, fassen die Anfragen zusammen und bewerten vier von ChatGPT generierte Antwortoptionen auf einer Skala von 1 bis 7. Zudem markieren sie unpassende Abschnitte wie übermäßigen Emoji-Einsatz oder eine unangemessene Tonalität. Die Antworten sollen professionell und hilfreich bleiben, ohne den Eindruck zu erwecken, menschlich zu sein oder Emotionen zu empfinden.
Anonymisierung mit Lücken
OpenAI filtert Prompts vor der Weiterleitung an die Prüfenden mit einem eigenen Modell namens Privacy Filter. Das Unternehmen räumt jedoch ein, dass dieser Filter seltene Identifikatoren oder private Bezüge im Kontext übersehen kann. Zwar fehlen in den Dashboards der Prüfenden Nutzernamen, doch manche Datensätze enthalten Zusammenfassungen früherer Chatverläufe, die Standorte oder persönliche Informationen preisgeben können. Aktive Recherchen zur Faktenprüfung sollen die externen Mitarbeitenden nicht durchführen, auffällige Faktenfehler aber markieren, insbesondere bei medizinischen, rechtlichen und finanziellen Antworten.
Betroffen sind vor allem private Konten
Das Lesen der Prompts betrifft Konten, bei denen die Datennutzung zur Modellverbesserung aktiviert ist. Bei kostenlosen Plänen sowie Plus- und Pro-Abonnements ist diese Option standardmäßig eingeschaltet, Nutzende müssen sie aktiv in den Einstellungen deaktivieren, um die Verarbeitung künftiger Unterhaltungen zu unterbinden. Bei Unternehmenskonten für Geschäftskunden und Bildungseinrichtungen ist die Option dagegen von vornherein deaktiviert. Die externen Arbeitskräfte werden über Dienstleister wie Crossing Hurdles und Mercor vermittelt, ein von 404 Media befragter Mitarbeiter aus Nordamerika gibt an, mehr als 50 US-Dollar pro Stunde zu erhalten. Laut dem Bericht setzen auch andere Anbieter auf menschliche Überprüfung: Anthropic beschränkt sie auf Nutzer mit aktivierter Opt-in-Einstellung und entfernt vorab Kontokennungen wie E-Mail-Adressen, Google weist bei Gemini ebenfalls darauf hin, dass Menschen einige gespeicherte Chats überprüfen.