Warum GPT-Detektoren keine Lösung für das KI-Betrugsproblem sind

18. Mai 2023

Dieser Artikel wurde gemäß dem Redaktionsprozess und den Richtlinien von Science X überprüft. Die Redakteure haben die folgenden Attribute hervorgehoben und gleichzeitig die Glaubwürdigkeit des Inhalts sichergestellt:

faktengeprüft

Vordruck

vertrauenswürdige Quelle

Korrekturlesen

von Andrew Myers, Stanford University

Im Zuge der vielbeachteten Einführung von ChatGPT haben nicht weniger als sieben Entwickler oder Unternehmen mit KI-Detektoren reagiert. Das heißt, die KI sei in der Lage zu erkennen, wann Inhalte von einer anderen KI geschrieben wurden. Diese neuen Algorithmen werden Pädagogen, Journalisten und anderen als Hilfsmittel zur Erkennung von Betrug, Plagiaten und Fehl- oder Desinformationen angeboten.

Das ist alles sehr metaphorisch, aber laut einer neuen Arbeit von Stanford-Wissenschaftlern gibt es nur ein (sehr großes) Problem: Die Detektoren sind nicht besonders zuverlässig. Schlimmer noch: Sie sind besonders unzuverlässig, wenn der eigentliche Autor (ein Mensch) kein englischer Muttersprachler ist.

Die Zahlen sind düster. Während die Detektoren bei der Bewertung von Aufsätzen von in den USA geborenen Achtklässlern „nahezu perfekt“ waren, klassifizierten sie mehr als die Hälfte der TOEFL-Aufsätze (61,22 %), die von nicht-muttersprachlichen englischen Schülern geschrieben wurden, als KI-generiert (TOEFL ist ein Akronym für). der Test für Englisch als Fremdsprache).

Es wird schlimmer. Laut der Studie identifizierten alle sieben KI-Detektoren einhellig 18 der 91 TOEFL-Studentenaufsätze (19 %) als KI-generiert und bemerkenswerte 89 der 91 TOEFL-Aufsätze (97 %) wurden von mindestens einem der Detektoren markiert.

„Es kommt darauf an, wie Detektoren KI erkennen“, sagt James Zou, Professor für biomedizinische Datenwissenschaft an der Stanford University, einer Tochtergesellschaft des Stanford Institute for Human-Centered AI, und leitender Autor der Studie. „Sie punkten in der Regel anhand einer Kennzahl, die als ‚Perplexität‘ bekannt ist und mit der Komplexität des Textes korreliert – etwas, bei dem Nicht-Muttersprachler ihren in den USA geborenen Kollegen natürlich hinterherhinken.“

Zou und Co-Autoren weisen darauf hin, dass Nicht-Muttersprachler bei gängigen Perplexitätsmaßstäben wie lexikalischem Reichtum, lexikalischer Vielfalt, syntaktischer Komplexität und grammatikalischer Komplexität typischerweise schlechtere Ergebnisse erzielen.

„Diese Zahlen werfen ernsthafte Fragen zur Objektivität von KI-Detektoren auf und erhöhen die Möglichkeit, dass im Ausland geborene Studenten und Arbeitnehmer zu Unrecht des Betrugs beschuldigt oder, schlimmer noch, bestraft werden könnten“, sagt Zou und unterstreicht die ethischen Bedenken des Teams.

Zou weist außerdem darauf hin, dass solche Detektoren durch das sogenannte „prompte Engineering“ leicht umgangen werden können. Dieser Kunstbegriff im KI-Bereich bedeute einfach, generative KI zu bitten, Aufsätze „umzuschreiben“, um beispielsweise eine anspruchsvollere Sprache einzubeziehen, sagt Zou. Er liefert ein Beispiel dafür, wie einfach die Umgehung der Detektoren ist. Ein Student, der ChatGPT zum Betrügen nutzen möchte, könnte einfach den von der KI generierten Text mit der Aufforderung einfügen: „Erhöhen Sie den bereitgestellten Text durch den Einsatz literarischer Sprache.“

„Aktuelle Detektoren sind eindeutig unzuverlässig und leicht zu manipulieren, was bedeutet, dass wir sehr vorsichtig sein sollten, sie als Lösung für das KI-Betrugsproblem einzusetzen“, sagt Zou.

Dann stellt sich die Frage, was man dagegen tun kann. Zou bietet einige Vorschläge. Er sagt, dass wir in naher Zukunft vermeiden müssen, uns in Bildungseinrichtungen auf Detektoren zu verlassen, insbesondere dort, wo es viele Nicht-Muttersprachler gibt, die Englisch sprechen. Zweitens müssen Entwickler über die Verwendung von Ratlosigkeit als Hauptmessgröße hinausgehen und ausgefeiltere Techniken finden oder vielleicht Wasserzeichen anwenden, mit denen die generative KI subtile Hinweise auf ihre Identität in die von ihr erstellten Inhalte einbettet. Schließlich müssen sie ihre Modelle weniger anfällig für Umgehungen machen.

„Zu diesem Zeitpunkt sind die Detektoren einfach zu unzuverlässig und es steht zu viel auf dem Spiel, als dass die Studenten auf diese Technologien vertrauen könnten, ohne sie gründlich zu bewerten und erheblich zu verfeinern“, sagt Zou.

Die Ergebnisse werden auf dem Preprint-Server arXiv veröffentlicht.

Mehr Informationen: Weixin Liang et al., GPT-Detektoren sind voreingenommen gegenüber nicht-muttersprachlichen englischen Autoren, arXiv (2023). DOI: 10.48550/arxiv.2304.02819