University of Kansas stellt fortschrittlichen KI-Detektor zur Erkennung akademischer Schriften vor

von Srikanth9. Juni 2023, 13:02 Uhr279Ansichten

Die Chemikerin Heather Desaire von der University of Kansas hat eine hochmoderne Technologie eingeführt, mit der von ChatGPT generierte wissenschaftliche Texte mit einer beeindruckenden Genauigkeit von 99 % erkannt werden können. Dieser Durchbruch nutzt einen Textgenerator mit künstlicher Intelligenz (KI). Desaires bemerkenswerte Leistung wurde in der renommierten Fachzeitschrift „Cell Reports Physical Science“ dokumentiert, wo sie nicht nur die Wirksamkeit ihrer KI-Erkennungsmethode demonstrierte, sondern auch den notwendigen Quellcode für andere zur Replikation dieses bahnbrechenden Tools bereitstellte.

Heather Desaire, Keith D. Wilner-Lehrstuhlinhaberin für Chemie an der KU, betonte den dringenden Bedarf an präzisen KI-Erkennungstools, um die wissenschaftliche Integrität zu wahren. Desaire äußerte sich besorgt über KI-Textgeneratoren wie ChatGPT und erklärte, dass diese Fakten fabrizierten. Im Bereich der akademischen wissenschaftlichen Veröffentlichungen, in denen bahnbrechende Entdeckungen und die Spitze des menschlichen Wissens geteilt werden, ist es von entscheidender Bedeutung, die Aufnahme glaubhafter Unwahrheiten zu verhindern, die die Literatur verunreinigen könnten. Desaire räumte ein, dass es keine narrensichere automatisierte Methode gibt, um diese als „Halluzinationen“ bekannten trügerischen Elemente zu identifizieren. Wenn echte wissenschaftliche Fakten mit überzeugenden, aber fabrizierten KI-generierten Inhalten vermischt werden, werden die Vertrauenswürdigkeit und der Wert von Veröffentlichungen unweigerlich gemindert.

Sie erklärte, dass die Wirksamkeit ihrer Erkennungsmethode darauf beruht, dass sie sich speziell auf wissenschaftliche Texte konzentriert, die häufig in von Experten begutachteten Fachzeitschriften zu finden sind. Indem sie den Anwendungsbereich auf diese Weise einschränkt, erreicht ihr Ansatz eine höhere Genauigkeit im Vergleich zu bestehenden KI-Erkennungstools wie dem RoBERTa-Detektor, die darauf abzielen, KI in allgemeineren Schrifttypen zu identifizieren.

Desaire sagte, dass es möglich sei, eine hochpräzise Methode zur Unterscheidung zwischen menschlichem Schreiben und ChatGPT-Schreiben zu entwickeln. Um eine solche Genauigkeit zu erreichen, muss die Analyse jedoch auf eine bestimmte Gruppe von Menschen beschränkt werden, die auf unterschiedliche Weise schreiben. Im Gegensatz dazu sind bestehende KI-Detektoren als allgemeine Werkzeuge konzipiert, die auf verschiedene Arten des Schreibens anwendbar sind. Obwohl sie ihren beabsichtigten Zweck gut erfüllen, sind sie nicht so präzise wie ein Werkzeug, das speziell auf einen bestimmten und engen Zweck zugeschnitten ist.

In ihrer Forschung betonte Desaire die entscheidende Bedeutung der Genauigkeit, wenn Personen beschuldigt werden, KI heimlich zu nutzen, und betonte die Notwendigkeit, häufige Fehlidentifizierungen zu vermeiden. Sie räumte jedoch ein, dass das Erreichen von Genauigkeit oft mit einem Verzicht auf die Generalisierbarkeit einhergeht. Desaire arbeitete mit ihrer Forschungsgruppe an der KU zusammen, zu der Romana Jarosova, eine wissenschaftliche Assistenzprofessorin für Chemie, David Huax, ein Informationssystemanalytiker, und die Doktoranden Aleesa E. Chua und Madeline Isom gehörten. Der Erfolg des Teams bei der Erkennung von KI-Text kann auf die Einbeziehung menschlicher Erkenntnisse in die Entwicklung des Codes zurückgeführt werden, die über die Abhängigkeit von der Mustererkennung durch maschinelles Lernen hinausgeht.

Desaire enthüllte, dass ihr Ansatz einen deutlich kleineren Datensatz und ein höheres Maß an menschlichem Eingreifen erforderte, um die entscheidenden Unterschiede für ihren Detektor zu identifizieren. Konkret konstruierten sie ihre Strategie unter Verwendung von nur 64 von Menschen verfassten Dokumenten und 128 von KI generierten Dokumenten als Trainingsdaten. Diese Datensatzgröße ist etwa 100.000-mal kleiner als die Größe, die normalerweise zum Trainieren anderer Detektoren verwendet wird.

Desaire betonte die Bedeutung dieses Unterschieds und setzte ihn mit der Kluft zwischen den Kosten einer Tasse Kaffee und den Kosten eines Hauses gleich. Der Vorteil ihres kleinen Datensatzes war seine schnelle Verarbeitungsfähigkeit und alle Dokumente konnten von Menschen gründlich überprüft werden. Durch die Nutzung ihres menschlichen Intellekts konnten sie wertvolle Unterschiede innerhalb der Dokumentensätze identifizieren, anstatt sich ausschließlich auf zuvor entwickelte Strategien zur Unterscheidung zwischen menschlichen und KI-generierten Inhalten zu verlassen.

Laut KU wurde Desaires Ansatz unabhängig entwickelt, ohne sich auf Strategien früherer KI-Erkennungsmethoden zu verlassen. Daher verfügt ihre Technik über besondere Elemente, die im Bereich der KI-Texterkennung völlig einzigartig sind. Desaire gab zu, dass sie nicht einmal die vorhandene Literatur zur KI-Texterkennung konsultierten, bis sie über ein eigenes funktionierendes Tool verfügten. Anstatt der konventionellen Denkweise der Informatiker bei der Texterkennung zu folgen, verließen sie sich auf ihre Intuition, um herauszufinden, was effektiv wäre, und äußerten sogar ein leichtes Gefühl der Verlegenheit über ihren unkonventionellen Ansatz.

Desaire und ihr Team gingen die KI-Erkennungsmethoden anders an als frühere Forschungen. Anstatt sich auf die Analyse von KI-generiertem Text zu konzentrieren, richteten sie ihre Aufmerksamkeit auf das Verständnis der besonderen Merkmale von von Menschen geschriebenen Texten. Während sich die meisten Forscher darauf konzentrieren, zu entschlüsseln, wie KI-generierter Text aussieht, fragten sich Desaire und ihr Team, wie sich menschliches Schreiben in ihrem spezifischen Kontext von KI-Texten unterscheidet. Obwohl KI-Schreiben letztendlich vom menschlichen Schreiben abgeleitet ist, handelt es sich bei KI-generiertem Text, insbesondere aus ChatGPT, in der Regel um eine verallgemeinerte Komposition, die aus verschiedenen Quellen zusammengeführt wird. Indem Desaire und ihr Team der Untersuchung menschlicher Schreibeigenschaften Priorität einräumten, brachten sie eine neue Perspektive in die Entwicklung von KI-Erkennungstechniken.

Sie hebt die Einzigartigkeit des Schreibens von Wissenschaftlern hervor und unterscheidet es vom allgemeinen menschlichen Schreiben als einer speziellen Form. Sie hat den KI-Erkennungscode ihres Teams öffentlich zugänglich gemacht, in der Hoffnung, Personen, die möglicherweise keinen Hintergrund in der Computerprogrammierung haben, zu ermutigen, sich mit KI und KI-Erkennung zu beschäftigen. Desaire erkennt zwar die bahnbrechende Wirkung von Technologien wie ChatGPT und ihre weitverbreitete Akzeptanz an, betont jedoch, dass selbst Oberstufenschüler mit der richtigen Anleitung und dem richtigen Einsatz ihre Erfolge wiederholen können.

KI-Nachrichten

Leidenschaftlicher Tech-Blogger über neue Technologien, die revolutionäre Veränderungen in das Leben der Menschen bringen. Interessiert daran, die neuesten Gadgets und Saas-Programme zu erkunden