Najznámejší chatbot na svete, ChatGPT, bol vydaný koncom novembra minulého roka. Okamžitou reakciou bolo prekvapenie, po ktorom takmer okamžite nasledovala hrôza z jeho dôsledkov – najmä z toho, že by to mohlo generovať školské eseje pre nečestné deti. Včera, takmer presne o dva mesiace neskôr, OpenAI, materská spoločnosť ChatGPT, vydala niečo, čo mnohí používatelia dúfajú, že bude protijed na jed.
„Klasifikátor OpenAI na označenie textu napísaného umelou inteligenciou (otvorí sa v novom okne) “ je najnovším vynálezom spoločnosti a jeho používanie je také jednoduché, ako by ste si mohli želať: Skopírujte a vložte text do poľa, kliknite na tlačidlo Odoslať a získajte svoj výsledok. Ak však čakáte priamu odpoveď, budete sklamaní. Namiesto toho priraďuje textu jednu z radu klasifikácií, od „veľmi nepravdepodobné“, že bude generované AI, po „nepravdepodobné“, „nejasné“, „možné“ alebo „pravdepodobné generované AI“.
Inými slovami, je to ako jeden z tých frustrujúcich rozhovorov s vaším lekárom; nikdy nedostanete priamu odpoveď, takže váš lekár sa nikdy nebude technicky mýliť.
Našťastie OpenAI neskrýva nespoľahlivosť klasifikátora. „Náš klasifikátor nie je úplne spoľahlivý,“ uvádza sa na úvodnej stránke nástroja. Ak nám to poskytne text, ktorý nazývame „súborom výziev“, bolo nám povedané, že v 9 percentách prípadov boli falošne pozitívne.
V testoch Mashable to však bolo ešte menej spoľahlivé ako v určitých obmedzených kontextoch. V zámerne náročných scenároch to prinieslo falošné výsledky v oboch smeroch – je nepravdepodobné, že text napísaný umelou inteligenciou je napísaný umelou inteligenciou a že text napísaný človekom je pravdepodobne napísaný umelou inteligenciou – takmer tak často ako nie. Rozdiel je možno v tom, že sme sa to snažili oklamať.
Tu je návod, ako sa veci otriasli:
Nezamieňa si klasiku s výstupmi ChatGPT AI
Najprv dobrá správa: Tento nástroj robí nevyhnutné minimum celkom dobre tým, že neoznačuje majstrovské diela anglického jazyka nesprávne ako výstupy AI. Keď sme vložili úryvky zo Shakespeara, Biblie kráľa Jakuba, Ulyssesa a ďalších, bolo to stopercentne účinné. Označil ich ako „veľmi nepravdepodobné“, že by boli napísané AI.
Napríklad tento úryvok z Tennysonovej "The Lady of Shallott" bol vhodne klasifikovaný.
Ponaučenie: Tento stroj si možno nevšimol, že bol kŕmený majstrovským dielom prevyšujúcej krásy a hĺbky, ale aspoň nehovorí: „Myslím, že toto mohol napísať robot.“
Žiadny z jeho ďalších výsledkov nie je veľmi pôsobivý
Hneď po tomto teste sme požiadali ChatGPT, aby na Comic Con vytvoril Tennysonovu báseň o kráľovi Artušovi. Tu je ukážka toho, čo to vygenerovalo:
Kráľ Artuš a jeho rytieri, takí odvážni a smelí,
Na Comic Cone sa rozprávali ich príbehy o sláve.
Chôdza po podlahe v cosplay výstroji,
Ich meče a štíty už nie sú obyčajné.
Všetky davy jasali, keď prechádzali okolo,
S Merlinom tesne za chrbtom, jeho mágia sa blíži.
Sir Lancelot, Sir Gawain, Bors the Brave,
Svojej túžby po sláve sa nikdy nevzdajú.
Na robotu to nie je zlé, ale stále mimoriadne zlé („už nie len“???). Keď sme túto lyrickú baladu vložili do triediča, čakali sme, že nás ľahko prekabáti a prinúti nás ponoriť sa trochu hlbšie do nášho vreca trikov. Nie:
Za to, čo stojí za to, neklasifikoval tento pes ako "veľmi nepravdepodobný", len "nepravdepodobný." Napriek tomu nás to trochu znepokojilo. Koniec koncov, veľmi sme sa to nesnažili oklamať a vyšlo to.
Naše testy naznačujú, že by to mohlo poškodiť nevinné deti za podvádzanie
Školské eseje sú miestom, kde sa guma stretáva s dnešným zlomyseľným používaním textu generovaného AI. Tak sme vytvorili náš najlepší pokus o nenáročnú esej s piatimi odsekmi s nudnou prózou a obsahom (téza: „Psy sú lepšie ako mačky.“). Mysleli sme si, že žiadne skutočné dieťa nemôže byť také nudné, ale klasifikátor sa aj tak chytil:
A keď ChatGPT riešil tú istú výzvu, klasifikátor bol – najprv – stále v cieli:
A takto vyzerá systém, keď skutočne funguje tak, ako je inzerované. Toto je esej v školskom štýle, napísaná strojom a nástroj OpenAI na zachytenie takéhoto „plagiátu AI“ ju úspešne zachytil. Žiaľ, hneď to zlyhalo, keď sme tomu dali nejednoznačnejší text.
V našom ďalšom teste sme manuálne napísali ďalšiu esej s piatimi odsekmi, ale zahrnuli sme niektoré barličky na písanie OpenAI, ako napríklad začínanie odsekov tela jednoduchými slovami ako „prvý“ a „druhý“ a použitie nepochybne robotickej frázy „na záver. " Ale zvyšok bola čerstvo napísaná esej o prednostiach hriankovačov.
Klasifikácia bola opäť nepresná:
Je to nepochybne jedna z najhlúpejších esejí všetkých čias, ale celú vec napísal človek a OpenAI tvrdí, že má podozrenie na opak. Toto je najznepokojujúcejší výsledok zo všetkých, pretože si ľahko dokážeme predstaviť, že niektorého stredoškolského študenta zatne učiteľ napriek tomu, že neporuší žiadne pravidlá.
Naše testy boli nevedecké, veľkosť vzorky bola nepatrná a absolútne sme sa snažili oklamať počítač. Napriek tomu bolo príliš jednoduché prinútiť to vypľuť zvrátene nesprávny výsledok. Počas používania tohto nástroja sme sa naučili dosť na to, aby sme s istotou povedali, že učitelia by absolútne nemali používať „klasifikátor na označenie textu napísaného AI“ ako systém na vyhľadávanie podvodníkov.
Na záver sme tento článok prešli cez klasifikátor. Výsledok bol úplne presný:
...Alebo bolo????
...Alebo bolo????
