AI Dedektörlerine Neden Güvenmemelisiniz?

birçok tHerkes AI devriminden memnun değil ve onları suçlamak zor: ChatGPT yapay zekayı, örneğin bir lise makalesi için bir bilgi istemi ile besleyebileceğinizi ve yapay zekanın saniyeler içinde bir sonuç çıkarabileceğini kanıtladı. Tabii ki, bu yazı olabilir hatalarla dolu, ama hey, ödev bitti. Bu nedenle, AI denetleyicileri kendilerini AI hilesine karşı yeni bir savunma hattı olarak tanıttığında, etkilenen herkesin bunları kullanmaya başlaması mantıklıdır. Sorun şu ki, mükemmel değiller ve bu kusurlar insanları incitiyor.

AI dedektörleri nasıl çalışır?

Şu anda popüler olan tüm AI programları (örn. ChatGPT), büyük dil modellerine (LLM’ler) dayalıdır. LLM’ler eğitilir büyük miktarda metin ve size yanıt vermek için bu bilgiden yararlanın. Basit bir ifadeyle, AI’nın tek yaptığı, eğitiminden bildiklerine dayanarak söylediği son şeyi hangi kelimenin takip etmesi gerektiğini tahmin etmektir. “Kar soğuktur ama ateş sıcaktır”ın ne anlama geldiğini bilmez, ama “ateştir”in ardından genellikle “sıcak” gelir. (Tekrar, Süper basit anlatım.)

Yapay zeka denetleyicileri de benzer şekilde çalışır: Bazıları insanlar tarafından yazılan, bazıları robotlar tarafından yazılan ve bazıları her ikisi tarafından yazılan metin veri kümeleri üzerinde eğitilirler. AI dedektörleri, tekrarlayan dil, sözcük seçimi olasılığı ve ton gibi LLM’ler tarafından oluşturulan metnin açıklayıcı işaretlerini arar. Bir yapay zekayı kalıpları tanıması için eğitmeyi umduğunuz gibi, geliştiriciler de yapay zeka denetleyicilerinin metnin bir robot tarafından yazıp yazılmadığını tanıyabileceğini umarlar.

Bu geliştiriciler, denetleyicilerinin bunu yapabileceğini iddia ediyor. Ama o kadar emin değilim. Aslında, ChatGPT’ye belirli bir metnin yapay zeka tarafından mı yoksa insan tarafından mı yazıldığını tanıyıp tanımadığını sordum. Cevap verdi:

Bir AI dil modeli olarak, bir insan tarafından yazılan metinden ayırt edilmesi zor olabilecek metinler üretebilirim. Bununla birlikte, özellikle metin iyi yazılmış ve düzenlenmişse, bir metnin yapay zeka tarafından mı yoksa bir insan tarafından mı yazıldığını kesin olarak belirlemek her zaman mümkün değildir.

Alışılmadık veya tekrarlayan kalıplar, tutarlılık eksikliği veya olağandışı sözcük seçimleri gibi bir metnin yapay zeka tarafından üretilip üretilmediğini önerebilecek bazı göstergeler vardır. Ancak bu göstergeler her zaman mevcut değildir ve gelişmiş yapay zeka teknolojileri ile bunların üstesinden gelinebilir.

Yapay zeka tarafından oluşturulan metnin kalitesinin sürekli olarak arttığını da belirtmekte fayda var, bu nedenle gelecekte insan ve yapay zeka tarafından oluşturulan metin arasında ayrım yapmak giderek daha zor hale gelebilir. Nihayetinde, bir metnin AI tarafından üretilip üretilmediğini belirlemenin en iyi yolu, bu alanda eğitimli bir uzmanın metni dikkatlice analiz etmesini sağlamaktır.

AI botlarının vaftiz babası tarafından gerçekten parlak bir onay değil. Ancak, bu dedektörlerin nasıl çalıştığına bir göz atalım:

Yapay zeka dedektörleri vahşi ortamda nasıl performans gösterir?

Turnitinintihal denetleyicisi için korku uyandırdığını hatırlıyorum, yazılımının artık yapay zeka tarafından oluşturulan içeriği %98 güvenle algıladığını iddia ediyor. Eğer doğruysa, şüphesiz yüksek. BestColleges yazılımı test etti, insan tarafından oluşturulan, yapay zeka tarafından oluşturulan ve hibrit yazı arasında ayrım yapabilen. Ancak bu istatistik bile, bir öğretmenin yanlış bir şekilde her 50 öğrenciden birini yapay zeka araçlarını kopya çekmek için kullanmakla suçlayacağı anlamına gelir.

Washington Post’un Turnitin ile deneyimiAncak, bundan daha lanetleyici. Öğrenciler t’ye yardım ettiPost, insan tarafından oluşturulan, yapay zeka tarafından oluşturulan ve hibrit metinlerden oluşan 16 yazı örneği buldu. Sonunda, Turnitin örneklerin yarısından fazlasını en azından kısmen yanlış buldu. Altıyı doğru bir şekilde etiketledi, ancak topu tamamen diğer üçünün üzerine düşürdü. Bu gerçek bir sınıf olsaydı, Turnitin tam bir karmaşa yaratırdı.

Viral olan ilk AI üreticilerinden biri, GPTZero, çok az denemeyle doğruluk testinde başarısız olur. Dondurma hakkında nötr bir tonda bir paragraf yazarak test ettim. Bana “Metnin muhtemelen tamamen yapay zeka tarafından yazılacak” dedi.

Dondurma, dünyanın her yerinden insanlar tarafından sevilen popüler bir donmuş tatlıdır. Öncelikle yaz aylarında olduğu gibi ılık veya sıcak havalarda yenir, ancak yıl boyunca keyifle tüketilir. Dondurmanın pek çok çeşidi vardır ve genellikle şekerler, kuruyemişler, meyveler veya şuruplar gibi soslarla birleştirilir.

Ancak belirsiz paragrafım yalnızca başlangıç. Kafa karıştırıcı bir şekilde adlandırılan başka bir dedektör sıfırGPTyüz üstü düştüğünde Redditor, Amerika Birleşik Devletleri Anayasasını incelemeye karar verdi. ZeroGPT’ye göre, Anayasa’nın %92,26’sı yapay zeka tarafından yazılmıştır. Philadelphia Konvansiyonu’nun ülkenin yasalarını oluştururken yapay zekaya bu kadar bağımlı olduğunu kim bilebilirdi? (Sanırım bu, zaten bu değişikliklerden birkaçını açıklıyor.)

Bununla birlikte, dedektörleri kandırmanın bir yolu, yapay zeka tarafından üretilen bir metne yapay zekadan başka bir geçiş vermektir. QuillBot, örneğin, metni sizin için yeniden yazar ve öğrenciler tarafından damadan kaçınmak için halihazırda kullanılmaktadır. Bir AI detektörü, belirli bir metnin AI tarafından yazıp yazılmadığını belirlemek için “ortalamalığını” arıyorsa, başka bir AI’nın metne daha fazla çeşitlilik katması, o sistemde bir İngiliz anahtarı atacaktır. QuillBot, okulda AI dedektörlerini tartışan TikToks’un yorumlarında sık sık ortaya çıkıyor. Çocuklar irade bir yol bul.

AI dedektörleri masum öğrencilere zarar veriyor

Şimdiye kadar, bu örneklerin hepsi teoridir. Ancak bu damalar prototip değil. Buradalar ve gerçek öğrencilere karşı kullanılıyorlar. Eminim bu algılayıcılar, ChatGPT gibi araçları kopya çekmek için kullanan birçok öğrenciyi geride bırakmıştır, ancak aynı zamanda masum öğrencileri de haksız yere aynısını yapmakla suçluyorlar ve bu çok büyük bir bedel alıyor:

Eğitmen hatayı kabul edip suçlamalarını geri aldığı için bu tweet’in “iyi” bir çözümü vardı. Ancak diğer durumlarda, öğretmenler yapay zeka denetleyicilerine müjde gibi davranıyor ve “yapay zeka tarafından üretilen” her sonuçla ilgili tartışmayı kapatıyorlar:

Yeni bir dünyayla karşı karşıya olduğumuzu inkar etmeyeceğim. Büyük dil modelleri, öğrencilerin bir deneme istemi ekleyebileceği ve karşılığında tamamen yazılmış bir makale alabileceği anlamına gelir. (wfarklı kalite seviyeleri). Ama belki de öğrencilerin sistemi bu kadar kolay kandırabilmeleri bir B’den çok değişmesi gereken bir sisteme işaret ediyor.ve-ASuçlular kadar masum öğrencileri de kolayca cezalandıran id çözümü.

Turnitin, insan yapımı metni yapay zeka tarafından yazılmış olarak etiketlediği anları “fale pozitifler” Sevimli. Ancak şirket, “suistimal tespitinde bulunmadığını” vurguluyor; daha doğrusu teklif ediyorlar veri, ve son aramayı eğitimciye bırakın. Bu feragatname birçok kişide kaybolmuş görünüyor: Onların gözünde, AI denetleyicisi sizin hile yaptığınızı söylüyorsa, hile yapıyorsunuz demektir.