Yapay Zeka Tespit Araçları Ne Kadar Güvenilir?

Yapay Zeka Tespit Araçları Ne Kadar Güvenilir?

Yapay zeka tespit araçları, bir metnin insan tarafından mı yoksa bir dil modeli tarafından mı yazıldığını olasılık temelinde tahmin etmeye çalışan yazılımlardır. Üniversiteler, dergiler ve bazı değerlendirme kurulları bu araçlara metinlerin özgünlüğü hakkında fikir edinmek amacıyla başvurmaktadır. Araştırmacılar açısından ise bu araçların vereceği bir sonuç, emeğiyle yazdığı bir metnin sorgulanmasına yol açabileceği için ciddi bir kaygı kaynağıdır.

Bu araçların ne kadar güvenilir olduğu sorusu, hem araştırmalarda hem de araçları geliştiren şirketlerin kendi açıklamalarında ele alınmıştır. Bu yazıda yapay zeka tespit araçlarının çalışma mantığı, doğrulanmış bulgular ışığında güvenilirlik sorunları ve yazarların bu konuda neler yapabileceği ele alınmaktadır.

Yapay Zeka Tespit Araçları Nasıl Çalışmaktadır?

Tespit araçlarının önemli bir kısmı, metindeki kelime seçimlerinin bir dil modeli açısından ne kadar öngörülebilir olduğunu ölçen istatistiksel özelliklerden yararlanmaktadır. Bu ölçütlerden biri “perplexity” olarak adlandırılmaktadır. Genel kabul, dil modellerinin ürettiği metinlerin daha öngörülebilir kelime dizileri içerdiği yönündedir. Araç, metnin bu özelliklerini inceleyerek bir olasılık değeri ya da “yapay zeka ile yazılmış olabilir” türünden bir etiket üretmektedir.

Bu yaklaşımın temel zayıflığı, öngörülebilir bir dilin yalnızca dil modellerine özgü olmamasıdır. Kısıtlı bir kelime dağarcığıyla, kalıp ifadelere dayanarak ya da sade bir üslupla yazılan insan metinleri de benzer istatistiksel özellikler gösterebilmektedir.

OpenAI Kendi Tespit Aracını Neden Kaldırdı?

ChatGPT’yi geliştiren OpenAI, Ocak 2023’te yapay zeka ile yazılmış metinleri ayırt etmek amacıyla bir sınıflandırıcı kullanıma sunmuştur. Şirket, aracı tanıtırken bile sonuçlarının tam olarak güvenilir olmadığını ve insan yazısı metinleri de yapay zeka ürünü olarak işaretleyebileceğini belirtmiştir. 20 Temmuz 2023 itibarıyla ise sınıflandırıcı, şirketin kendi açıklamasına göre düşük doğruluk oranı nedeniyle kullanımdan kaldırılmıştır. Dil modelini geliştiren şirketin bile kendi modelinin ürettiği metinleri güvenilir biçimde ayırt edecek bir araç sunamaması, bu alandaki teknik güçlüğü açıkça göstermektedir.

Anadili İngilizce Olmayan Yazarlar Neden Daha Fazla Risk Altındadır?

Stanford Üniversitesinden Liang ve arkadaşlarının 2023 yılında Patterns dergisinde yayımlanan “GPT detectors are biased against non-native English writers” başlıklı çalışması, bu konuda en sık atıf alan araştırmalardan biridir. Araştırmacılar, yaygın olarak kullanılan yedi tespit aracını, anadili İngilizce olmayan öğrencilerin TOEFL sınavı için yazdığı 91 deneme ve ABD’de sekizinci sınıf öğrencilerinin yazdığı denemeler üzerinde sınamıştır.

Bulgulara göre araçlar, ABD’li öğrencilerin denemelerini neredeyse kusursuz biçimde insan yazısı olarak sınıflandırmıştır. TOEFL denemelerinde ise ortalama yanlış pozitif oranı yüzde 61,22 olarak bulunmuştur. Başka bir ifadeyle, insanlar tarafından yazılmış bu denemelerin yarıdan fazlası yapay zeka ürünü olarak işaretlenmiştir. 91 denemenin 18’i (yüzde 19,78) yedi aracın tamamı tarafından, 89’u (yüzde 97,80) ise en az bir araç tarafından yapay zeka ürünü olarak sınıflandırılmıştır. Yazarlar bu durumu, anadili İngilizce olmayan yazarların daha sınırlı dil çeşitliliğine sahip metinlerinin daha düşük perplexity değerleri vermesiyle açıklamakta ve bu araçların değerlendirme ve eğitim ortamlarında kullanılması konusunda dikkatli olunması gerektiğini vurgulamaktadır.

Bu bulgu, İngilizce makale yazan Türk araştırmacılar açısından doğrudan önem taşımaktadır. Bir tespit aracının yüksek bir değer vermesi, metnin yapay zeka ile yazıldığını değil, yalnızca aracın ölçtüğü istatistiksel özelliklerin belirli bir aralıkta olduğunu göstermektedir.

Tespit Sonucu Neden Tek Başına Kanıt Sayılmamalıdır?

Yapay zeka tespit araçlarının ürettiği değer bir olasılık tahminidir ve metnin nasıl yazıldığına ilişkin doğrudan bir kanıt sunmamaktadır. Bu araçların başarımı, değerlendirilen metnin türüne, uzunluğuna, diline ve kullanılan dil modelinin sürümüne göre değişebilmektedir. İnsan tarafından yazılıp yapay zeka ile düzeltilen, yapay zeka ile taslağı oluşturulup insan tarafından yeniden yazılan karma metinlerde ise “insan yazısı” ve “yapay zeka yazısı” ayrımı zaten kesin değildir. Aynı metnin farklı araçlarda birbirinden çok farklı sonuçlar vermesi de bu nedenle şaşırtıcı değildir.

Dil düzeltmesinden geçmiş akademik metinler de bu açıdan ayrıca değerlendirilmelidir. Kalıplaşmış akademik ifadelerin yoğun olduğu, sade ve düzenli bir dille yazılmış metinlerin yanlış işaretlenme ihtimalini tamamen dışlamak mümkün değildir. Yapay zeka ile düzeltilmiş metinlerde görülen dil sorunları ise Yapay Zeka ile Düzeltilmiş Akademik Metinlerde Sık Görülen Sorunlar başlıklı yazıda ele alınmaktadır.

Yazarlar Bu Konuda Neler Yapabilir?

Yazarların bir tespit aracının sonucunu kontrol etme imkanı çoğu zaman bulunmamaktadır. Bununla birlikte yazım sürecini belgelemek, olası bir soruya açık bir yanıt verebilmeyi kolaylaştırmaktadır. Taslakların farklı sürümlerini, okuma notlarını ve analiz çıktılarını saklamak bu açıdan yararlı olmaktadır. Yapay zeka araçlarından yararlanıldıysa bu kullanımın derginin yönergesine uygun biçimde beyan edilmesi, sonradan doğabilecek şüphelerin önüne geçmenin en sağlıklı yoludur. Beyanın hangi durumlarda gerektiği Dergilerin Yapay Zeka Politikaları: Beyan Ne Zaman Gerekir? başlıklı yazıda ayrıntılı olarak açıklanmaktadır.

Bir editör ya da kurul tarafından tespit aracı sonucuna dayanan bir soru yöneltildiğinde, yazarın yazım sürecini sakin ve belgeli bir şekilde açıklaması ve yukarıda değinilen araştırma bulgularına dikkat çekmesi meşru bir yaklaşımdır. Değerlendirme yapan tarafın da bir tespit aracının sonucunu tek başına bir karar gerekçesi olarak kullanmaması, metni yazarın açıklamaları ve çalışmanın bütünüyle birlikte ele alması beklenmektedir. Yapay zeka tespit araçları en iyi ihtimalle daha ayrıntılı bir incelemenin başlangıç noktası olarak görülebilir; bir yargının yerini tutamaz.

Yapay Zeka Kullanılan Metinlerde Redaksiyon Desteği

Yapay zeka araçlarından yararlanılarak hazırlanan ya da düzeltilen metinlerde asıl önemli olan, metnin yazarın düşüncesini doğru, tutarlı ve akademik üsluba uygun bir dille ifade etmesidir. Redaksiyon.Net ekibi tarafından sunulan yapay zeka ve makine çevirisi kontrolü hizmetinde metin, anlam kaymaları, terim tutarlılığı ve üslup birliği açısından incelenmektedir. Bu hizmet bir tespit aracı sonucunu değiştirme amacı taşımamaktadır; editörlerimizin odağı metnin dil kalitesi ve yazarın kendi sesini korumasıdır. Metnin bilimsel içeriği ve yapay zeka kullanımının beyanı her zaman yazarın sorumluluğundadır.

Yorum bırakın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Yukarı Çık