ChatGPT’ye bir metin yazdırdığınızda, yazının içinde gözle göremediğiniz bir işaret bulunabilir mi? OpenAI’ın yeni teknolojisi tam da bu soruyu gündeme taşıyor. Kelimelerin arasına gizlenen istatistiksel sinyaller, yapay zekâ tarafından üretilen metinlerin tespit edilmesine yardımcı olmayı amaçlıyor. Ancak test sonuçlarında ortaya çıkan bir ayrıntı dikkat çekiyor: Metindeki bazı kelimeler değiştirildiğinde sistemin tespit başarısı hızla düşebiliyor. Peki bu görünmez filigran nasıl çalışıyor, kimleri kapsıyor ve ChatGPT ile hazırlanan her metni ortaya çıkarabilecek mi? İşte merak edilen ayrıntılar…
ChatGPT ile hazırlanan metinlerin yapay zekâ tarafından üretilip üretilmediği nasıl anlaşılacak? OpenAI’ın üzerinde çalıştığı yeni sistem, bu soruya yönelik yöntemlerden birini devreye almaya hazırlanıyor. Şirket, metin çıktılarının içine okuyucunun çıplak gözle fark edemeyeceği istatistiksel işaretler yerleştirecek.
textGrain adı verilen teknoloji, metinde görünür bir ibare veya sembol kullanmak yerine modelin kelime tercihleri üzerinden çalışıyor. Böylece metnin yapay zekâ tarafından üretilmiş olabileceğine ilişkin bir sinyal elde edilmesi hedefleniyor. Ancak sistemin her metni aynı başarıyla tespit edememesi ve basit düzenlemeler karşısında performansının düşebilmesi mümkün.
ChatGPT’nin görünmez filigranı ne zaman kullanılacak?
OpenAI’ın açıklamasına göre sistem, Avrupa Birliği’nin Yapay Zekâ Yasası kapsamındaki şeffaflık yükümlülüklerine uyum sağlama çalışmaları çerçevesinde devreye alınacak. Şirketin planına göre önümüzdeki haftalardan itibaren AB sınırları içindeki ChatGPT ve Codex kullanıcılarına sunulan metin çıktılarında görünmez istatistiksel işaretler kullanılacak.
Küresel ölçekteki API müşterileri de belirli modellerde bu özelliği isteğe bağlı olarak etkinleştirebilecek. Ancak sistem, API kullanımında varsayılan olarak kapalı kalacak. OpenAI ayrıca bulut hizmeti ortakları üzerinden erişilen model çıktılarında da aynı özelliği sunmak için çalışmalar yürütüyor.
Bu uygulama, yapay zekâ tarafından üretilen içeriklerin belirlenmesine yardımcı olmayı amaçlıyor. Ancak verilen bilgilere göre sistemin bütün metinlerde kesin sonuç sağlayacağı veya her yapay zekâ çıktısının mutlaka tespit edileceği söylenemiyor.
textGrain sistemi nasıl çalışıyor?
Görünmez filigran olarak tanımlanan textGrain, metnin içine insan gözüyle ayırt edilemeyen istatistiksel sinyaller yerleştiriyor. Sistem, kelime seçimlerindeki örüntülerden yararlanarak metnin ilgili model tarafından üretilmiş olabileceğini belirlemeye çalışıyor.
Burada kullanılan yöntem, metnin üzerine sonradan görülebilen bir etiket eklemekten farklı. Okuyucu metni açtığında özel bir işaret veya filigran görmüyor. Tespit işlemi, kelime tercihleri üzerinden oluşturulan istatistiksel sinyallerin analiz edilmesine dayanıyor.
Bununla birlikte metnin uzunluğu, konusu ve üzerinde yapılan değişiklikler, sistemin sinyali belirleme başarısını etkileyebiliyor.
Metin kısaldığında tespit oranı ne kadar düşüyor?
OpenAI’ın paylaştığı test sonuçları, textGrain sisteminin başarısının metin uzunluğuna ve kullanılan dile bağlı özelliklere göre değişebildiğini gösteriyor.
Şirketin testlerinde yanlış pozitiflik oranı yüzde 1 olarak hedeflendiğinde, psikoloji gibi farklı kelime seçimlerine daha fazla imkân tanıyan bir alanda 400 token uzunluğundaki metinlerde tespit oranı yüzde 95 seviyesine ulaştı. Metin uzunluğu 200 tokene düştüğünde ise bu oran yaklaşık yüzde 80’e geriledi.
Matematik gibi kelime seçeneklerinin daha sınırlı olduğu alanlarda tespit oranlarının belirgin biçimde daha düşük kaldığı belirtildi.
Birkaç kelimeyi değiştirmek tespit gücünü etkiliyor mu?
Sistemin dikkat çeken sınırlılıklarından biri, metin üzerinde yapılan düzenlemelerle ortaya çıkıyor. OpenAI’ın test sonuçlarına göre kelimelerin eş anlamlılarıyla değiştirilmesi, görünmez istatistiksel sinyalin tespit edilmesini zorlaştırabiliyor.
Birkaç kelimeyi değiştirmek tespit gücünü etkiliyor mu?
Sistemin dikkat çeken sınırlılıklarından biri, metin üzerinde yapılan düzenlemelerle ortaya çıkıyor. OpenAI’ın test sonuçlarına göre kelimelerin eş anlamlılarıyla değiştirilmesi, görünmez istatistiksel sinyalin tespit edilmesini zorlaştırabiliyor.
400 token uzunluğundaki bir metinde kelimelerin yüzde 10’unun eş anlamlılarıyla değiştirilmesi durumunda tespit oranı yüzde 92’den yüzde 66’ya geriledi. Kelimelerin yüzde 25’inin değiştirilmesiyle ise oran yüzde 17 seviyesine kadar düştü.
Bu veriler, metin üzerinde yapılan değişikliklerin sistemin tespit başarısını önemli ölçüde etkileyebildiğini gösteriyor. Bununla birlikte sonuçlar, her düzenlemenin aynı etkiyi oluşturduğu veya filigranın bütün durumlarda tamamen ortadan kalktığı anlamına gelmiyor.
ChatGPT’nin yazdığı her metin kesin olarak tespit edilebilecek mi?
Paylaşılan test sonuçları, bu soruya kesin bir “evet” yanıtı verilmesini desteklemiyor. textGrain belirli koşullarda yüksek tespit oranlarına ulaşsa da kısa metinlerde, kelime seçeneklerinin sınırlı olduğu alanlarda ve düzenlenmiş içeriklerde daha düşük performans gösterebiliyor.
Sistemde iki farklı hata riski de bulunuyor. Yanlış pozitif sonuç, yapay zekâ tarafından üretilmediği hâlde bir metnin sistem tarafından yapay zekâ ürünü olarak değerlendirilmesi anlamına geliyor. Yanlış negatif sonuç ise yapay zekâ tarafından üretilmiş bir metnin tespit edilememesi durumunda ortaya çıkıyor.
Bu nedenle görünmez filigran, yapay zekâ kullanımını her durumda kesin biçimde kanıtlayan bir yöntem olarak değerlendirilmemeli. Sistem, metinlerin kaynağına ilişkin istatistiksel bir işaret sunmayı hedefliyor; ancak sonuçların güvenilirliği metnin özelliklerine ve uygulanan değişikliklere göre farklılaşabiliyor.
Yapay zekâ metinlerinde şeffaflık tartışması yeniden gündemde
OpenAI’ın textGrain çalışması, yapay zekâ tarafından üretilen içeriklerin nasıl tanımlanacağı ve bu içeriklerin kullanımında şeffaflığın nasıl sağlanacağı tartışmalarının bir parçası olarak öne çıkıyor. Avrupa Birliği’nin yapay zekâ düzenlemeleri kapsamında şeffaflık yükümlülüklerine uyum sağlama hedefi de bu tür teknik yöntemlere yönelik ilgiyi artırıyor.
Bununla birlikte görünmez filigranların kullanım alanı ve tespit gücü konusunda teknik sınırlılıklar bulunuyor. OpenAI’ın açıkladığı testler, yöntemin belirli metinlerde etkili olabildiğini ancak bütün içeriklerde aynı başarıyı göstermediğini ortaya koyuyor.
