Üretken yapay zekâ artık yalnızca makale özetlemiyor; literatür tarayan, hipotez kuran, kod yazan, deney çalıştıran ve sonuçları makaleye dönüştüren araştırma ajanları geliştiriliyor. Sorun, akıcı bir bilimsel metnin doğru ve yeniden üretilebilir görünmesini kolaylaştırması. Google Research'ün Scientist One çalışması bu açığı 'kanıt zinciri' adı verilen bir denetim modeliyle ele alıyor: Makaledeki her kaynak, yöntem, sayı ve sonuç, onu gerçekten destekleyen kayda bağlanmalı.

Hayalî kaynak yalnızca buzdağının görünen kısmı

Çalışmanın denetlediği temel sistemlerde hayalî kaynak oranının yüzde 4 ile 25 arasında değiştiği bildiriliyor. Fakat daha sinsi hata, var olan bir kaynağın iddiayı desteklememesi veya makalede anlatılan yöntemin kodda farklı uygulanması. Bir deney puanı yanlış ölçekte raporlandığında metin ikna edici görünse bile sonuç bilimsel olarak kullanılamaz. Bu nedenle yalnızca DOI doğrulamak, araştırma bütünlüğünü sağlamaya yetmiyor.

Chain-of-Evidence nasıl çalışıyor?

Çerçeve iki koşul tanımlıyor: bütünlük ve doğruluk. Bütünlük, her önemli iddianın bir kanıt yolu taşımasını; doğruluk ise o yolun iddiayı gerçekten desteklemesini gerektiriyor. Kaynak iddiası makaleye, yöntem iddiası çalışan koda, performans sayısı deney günlüğüne bağlanıyor. CoE Audit protokolü bu bağları otomatik kontrollerle tarıyor. Yaklaşım, veritabanlarındaki işlem bütünlüğü kurallarına benzer biçimde bilimsel çıktının yapısal güvenilirliğini tanımlamaya çalışıyor.

Sonuçlar etkileyici, fakat bağımsız doğrulama gerekiyor

Araştırmacılar Scientist One'ın 830 atıfta sıfır hayalî kaynak ürettiğini ve karşılaştırılan sistemlerden daha yüksek yöntem-kod uyumu sağladığını bildiriyor. Buna rağmen tam uyum oranı 15 makalenin 7'si; yani sistem kusursuz değil. Ayrıca değerlendirme görevleri makine öğrenmesi ve kod tabanlı deneylere odaklanıyor. Islak laboratuvar, saha bilimi veya etik yorum gerektiren alanlarda kanıt zincirini kurmak çok daha zor olabilir.

Hakemlik ortadan kalkmıyor, biçim değiştiriyor

Kanıt zinciri hakemin işini azaltabilir: Kaynağın gerçekten var olup olmadığı, kodun çalışıp çalışmadığı ve tablodaki sayının günlükte bulunup bulunmadığı otomatik denetlenebilir. Fakat araştırma sorusunun anlamlılığı, ölçümün geçerliliği, veri seçiminin adilliği ve sonucun toplumsal etkisi hâlâ uzman yargısı gerektirir. Otomasyon en iyi ihtimalle mekanik doğrulama yükünü azaltıp insan dikkatini daha yüksek düzeyli eleştiriye taşır.

Bilimsel yayıncılık için uygulanabilir ders

Bu yaklaşım yalnızca otonom ajanlara değil, insan araştırmacılara da uygulanabilir. Makale gönderiminde kod sürümü, veri kökeni, deney kimliği ve her tablonun üretim kaydı standartlaştırılabilir. Yayıncılar yapay zekâ kullanım beyanını tek kutuluk forma indirgemek yerine kanıt kökeni ve yeniden üretilebilirlik dosyaları isteyebilir. Gelecekte güvenilir bilimsel metnin işareti yalnızca iyi yazılması değil, her iddiasının izlenebilir olması olacak.