Tıbbi yapay zekâ sistemleri çoğu zaman ayrıntılı ve temiz hazırlanmış vaka sorularında sınanıyor. Gerçek kullanıcı ise semptomunu eksik, gündelik ve bazen çelişkili biçimde anlatıyor. Google Research'ün SymptomAI çalışması bu farkı ölçmek için 13.917 gönüllüyü beş farklı Gemini Flash 2.0 tabanlı görüşme ajanından birine rastgele atadı. Sistemler araştırma amacıyla semptom görüşmesi yaptı ve olası tanı listesi üretti; sonuçlar kesin klinik tanı olarak sunulmadı.

Çalışma hangi veriyi topladı?

Katılımcılardan 1.228'i iki hafta içinde bir sağlık çalışanından aldıkları tanıyı bildirdi. Bunların 517'si, 250 saati aşan klinisyen değerlendirmesine dahil edildi. Araştırmacılar ayrıca Fitbit kullanıcılarından 500 binden fazla günlük kalp hızı, uyku ve aktivite gibi giyilebilir sensör verisini analiz etti. Enfeksiyon olarak sınıflandırılan görüşmelerde bağışıklık yanıtıyla uyumlu fizyolojik değişimler bulunması, konuşma çıktısına bağımsız bir sinyal ekliyor; ancak ilişki nedensellik kanıtlamıyor.

'Klinisyenden daha doğru' ifadesi nasıl okunmalı?

Makaleye göre SymptomAI'nin ayırıcı tanı listeleri, yalnızca aynı yazılı görüşmeyi gören bağımsız klinisyenlerin değerlendirmesinden istatistiksel olarak daha doğruydu. Karşılaştırma, gerçek muayene yapan ve fiziksel bulgulara, laboratuvara veya görüntülemeye erişen hekimle yapılmadı. Bu nedenle sonuç 'yapay zekâ doktorun yerini geçti' anlamına gelmiyor. Daha doğru yorum, yapılandırılmış görüşme yapan bir ajanın, sınırlı metin bağlamında bilgi toplamayı iyileştirebildiği.

En önemli sınırlamalar

Temel doğruluk verisinin önemli bölümü katılımcının sonradan bildirdiği tanıya dayanıyor. Çalışmaya katılan Fitbit kullanıcıları genel nüfusu tam temsil etmeyebilir. Nadir, acil ve çoklu hastalık tablolarında örnek sayısı düşük olabilir. Ayrıca bir araştırma prototipindeki denetim ve uyarılar, ticari üründe aynı şekilde uygulanmayabilir. Model güncellemeleri performansı değiştireceği için tek seferlik çalışma sürekli güvenliği garanti etmez.

Güvenli kullanım nasıl tasarlanmalı?

Semptom ajanı tanı koyan son otorite yerine, görüşme öncesi bilgi toplama ve uygun bakım düzeyine yönlendirme aracı olarak konumlandırılabilir. Acil belirtiler için deterministik güvenlik kuralları, belirsizlik göstergesi, klinisyene devir, kayıtların gizliliği ve farklı dil/engellilik gruplarında doğrulama şart. Kullanıcının yapay zekâyla konuştuğunu bilmesi ve yanlış güveni önleyecek arayüz dili de klinik performans kadar önemli.

Sonuç: Büyük veri, klinik kanıtın başlangıcı

13.917 kişilik çalışma, konuşmalı sağlık yapay zekâsını yalnızca sınav sorularında değil, gerçek kullanıcı anlatılarında değerlendirmesiyle değerli. Yine de düzenleyici onay, prospektif klinik sonuç çalışmaları, bağımsız tekrar ve zarar analizi olmadan tüketici tanı aracı sonucuna varılamaz. SymptomAI'nin gösterdiği en güçlü fikir, yapay zekânın doğru soruları sırasıyla sorarak klinik görüşmenin veri kalitesini artırabilmesi; en büyük risk ise bu yardımın kesin tanı gibi algılanması.