Science Advances dergisinde yayımlanan araştırmanın yazarı Tomoyasu Horikawa, düşünceyi metne çevirme konusunda uzun süredir ilerleme kaydedildiğini ancak zihindeki karmaşık görüntüleri anlamlı bir dile aktarmanın hâlen zor bir problem olduğunu belirtti.
CNN’in aktardığı habere göre Horikawa’nın “zihin altyazısı” adı verilen yöntemi, beyinde nesneler, mekânlar, eylemler ve olaylara ilişkin oluşan görsel bilgileri yapay zekâ modelleriyle çözerek açıklayıcı metinlere dönüştürüyor. Teknoloji, yalnızca kelime tahmini yapmakla kalmıyor; görüntünün bağlamını, ilişkilerini ve ayrıntılarını da yorumlayabiliyor.
NTT İletişim Bilimleri Laboratuvarları’nda görev yapan Horikawa, yaşları 22 ile 37 arasında değişen, ana dili Japonca olan dört erkek ve iki kadının beyin aktivitelerini inceleyerek araştırmayı başlattı. Katılımcılara ses içermeyen, yaklaşık birer saniyelik 2.180 kısa video izletildi. Videolar; nesneler, sahneler ve insan eylemleri gibi farklı içerikler içeriyordu.
Araştırmacı, bu videolar sırasında ölçülen beyin aktivitesini sayısal temsillere dönüştürmek için “kod çözücü” olarak adlandırılan yapay zekâ modelleri eğitti. Daha sonra bu modeller, katılımcıların eğitim sürecinde kullanılmayan videoları izlerken veya hatırlarken oluşturdukları beyin sinyallerini çözmek için kullanıldı.
Kod çözücülerden elde edilen bilgiler, ikinci bir algoritma tarafından işlenerek beyin aktivitesine en uygun açıklama cümleleri oluşturuldu. Böylece katılımcıların izlediği veya hatırladığı görüntüler, yapay zekâ tarafından metne dönüştürülebilir hâle geldi.
Bilim insanlarına göre bu teknoloji, konuşma merkezleri zarar gören kişiler için yeni bir iletişim yöntemi oluşturabilir. Afazi, ALS ve konuşma üretimini etkileyen diğer nörolojik hastalıklarda hastaların düşüncelerini aktarmasına yardımcı olabileceği değerlendiriliyor. Uzmanlar, yöntemin sözel iletişimde güçlük yaşayan otistik bireyler için de önemli bir potansiyel taşıdığını vurguluyor.
