Google DeepMind, yapay zeka teknolojisinde erişilebilirlik alanında önemli bir adıma imza atarak işaret dilini anlık olarak metne dönüştüren yeni modeli SL2T (Sign Language to Text) teknolojisini tanıttı. İlk olarak Pixel 11 akıllı telefonlarında kullanıma sunulmaya başlanan özellik, Gboard ve Canlı Altyazı (Live Transcribe) uygulamaları üzerinden hizmet veriyor. Sistem, başlangıçta Amerikan İşaret Dili’ni (ASL) algılayıp İngilizce metne çevirirken, ilerleyen süreçte diğer dillerin ve cihazların da sisteme dahil edileceği belirtildi.
İşaret dili neden klasik ses tanıma sistemlerinden farklı?
İşaret dilini metne dönüştürmek, geleneksel konuşma-metin çevirilerinden çok daha karmaşık bir yapı gerektiriyor. İşaret dillerinin konuşulan dillerin yalnızca birer el hareketi kopyası olmadığını, kendilerine has gramer ve kelime dağarcığı bulunan bağımsız diller olduğunu vurgulayan geliştiriciler; sistemin yalnızca el hareketlerini tek tek kelimelere dönüştürmekle yetinmeyip bağlamı ve mekansal dil yapısını kavraması gerektiğini belirtiyor.
İşaret dilinde anlamın yalnızca ellerle değil; kollar, gövde, baş hareketleri ve mimiklerin senkronize çalışmasıyla oluşması, bilgisayarlı görü (computer vision) alanında yüksek kare hızında gerçek zamanlı takip zorunluluğu doğuruyor.
Teknoloji nasıl çalışıyor ve gizlilik nasıl korunuyor?
SL2T teknolojisi, kamera görüntüsünü doğrudan sunuculara göndermek yerine cihaz içi bir model (MediaPipe Holistic) kullanarak kullanıcının vücut hareketlerini geometrik koordinat noktalarına dönüştürüyor. Ham video anında imha edilirken, yalnızca bu matematiksel koordinat dizileri çeviri sunucularına aktarılıyor. Bu mimari, kullanıcı gizliliğinin en üst düzeyde korunmasını sağlıyor.
Araştırma aşamalarında kullanılan “açıklayıcı semboller” (glosses) ara katmanını doğrudan atlayan model, geometrik hareket dizilerini doğrudan nihai metne dönüştürerek işaret dilinin zengin ifadelerini ve mekansal yapılarını daha akıcı çeviriyor.
100 bin saatin üzerinde veriyle eğitildi
Google DeepMind, modelin 50’den fazla işaret dilini kapsayan 100 bin saatin üzerinde veri setiyle eğitildiğini açıkladı. Verilerin yaklaşık dörtte birini Amerikan İşaret Dili oluşturdu. FLEURS-ASL değerlendirme kriterinde sıfır-örnekli (zero-shot) testlerde BLEURT ölçeğine göre 70 puana ulaşan sistem, laboratuvar ortamında bugüne kadar açıklanan en yüksek skorlardan birini elde etti.
Kullanıcılar için pratik kullanım alanları
Geliştirilen bu özellikle birlikte klavyeyle metin yazma zorunluluğu ortadan kalkıyor:
-
Arama ve Mesajlaşma: Kullanıcılar telefon kamerasına işaret diliyle hitap ederek internet araması yapabiliyor, mesaj ve e-posta yazabiliyor.
-
Yapay Zeka Etkileşimi: Gemini asistanına doğrudan işaret diliyle sorular yöneltilip komut verilebiliyor.
-
Canlı Diyalog: Canlı Altyazı (Live Transcribe) uygulaması sayesinde işitme engelli bireyler, karşı tarafın konuşmalarını ekranda okurken yanıtlarını işaret diliyle anında metne dökebiliyor.
İşitme engelliler topluluğu ve sivil toplum kuruluşlarının danışmanlığında geliştirilen teknoloji; tek elle işaret yapanlar, solaklar ve hızlı harf kodlaması (parmak alfabesi) gibi zorlu senaryolarda optimize edilmeye devam ediyor.
