Apple mühendisleri, Sokak Görünümü sahnelerini doğru bir şekilde tanımlayabilen bir yapay zeka ajanı hakkında bilgi verdiler. Bu araştırma başarılı olursa, görme engelli bireylerin bir yeri ziyaret etmeden önce o yere sanal olarak göz atmalarına yardımcı olabilecek bir araç haline gelebilir.
Görme engelli insanlar zaten cihazlarını ve bulundukları çevreyi yönetmek için çeşitli araçlara sahip. Ancak Apple, bu kişilerin gitmeden önce bir yerin fiziksel özellikleri hakkında bilgi edinmelerinin faydalı olabileceğine inanıyor.
Pazartesi günü yayımlanan bir makale, SceneScout adında, çok modlu bir büyük dil modeli destekli yapay zeka ajanından bahsetmekte. Bu ajanın en önemli yönü, Sokak Görünümü görüntülerini görebilmesi, analiz edebilmesi ve izleyiciye bunları tanımlayabilmesidir.
Makale, Apple’dan Leah Findlater ve Cole Gleason ile Columbia Üniversitesi’nden Gaurav Jain tarafından yazılmıştır.
Görme gücü düşük olan bireyler, daha önce hiç gitmedikleri yerlerde bağımsız seyahat etmekte tereddüt yaşayabiliyor. Çünkü bu yerlerde karşılaşacakları fiziksel manzaraları önceden bilemiyorlar.
Mevcut araçlar, örneğin Microsoft’un 2018’de çıkardığı Soundscape uygulaması gibi, yerel çevreyi tanımlamak için kullanılabiliyor. Ancak bunlar genellikle bulunduğunuz yerle sınırlı çalışıyor ve önceden bilgi vermiyor.
SceneScout Nedir?
Bu noktada SceneScout, Sokak Görünümü görüntülerini kullanarak erişilebilir etkileşimler sağlayan bir yapay zeka ajanı olarak devreye giriyor.
SceneScout’ta iki mod bulunuyor. İlk mod olan Rota Önizleme, bir yol üzerindeki görülebilir unsurları tanımlıyor. Örneğin, bir dönemeçteki ağaçları veya diğer dokunsal unsurları kullanıcıya bildirebilir.
İkinci mod olan Sanal Keşif, kullanıcıların Sokak Görünümü görüntüleri içinde serbestçe hareket etmelerini ve hareket ederken kendilerine unsurları tanımlamasını sağlıyor.
Geliştirme Önerileri
Kullanıcı çalışmasında, SceneScout‘un görme engelli bireyler için yararlı olduğu belirlendi; bu kişiler mevcut yöntemler aracılığıyla erişemedikleri bilgilere ulaşabiliyorlar.
Açıklamalarda %72 oranında doğruluk tespit edildi ve sabit görsel unsurları %95 doğrulukla tanımlayabildi. Ancak bazen meydana gelen “ince ve makul hatalar”, açıklamaların doğruluğunu gözle doğrulamayı zorlaştırabiliyor.
Sistemi geliştirme yolları arasında, SceneScout‘un kişiselleştirilmiş açıklamalar sunması gerektiği önerisi öne çıktı. Yani sistem, kullanıcıların ilgi alanlarını tanıyıp buna göre bilgi vermek üzere kendini uyarlayabilmeli.
Gelecek Kullanım Olasılıkları
Yalnızca bir patent başvurusu gibi, bu yapay zeka kullanımına dair bir makale, uygulamanın gelecekte bir ürün veya hizmette yer alacağı anlamına gelmiyor. Ancak bu, Apple’ın bu teknolojiyi nasıl kullanmayı düşündüğüne dair bir fikir veriyor.
Sokak Görünümü görüntülerini kullanmamakla birlikte, benzer bir yaklaşım, Apple’ın beklenen birkaç yeni ürünüyle mümkün olabilir. Apple’ın, yerleşik kameraya sahip AirPods ve kendi kameralarına sahip Apple Glass akıllı gözlükler geliştirdiği düşünülüyor. Bu durumda, kameralar Apple’a çevreyi görme şansı tanıyacak ve bu veriler kullanıcıların sorularını yanıtlamak için kullanılabilecek.
Görme engelli kullanıcıların çevrelerini tanımlamada benzer bir sistemin canlı verilerle çalışabileceği hayal edilebilir.
