Nesnelerin Görselleştirilmesi ve Ekoloji
Kuzey Amerika’da bulunan yaklaşık 11.000 ağaç türü fotoğrafını çekmeye çalıştığınızda, doğa görüntü veritabanlarındaki milyonlarca fotoğrafın yalnızca küçük bir kısmını elde edersiniz. Bu devasa fotoğraf koleksiyonları, ekolojistler için muazzam bir araştırma aracıdır. Organizmaların eşsiz davranışlarını, nadir koşullarını, göç patenlerini ve kirliliğe ya da iklim değişikliği gibi diğer etkenlere karşı verdikleri tepkileri gözler önüne serer.
VLM’lerin Ekoloji Araştırmalarındaki Rolü
Bununla birlikte, doğa görüntü veritabanları henüz potansiyelinin tamamını kullanmıyor. Bu veritabanlarında arama yapmak ve en alakalı görüntüleri elde etmek zaman alıcıdır. Otomatik bir araştırma asistanı veya görsel dil modelleri (VLM’ler) adı verilen yapay zeka sistemleri, bu süreçleri kolaylaştırabilir. Hem metin hem de görseller üzerinde eğitim alan bu modeller, fotoğrafların arka planındaki özel ağaçları belirlemek gibi daha ince detayları yakalamakta daha iyidir.
VLM’lerin Performansı Üzerine Çalışmalar
MIT’nin Bilgisayar Bilimleri ve Yapay Zeka Laboratuvarı (CSAIL) ve diğer üniversiteler, VLM’lerin doğa araştırmalarına nasıl yardımcı olabileceğini araştırmak için bir performans testi geliştirdi. Her VLM’nin görevi, 5 milyon hayvan görüntüsünden oluşan INQUIRE veri setinde ekolojistler ve diğer biyodiversity uzmanlarından gelen 250 arama istemi ile en alakalı sonuçları bulmak ve yeniden düzenlemektir. Çalışmalar, daha büyük ve gelişmiş VLM’lerin, daha fazla veri ile eğitilmesinin sonuçları bulmada daha etkili olduğunu göstermiştir.
Örneğin, “bir sığlığın üzerindeki molozları algılama” gibi basit sorgularda başarılı olmuşlardır. Fakat daha uzmanlık gerektiren sorgular, örneğin “yeşil bir kurbağada axanthism” gibi görsel analiz gerektiren sorularda başarılı olamamaktadırlar. Bu durumda VLM’ler belirli biyolojik koşulları veya davranışları belirlemede zorlanmaktadır. MIT doktorası öğrencisi Edward Vendrow, “Daha fazla alan spesifik eğitim verisi ile VLM’lerin bir gün harika araştırma asistanları olabileceğine inanıyoruz” diyor.
INQUIRE Veritabanının Önemi
INQUIRE veri seti, ekolojistler, biyologlar ve okyanus bilimcileri ile yapılan görüşmelere dayanarak oluşturulan arama istemlerini içerir. Ekip, iNaturalist veri seti üzerinde 180 saat harcayarak, 200.000 sonuçtan 33.000 eşleşmeyi etiketlemek için çalıştı. Örneğin, “plastik atık kullanan bir yengeç” veya “yeşil ‘26’ ile etiketlenmiş bir California akbaba” gibi özel olayları tanımlamak için bu sorguları kullandılar.
Sonuç olarak, VLM’ler, mevcut verileri anlayabilme ve bilimsel terimleri yorumlama konusunda zorluklar yaşadı. Araştırmalar, ekoloji ve biyoçeşitlilik izlemeye odaklanmasına karşın, çok çeşitli sorgular nedeniyle diğer gözlem yoğun alanlarda da iyi performans gösterme potansiyeli taşımaktadır.
Gelecek Çalışmalar ve Uygulamalar
araştırmacılar, iNaturalist ile bir arama sistemi geliştirmek için çalışmalara devam etmektedirler. Bu arama sistemi, bilim insanları ve meraklıların aradıkları görüntüleri daha hızlı bulmalarına yardımcı olmayı hedefliyor. Ekibin çalışmaları, veri kümelerini daha etkili arama yeteneği sağlayacak bir model geliştirmek üzerine odaklanmaktadır.
University of Pittsburgh’dan Doçent Justin Kitzes, INQUIRE’ın potansiyelini şöyle değerlendiriyor: “Biyoçeşitlilik veri setleri, herhangi bir bireysel bilim insanının gözden geçirebileceğinden daha hızlı büyüyor. Bu çalışma, veri üzerinde etkili bir arama yapmanın zorluğuna dikkat çekiyor.”
