Robotikten tıbba, siyasi bilimlerden sosyal hizmetlere kadar birçok alanda, AI sistemleri anlamlı kararlar almak için eğitilmeye çalışılıyor. Örneğin, bir AI sistemi kullanarak yoğun bir şehirde trafiği akıllıca yönetmek, sürücülerin varış noktalarına daha hızlı ulaşmalarına yardımcı olabilirken, aynı zamanda güvenliği ve sürdürülebilirliği de artırabilir.
Ancak, bir AI sistemine iyi kararlar almayı öğretmek hiç de kolay değil.
Bunların temelini oluşturan pek çok işlemde başarısız olan pek çok terkibi barındıran pek çok AI karar verme sistemi, pek çok durum ile karşılaştığında hala sorun yaşamaktadır. Örneğin, bir trafik modeli, farklı hız limitlerine, şerit sayısına veya trafik desenlerine sahip ettikleri için kesişimlerden oluşan bir ağda zorluk yaşayabilir.
MIT Araştırmacılarından Yeni Bir Algoritma
MIT araştırmacıları, bu tür değişkenliklerin olduğu karmaşık görevler için reinforcement learning modeli performansını artırmak üzere daha etkili bir algoritma geliştirdi.
Bu algoritma, bir AI ajanın bir grup ilişkili görevde en iyi performansı gösterebilmesi için gerekli olan en uygun görevleri stratejik olarak seçiyor. Şehirdeki her bir kesişim, trafik sinyali kontrolü görevlerinden biri olabilir.
Araştırmacılar, kendilerine daha fazla katkı sağlayan, daha az kesişime odaklanarak eğitim maliyetlerini düşük tutarken, bu yöntem sayesinde performansı artırmayı başardılar.
Verimlilikte Büyük Bir Artış
Yeni teknik, simüle edilen birçok görevde, özellikle de trafik sinyali kontrolünde %500 ile %5000 arasında bir verimlilik artışı sağladı. Bu kazanım, algoritmanın daha hızlı bir şekilde daha iyi sonuçlar öğrenmesine yardımcı olarak AI ajanın performansını artırıyor.
“Hesaplanabilir bir algoritmanın toplulukta benimsenme ihtimali daha yüksek. Çünkü bu tür basit bir algoritma uygulanması ve anlaşılması daha kolaydır” diyor Cathy Wu, araştırmanın kıdemli yazarı ve MIT’nin Çevre Mühendisliği ve Veri Sistemleri Enstitüsü’nde kariyer geliştirme asistanı profesörü.
Orta Bir Yol Bulmak
Trafik ışıklarını kontrol edecek bir algoritmayı eğitmek için mühendis genelde iki ana yaklaşım arasında seçim yapar. Tek bir algoritma ile her kesişimi bağımsız olarak eğitmek veya tüm kesişimlerin verilerini kullanarak daha büyük bir algoritma eğitmek mümkündür.
Ancak bu her iki yaklaşımında dezavantajları bulunmaktadır. Her görev için ayrı bir algoritma eğitmek, büyük ölçüde veri ve computation harcayan bir süreçtir. Diğer taraftan, tüm görevler için tek bir algoritma, genelde performans kaybı yaşatır.
Wu ve ekibi, bu iki yöntem arasında bir denge arayışı içerisine girdiler. Seçtikleri yöntemde, birkaç görev arasından en iyi performansı sağlayacak olanları seçtiler ve her biri için bağımsız algoritma eğiterek süreçlerini optimize ettiler.
Bu teknik, önceden eğitilmiş bir modeli yeni bir görevde uygulama olanağı sunan zero-shot transfer learning adında bilinen bir taktikten yararlandı.
“Tüm görevlerde eğitim almanın ideal olduğunu biliyoruz, fakat gerçekten bu görevlerin sadece bir alt kümesiyle bu başarıyı yakalayabilir miyiz?” diye soruyor Wu.
MBTL Algoritması ve İleriye Dönük Adımlar
Araştırmacılar, hangi görevlerin seçileceğine karar vermek için Model Tabalı Transfer Öğrenimi (MBTL) adını verdikleri bir algoritma geliştirdiler. Bu algoritma, her algoritmanın bağımsız olarak bir görev üzerinde ne kadar iyi performans göstereceğini modellemekle işe başlıyor. Ardından, nasıl performansını diğer görevler üzerinde uygulayarak kaybedebileceğini değerlendiriyor.
MBTL, bu işlemi sıralı bir şekilde gerçekleştirerek öncelikle en yüksek performans kazancı sağlayacak olan görevi seçiyor ve sonrasında ek görevlerle birlikte başarıyı artırıyor.
Gelecekte, araştırmacılar, MBTL algoritmasının daha karmaşık sorunlara ve büyük ölçekli görev alanlarına uygulanabilirliğini araştırmayı planlıyorlar. Ayrıca gelecek nesil ulaşım sistemleri gibi daha gerçek hayattaki sorunlara da yaklaşmayı hedefliyorlar.
