Yüksek Kaliteli Görüntüler Üretme Yöntemi
Hızlı bir şekilde yüksek kaliteli görüntüler üretebilmek, gerçekçi simüle edilmiş ortamlar oluşturmak için kritik öneme sahiptir. Bu tür ortamlar, otonom araçların öngörülemeyen tehlikelerden kaçınmalarına yardımcı olur ve onları gerçek sokaklarda daha güvenli hale getirir.
Ancak, bu görüntüleri üretmek için giderek daha çok kullanılan üretici yapay zeka tekniklerinin bazı dezavantajları vardır. Popüler bir model türü olan difüzyon modelleri, hayranlık uyandırıcı ve gerçekçi görüntüler oluşturabilir, ancak birçok uygulama için çok yavaş ve hesaplama açısından yoğun bir süreçtir. Öte yandan, LLM’leri (büyük dil modelleri) besleyen oto-regresif modeller çok daha hızlıdır, ancak ürettikleri görüntüler genellikle hatalarla doludur.
HART: Yeni Bir Yaklaşım
MIT ve NVIDIA’dan araştırmacılar, her iki yöntemin en iyi yönlerini bir araya getiren bir yeni yaklaşım geliştirdi. Bu hibrit görüntü üretim aracı, büyük resmi hızla yakalamak için oto-regresif bir model kullanıyor ve ardından görüntünün detaylarını geliştirmek için küçük bir difüzyon modeli kullanıyor.
Bu araç, HART (hibrit oto-regresif dönüştürücü) olarak adlandırılmıştır ve mevcut difüzyon modellerinin kalitesini düşük bir maliyetle ve yaklaşık dokuz kat daha hızlı bir şekilde üretebilmektedir.
HART, tipik difüzyon modellerine kıyasla daha az hesaplama kaynağı tüketerek, bir kullanıcıya tek bir doğal dil komutu girerek görüntü üretme imkanı sunmaktadır.
Uygulama Alanları ve Gelecek Beklentileri
HART, karmaşık gerçek dünya görevlerini yerine getiren robotların eğitilmesine yardımcı olmak ve video oyunları için görsel sahneler oluşturmak gibi geniş bir uygulama yelpazesi sunmaktadır. “Bir manzara resmi çizerken, tüm tuvali bir seferde boyamak yeterli olmayabilir. Ancak büyük resmi çizebilir ve ardından küçük fırça darbeleriyle resmi geliştirebilirseniz, resminiz çok daha iyi görünebilir. HART’ın temel mantığı işte budur,” diyor Haotian Tang, HART ile ilgili yeni bir çalışmanın ortak yazarı.
HART, tüm aşamalarında difüzyon modelini etkili bir şekilde entegre etme zorluğu ile karşılaşırken, son tasarımında difüzyon modelinin yalnızca kalan token’ları tahmin etmesini sağlayarak üretim kalitesini önemli ölçüde artırmayı başardı.
Böylelikle HART, hem yüksek kaliteli görüntüler üretebilir hem de hızlı bir şekilde çalışarak verimliliği artırabilir.
