Günlük ve haftalık bültenlerimize katılın; endüstri lideri AI kapsama dair en son güncellemeler ve özel içerikler için buradayız. Daha Fazla Bilgi
Yapay zeka (YZ) modelleri, eğitim veya ince ayar için kullanılan veriler kadar iyi performans gösterir.
Etkileşimli veriler, makine öğrenimi (ML) ve üretken yapay zeka tarihinin büyük bir bölümünde temel bir unsur olmuştur. Etiketlenmiş veriler, YZ modellerinin eğitim sırasında bağlamı anlamasına yardımcı olmak için işaretlenmiş bilgilerdir.
Şirketler YZ uygulamalarını uygulamaya geçirme yarışına girerken, genellikle gizli darboğaz teknoloji değil, alan spesifik verilerin toplanması, derlenmesi ve etiketlenmesi için geçen uzun aylar olmaktadır. Bu “veri etiketleme vergisi,” teknik liderleri ya uygulamayı geciktirmek ya da genel modellerden gelen suboptimal performansı kabul etmek zorunda bırakıyor.
Databricks, bu soruna doğrudan bir yanıt vermeye çalışıyor.
Bu hafta, şirket, Test Zamanı Uyarlama Optimizasyonu (TAO) adında yeni bir yaklaşımı tanıttı. Bu yaklaşımın temel fikri, şirketlerin zaten sahip oldukları giriş verilerini kullanarak, etiketleme gerektirmeyen kurumsal düzeyde büyük dil modeli (LLM) ince ayarının yapılabilmesini sağlamak. TAO, etiketli örneklerin kalabalık bir havuzunun gereksinimi olmadan, geleneksel ince ayar yöntemlerini geride bıraktığı iddia ediliyor. Databricks, veri göletleri platformu sağlayıcısı olarak başladı ve son yıllarda YZ odaklı hale geldi. Şirket, MosaicML’i 1.3 milyar dolara satın alarak, geliştiricilere YZ uygulamalarını hızlı bir şekilde oluşturma konusunda yardımcı olan araçları sunma sürecini hızlandırıyor. TAO yöntemini geliştiren Mosaic araştırma ekibi, Databricks’te çalışıyor.
Teknik Yenilik: TAO, LLM İnce Ayarını Nasıl Yeniden Tanımlıyor?
TAO’nın özünde, geliştiricilerin modelleri belirli alanlar için kişiselleştirme yöntemlerini değiştirmektedir.
Geleneksel denetimli ince ayar yaklaşımının gerektirdiği eşleşmeli giriş-çıkış örneklerini kullanmak yerine, TAO yalnızca örnek sorguları kullanarak, modelleri geliştirmek için pekiştirme öğrenimi ve sistematik keşif yöntemleri kullanır.
Teknik süreç, birlikte çalışan dört farklı mekanizmayı içerir:
Keşif yanıtı üretimi: Sistem, etiketlenmemiş giriş örneklerini alır ve her biri için birden fazla potansiyel yanıt üretir; bu, çözüm alanını keşfeden gelişmiş istem mühendisliği teknikleri aracılığıyla gerçekleştirilir.
Kurumsal kalibreli ödül modeli: Üretilen yanıtlar, kurumsal görevlerde doğru yanıt vermeye odaklanmak üzere tasarlanmış Databricks Ödül Modeli (DBRM) tarafından değerlendirilir.
Pekiştirme öğrenimi tabanlı model optimizasyonu: Model parametreleri, doğrudan yüksek puanlı yanıtlar üretmeyi öğreten pekiştirme öğrenimi ile optimize edilir.
Sürekli veri döngüsü: Kullanıcılar, dağıtılan sistemle etkileşimde bulundukça, yeni girdiler otomatik olarak toplanır; bu da ilave insan etiketleme çabası olmaksızın kendini geliştiren bir döngü oluşturur.
Karşılaştırmalar Geleneksel İnce Ayarlamayı Geride Bıraktı
Databricks’in araştırması, TAO’nun yalnızca geleneksel ince ayarla eşleşmekle kalmayıp, onu aştığını ortaya koyuyor. Birçok kurumsal uygun benchmarkta, Databricks, bu yaklaşımın kullanılan insan çabası ile birlikte daha iyi performans gösterdiğini iddia ediyor.
FinanceBench (finansal belge Q&A benchmark’ı) üzerinde TAO, Llama 3.1 8B’nin performansını %24.7 oranında, Llama 3.3 70B’nin performansını ise %13.4 oranında artırmıştır. Databricks yöntemine uygun BIRD-SQL benchmark’ı kullanılarak SQL üretimi için ise %19.1 ve %8.7 oranında iyileştirmeler sağlanmıştır.
En dikkat çekici kısımda, TAO ile ince ayar yapılmış Llama 3.3 70B, bu benchmarklarda genellikle üretim ortamlarında çalıştırma maliyetinin 10-20 kat daha fazla olduğu GPT-4o ve o3-mini’nin performansına yakın bir seviyeye ulaşmıştır.
TAO, Şirketler İçin Pazar Zamanı Avantajı Sağlıyor
TAO, daha küçük, daha verimli modellerin kullanımını sağlayarak belirgin maliyet avantajları sunmanın yanı sıra, YZ girişimlerinin piyasaya sürülme süresini de hızlandırma konusunda önemli bir katkı sağlıyor.
“Bizim için TAO, şirketlere sadece para kazandırmaktan daha değerli olan bir şeyi kazandırıyor: zamanı,” diyen Cui, “Etiketli veri almak genellikle organizasyonel sınırları aşmayı, yeni süreçler kurmayı, konu uzmanlarının etiketleme yapmasını ve kaliteyi doğrulamayı gerektiriyor. Şirketlerin bir YZ örneğini prototiplendirebilmek için aylarca zamanları yok.”
Bu zaman sıkıştırması, stratejik bir avantaj yaratır. Örneğin, bir finansal hizmetler şirketi sözleşme analiz çözümünü uygularken, binlerce belgenin etiketlenmesini beklemek yerine yalnızca örnek sözleşmelerle ilerleyebilir. Benzer şekilde, sağlık kuruluşları, uzman yanıtları gerektirmeden yalnızca hekim sorguları ile klinik karar destek sistemlerini geliştirebilir.
“Araştırmacılarımız, YZ sistemleri kurarken karşılaştıkları gerçek zorlukları anlamak için müşterilerimizle çok fazla zaman geçiriyor ve bu zorlukları aşmak için yeni teknolojiler geliştiriyor,” dedi Cui. “Şu anda TAO’yu birçok kurumsal uygulamada uyguluyor ve müşterilerin modellerini sürekli olarak geliştirmelerine yardımcı oluyoruz.”
Bu Durum Teknik Karar Vericiler İçin Ne Anlama Geliyor?
YZ’yi benimsemekte öncü olmak isteyen şirketler için TAO, özel YZ sistemlerinin nasıl uygulandığında bir dönüm noktası temsil ediyor. Yüksek kaliteli, alan spesifik performansa etiketli veri setleri olmadan ulaşmak, yaygın YZ uygulamasının önündeki en büyük engellerden birini ortadan kaldırıyor.
Bu yaklaşım, zengin yapılandırılmamış verilere ve alan spesifik gerekliliklere sahip ancak etiketleme için sınırlı kaynaklara sahip organizasyonlar için özellikle faydalıdır; tam olarak birçok şirketin bulunduğu durumdur.
YZ giderek rekabet avantajına merkezi bir konumda yer aldıkça, konseptten uygulamaya geçiş süresini kısaltan ve performansı artıran teknolojiler, liderleri geride bırakanlardan ayıracaktır. TAO, böyle bir teknoloji olarak öne çıkıyor ve şirketlerin birkaç hafta içinde özel YZ yetenekleri uygulamasını mümkün kılabilir.
TAO şu anda yalnızca Databricks platformunda mevcut ve özel önizlemededir.
