Günlük ve haftalık bültenlerimize katılın, sektör lideri yapay zeka haberlerinden güncel kalın ve özel içeriklere erişim sağlayın. Daha Fazla Bilgi
Farklı kaynaklardan verileri uygun bir şekilde yapay zeka kullanımı için taşımak zor bir süreçtir. İşte bu noktada Apache Airflow gibi veri orkestrasyon teknolojileri devreye giriyor.
Apache Airflow topluluğu, uzun bir aradan sonra 3.0 sürümünün piyasaya sürülmesiyle birlikte, yıllar içindeki en büyük güncellemeyi duyurdu. Bu yeni sürüm, dört yıl arasındaki ilk büyük versiyon güncellemesini temsil ediyor. Ancak Airflow, 2024 yılında yapay zeka üzerinde yoğunlaşan 2.9 ve 2.10 güncellemeleri ile birlikte 2.x serisinde sürekli olarak kendini geliştirdi.
Son yıllarda, veri mühendisleri Apache Airflow’u standart bir araç olarak benimsedi. Bugüne kadar 3.000’den fazla katkı veren ve Fortune 500 şirketleri tarafından yaygın bir şekilde kullanılan bu açık kaynaklı iş akışı orkestrasyon platformu; Astronomer Astro, Google Cloud Composer, Amazon Managed Workflows for Apache Airflow (MWAA) ve Microsoft Azure Data Factory Managed Airflow gibi çeşitli ticari hizmetlere de ev sahipliği yapıyor.
Gelişen Kurumsal Veri İhtiyaçları
Şirketler, veri odaklı karar verme süreçlerine giderek daha fazla güvendiğinden, veri iş akışlarının karmaşıklığı da artmış durumda. Artık organizasyonlar, çoklu bulut ortamlarını, çeşitli veri kaynaklarını ve giderek daha karmaşık yapay zeka iş yüklerini yönetiyor.
Airflow 3.0, bu değişen kurumsal ihtiyaçları karşılamak üzere tasarlanmış bir çözüm olarak ortaya çıkıyor. Önceki sürümlerden farklı olarak, bu sürüm monolitik bir paket yapısından çıkarak dağıtık bir istemci modelini tanıtıyor. Bu yeni mimari, kuruluşların şu şekilde yararlanmasını sağlıyor:
- Birden fazla bulut ortamında görevleri yürütme.
- Hassas güvenlik kontrolleri uygulama.
- Çeşitli programlama dillerini destekleme.
- Gerçek çoklu bulut dağıtımları yapma.
Olay Tabanlı Yetenekler ile Veri İş Akışlarının Dönüşümü
Airflow, geçmişte genellikle zamanlamalı toplu işlemle öne çıktı, ancak işletmelerin gerçek zamanlı veri işleme yeteneklerine olan ihtiyacı giderek artıyor. Airflow 3.0, bu ihtiyaca da yanıt veriyor.
Vikram Koka, Apache Airflow PMC üyesi ve Astronomer’ın Strateji Müdürü, “Airflow 3’teki bir ana değişiklik, olay odaklı zamanlamaya sahip olmamızdır,” dedi.
Artık bir veri işleme işi her saat başı çalıştırılmak yerine, belirli bir veri dosyası yüklendiğinde veya belirli bir mesaj göründüğünde otomatik olarak başlatılıyor. Bu, Amazon S3 bulut depolama alanına yüklenen veriler ya da Apache Kafka’daki akış verisi gibi durumları kapsıyor.
Airflow ile Yapay Zeka Uygulamalarının Hızlanması
Olay tabanlı veri orkestrasyonu, Airflow’un hızlı çıkarım yürütmesini desteklemesine de yardımcı olacak.
Koka, “Gerçek zamanlı çıkarım” örneği olarak, profesyonel hizmetlerdeki yasal süre takibini gösterdi. Bu senaryoda Airflow, takvimler, e-postalar ve belgeler gibi kaynaklardan ham verileri toplamaya yardımcı olabilir. Daha sonra bir büyük dil modeli (LLM), düzensiz bilgileri düzenli verilere dönüştürür.
Koka bu yöntemi, farklı yapay zeka modellerini bir araya getirerek karmaşık bir görevi verimli ve akıllı bir şekilde tamamlayan “kompoze yapay zeka” sistemi olarak adlandırdı. Airflow 3.0’ın olay odaklı mimarisi, bu tür gerçek zamanlı, çok aşamalı çıkarım süreçlerini mümkün kılıyor.
Kompoze yapay zeka, Berkeley Yapay Zeka Araştırma Merkezi tarafından 2024’te tanımlanan bir yaklaşımdır ve belli bir iş akışını takip eden bir süreçtir. Koka, kompoze yapay zekanın, özerk yapay zeka karar verme sistemlerinden farklı olduğunu belirtiyor. Kompoze yapay zeka, iş gereksinimleri için daha öngörülebilir ve güvenilir sonuçlar doğuruyor.
