Üretken yapay zeka, otomotiv endüstrisinin her alanını dönüştürüyor; bu yazılım geliştirme, test etme, kullanıcı deneyimi, kişiselleştirme ve güvenlik dahil. Otomotiv endüstrisi, mekanik bir yaklaşımdan yazılım odaklı bir yaklaşım içine kayarken, üretken yapay zeka yeni olanaklar sunuyor.
Tata Danışmanlık Hizmetleri (TCS), otomotivde üretken yapay zekayı kullanmak için iki ana alana odaklanıyor:
- Müşteri deneyimini geliştiren özellikler üretmek
- Yazılım mühendislik yaşam döngüsünü hızlandırmak
Müşteri Deneyimini Geliştirme
Üretken yapay zeka, tam otonom araçların (AV’ler) gerçekleştirilmesinde önemli bir rol oynuyor ve bu sayede AI tabanlı algoritmaların daha iyi karar verme yetenekleri geliştirilmesine olanak tanıyor. Farklı olasılıklar doğrultusunda veri kümeleri üreterek bunları sentezliyor, sınırlı gerçek zamanlı veriden eğitim ve test verilerine kadar geniş bir yelpazede hizmet sunuyor. Bu teknoloji, araç kişiselleştirmesi ve kullanıcı deneyimi sunmada kritik bir rol oynuyor. Gelişmiş arama işlevsellikleri, dil çevirileri, araç içi kişisel asistanlar ve video-audio eğlence için sezgisel öneriler gibi çeşitli yetenekleri kapsıyor.
Yazılım Mühendislik Yaşam Döngüsünü Hızlandırma
Yazılım tanımlı araçların (SDV) amacı, daha fazla esneklik sağlayarak kullanıcı deneyimini zenginleştirmek ve müşterilerin araç özelliklerini kendi konforlarına göre güncelleyip değiştirebilmelerine olanak tanımaktır. Bu durum, araç karmaşıklığını artırmış ve milyonlarca satır kod yazılmasına neden olmuştur. Özellik-hizmet modellerinin uygulanması için acil bir talep var ve otomotiv özelliklerinin birkaç hafta içinde geliştirilmesi ve dağıtılması gerekiyor.
Mevcut süreçler ve araçlar, bu süre zarfında istenilen hedefe ulaşmayı neredeyse imkansız kılıyor. Burada üretken yapay zeka, mühendislerin “yan arkadaşı” olarak yazılım mühendislik yaşam döngüsünü hızlandırma potansiyeline sahiptir; bu, gereksinim analizi, tasarım, geliştirme ve doğrulamayı kapsar.
Bu temel alanlarla TCS, NVIDIA teknolojileri ile geliştirilmiş TCS patentli algoritmaları kullanarak Otomotiv Gen-AI Suite adlı bir platform oluşturdu. Şekil 1, metin tabanlı kullanım senaryoları için dış ortamda bir mimariyi göstermektedir. Büyük dil modelleri (LLM), NVIDIA NeMo çerçevesi ile eğitilmiş ve otomotiv alanına özgü veri setleri kullanılarak NVIDIA NIM mikro hizmetleri ile ince ayar yapılmıştır, bunlar da NVIDIA AI Enterprise yazılım platformunun bir parçasıdır.
Bu yazı, bir kullanım senaryosunu, birim düzeyinde test senaryolarının oluşturulmasını, yaklaşımı ve başarıyı ölçmek için kullanılan temel performans göstergelerini (KPI’lar) incelemektedir.
Test Senaryosu Oluşturma
Otomotiv alanındaki yapılandırılmamış sistem gereksinimlerinden test senaryoları oluşturmak, yazılım mühendislik yaşam döngüsündeki en zaman alıcı adımlardan biridir.
Mevcut sistemlerde otomotiv alanındaki çeşitli test senaryosu havuzlarının oluşturulması çoğunlukla elle yapılmakta, bu da zaman ve maliyet açısından oldukça yükleyici olmaktadır. Bu test senaryolarının eğitimi ve geliştirilmesi haftalar alabilmektedir.
TCS, NVIDIA teknolojilerini kullanarak yapılandırılmamış metin tabanlı gereksinimlerden test senaryolarını otomatik olarak oluşturmayı amaçlamaktadır.
LLM’ler, süreci hızlandırmakta ve maliyeti minimum müdahale ile azaltmaktadır. Senaryolar ve bunlara karşılık gelen test senaryoları oluşturulmakta ve bu senaryolar daha sonra uzmanlar tarafından doğruluğu ve kapsamı açısından doğrulanmaktadır. TCS, LLM çıktısını analiz ederek ve daha düşük doğruluk veya kapsamı olan verileri seçerek veri kümesini dikkatlice hazırlamaktadır. Bu süreçte kullanılarak, NVIDIA NeMo çerçevesinde otomotive özgü veriler üzerinde PEFT teknikleri (Düşük Sıra Adaptasyonu – LoRA) kullanılarak modelin ince ayarı yapılmaktadır. Ayrıca, en uygun KPI’ları optimize etmek için prompt seçiminde önemlidir.
Dağıtım için TCS, NVIDIA DGX H100 sistemlerinde NVIDIA NIM mikro hizmetlerini kullanmaktadır. Önceden işlenmiş giriş, otomotiv bilgisi ile eğitim görmüş NeMo tabanlı ince ayarlı bir modele beslenmektedir. Instruct modeli olarak kullanılan temel model Llama 3 8B’dir. Son işlemlerden sonra çıkan sonuç, müşterilerin yeteneklerini artırmalarına yardımcı olacak test senaryolarıdır.
Şekil 3, giriş gereksinimlerinden çıkan test senaryolarını gösterir. Giriş, birkaç örnekleme ve kabuk zinciri gibi tekniklerle işlenir. Her bir kullanım senaryosu için bağlam bilgisi, işleme adımlarında müşterinin referans belgelerinden yararlanılarak sağlanır ve retrieval-augmented generation (RAG) teknikleri kullanılır.
Modelin eğitilmesi için, alan ve göreve özgü hazırlanmış veri blokları kullanılmakta ve temizleme işleminin ardından ince ayar bloğuna beslenmektedir. Bu blok, LoRA ile PEFT kullanılarak çalıştırılmaktadır ve NVIDIA NeMo çerçevesinde (NeMo: 24.05 konteyner) bir fusion Adam optimizasyonu uygulanmaktadır. Modelin aşırı uydurulmasını önlemek için 1 ila 100 adım arasında bir eğitim süreci uygulanmaktadır. TCS, ince ayarlı modeli, NVIDIA NIM (Meta/Llama3-8b-instruct: 1.0.0) konteyneri aracılığıyla dağıtmaktadır. Oluşan çıktı daha sonra post-processing ile LangChain ile birleştirilerek gereken test senaryosu çıktıları üretilmektedir.
NVIDIA AI Enterprise Yazılım Platformu ile Optimizasyon
TCS, NVIDIA NeMo’yu bu gelişmiş modelleri oluşturmak için kullanmaktadır. Temel LLM’ler, otomotive özgü veri setleri ile LoRA tekniği kullanılarak ince ayar yapılmıştır. İnce ayar, GPU kullanımını artırmak için NeMo çerçevesi eğitim konteynerinde gerçekleştirilmiştir.
NVIDIA NIM tabanlı optimizasyon kullanarak TCS, NVIDIA DGX sistemlerinde düşük gecikme (neredeyse gerçek zamanlı) ve yüksek verimlilik elde etmiştir. NIM mikro hizmetleri kullanarak gerçekleştirilen son işlem kuantizasyonu, GPU kullanımını ve gecikmeyi düşürmektedir. NIM aynı zamanda uygulama hizmetlerinden doğrudan çağrılabilecek inferans API’leri sunmaktadır.
En İyi Modeli Belirlemek için Benchmarklar
TCS test senaryosu oluşturma sürecinin farklı LLM’lerin GPU kullanımı, eğitim parametreleri ve çıktı doğrulukları açısından bir karşılaştırma çalışması gerçekleştirilmiştir.
- Giriş olarak bir spesifikasyon dokümanı veya bu spesifikasyonlara dayalı bir prompt kullanılmaktadır.
- Bu girdiler, otomotive özgü veriler ile ince ayar yapılmış LLM NIM mikro hizmetlerine beslenmektedir.
- Üretilen çıktı, hatalı ve tekrar eden test senaryoları açısından doğrulanmaktadır. Gerekirse, yeni bir prompt ile düzeltmeler yapılmakta veya daha fazla test senaryosu oluşturulmaktadır ve süreç tekrar edilmektedir.
- Doğruluk ve kapsam, karşılaştırma için kullanılmaktadır.
- NIM tabanlı inferans, benzer doğruluklara sahip diğer açık kaynaklı doğrudan inferans senaryolarına göre ortalama %2,5 ila %3 daha hızlıdır.
Şekil 4, kullanıcıların belirli bir kullanım durumu için en uygun modeli belirlemelerine ve gereksinimler için en uygun temel modeli seçmelerine yardımcı olmak üzere önceden eğitilmiş modellerin karşılaştırmasını göstermektedir. Bu karşılaştırma, yalnızca doğruluk ve test senaryosu sayısını değil, aynı zamanda karar kapsamı, durum kapsamı ve Değiştirilmiş Durum Karar Kapsamı (MCDC) gibi kriterleri de içermektedir.
*Test senaryosu gereksinimlerini dikkate almaktadır.
Karar Kapsamı
Karar kapsamı, bir modeldeki karar noktalarını, örneğin switch blokları veya akış durumlarını değerlendirmektedir. Modelin test edilmesi sırasında tüm olası yolların en az bir kez travers edilmesi ile tam kapsam sağlanmaktadır.
Durum Kapsamı
Durum kapsamı, girişlerin ve durum akış geçişlerinin mantıksal kombinasyonlarını incelemektedir. Tam kapsam, modeldeki her girişin ve geçiş koşulunun en az bir kez gerçek ve yanlış olarak test edilmesi ile elde edilmektedir.
MCDC
MCDC, bir modeldeki mantıksal girişlerin ve geçiş koşullarının bağımsızlığını değerlendirmektedir. Tam kapsam, bir girişte ya da koşulda yapılan bir değişikliğin, diğerlerinden bağımsız olarak, model çıktısını değiştirmesi ya da bir geçişi tetiklemesi halinde sağlanmaktadır.
Tablo 1, neden bu durumda Llama 3 8B Instruct modelinin, doğruluk, karar ve MCDC kriterlerinde üstün performans gösterdiğini açıklamaktadır. Online model inferansı ve ince ayar süreçleri, müşteri verilerinin hassasiyeti nedeniyle kapsam dışında kalmıştır; tüm eğitim ve inferans TCS’nin kendi bünyesindeki NVIDIA DGX H100 sistemlerde çevrimdışı modda gerçekleştirilmiştir.
| Llama 3 8B Instruct’ı Temel Alan Modeli Olarak Karşılaştırma | ||||
| Model | Doğruluk | Karar | Durum | MCDC |
| Llama 3 8B Instruct NVIDIA NIM önceden eğitilmiş | 87% | 84.5% | 88.56% | 71.22% |
| Llama 3 8B Instruct NVIDIA NIM ince ayar yapılmış | 91% | 85.1% | 87.89% | 73.11% |
*Test senaryosu gereksinimlerini dikkate almaktadır.
Büyük dil modellerinin (LLM’ler) kullanımı, otomotiv yazılımının eğitim ve geliştirilmesi için maliyet ve zamanı azaltabilir. LLM’ler, temel gereksinimleri anlamada ve otomatik test senaryoları yazmada insan müdahalesini en aza indirmektedir. Ayrıca, senaryo ve test senaryoları oluşturma da yapılmakta ve bunlar daha sonrasında uzmanlar tarafından doğruluk ve kapsama açısından değerlendirilmektedir.
Sonuç
Üretken yapay zeka ve otomotiv alanındaki uzmanlığı ile TCS, NVIDIA DGX H100 sistemleri ve NVIDIA NIM ile NVIDIA NeMo yazılımı kullanarak son derece verimli bir otomotiv test senaryosu oluşturma hattı geliştirmiştir. Bu model, NVIDIA NeMo çerçevesi ile ince ayar yapıldığında, mevcut modellere kıyasla daha yüksek doğruluk ve kapsam sunmaktadır. TCS, genel test senaryosu oluşturma hattında ~%2 hızlanma gözlemlemiştir.
TCS, ayrıca NeMo ve NIM’i, konuşma tabanlı LLM’leri, bağlam anlayışı için görsel LLM’leri ve görüntü tabanlı üretken advers ağ modellerini (GAN) geliştirmek amacıyla kullanmaktadır. TCS, NVIDIA Blueprints kullanarak çok modlu yetenekler keşfetmeye ve yazılım mühendislik yaşam döngüsünü daha da geliştirmeye devam edecektir.
