Büyük dil modelleri (LLM’ler), iş dünyasını hızlı bir şekilde değiştirerek, doğal dil işleme (NLP), içerik üretimi ve veri analizi gibi yeni yetenekler sunmaktadır. Bu AI destekli araçlar, şirketlerin müşteri hizmetlerini hızlandırmaktan karar verme süreçlerini geliştirmeye kadar birçok alanda nasıl çalıştığını iyileştirmiştir.
Ancak, etkileyici genel bilgilerine rağmen, LLM’ler sıklıkla doğruluk, güncel bilgi ve alan özel bilgisi konularında zorluklarla karşılaşır. Bu durum, mimarlık, inşaat ve mühendislik (AEC) gibi uzmanlık gerektiren alanlarda hatalı bilgilere ve basitleştirilmiş açıklamalara sebep olabilir. Bu tür durumlarda doğru ve güncel bilgilere ulaşmak, bilinçli kararlar alabilmek ve sektör düzenlemelerine uyumu sağlamak açısından kritik bir öneme sahiptir.
Örneğin, dağlık bir bölgede bir ev için fikir geliştiren bir mimar ve mühendis takımını düşünelim. LLM’e, yerel iklime uygun sürdürülebilir bina tekniklerinin nasıl uygulanabileceği sorulduğunda, LLM genel yanıtlar vererek; güneş panelleri ve yeşil çatıların kullanımı gibi önerilerde bulunabilir. Ancak, yüksek irtifada yaşanan aşırı sıcaklık değişiklikleri ve kar yükleri gibi özgül zorlukları göz önünde bulundurmadığı için sorunlar doğurabilir. Daha da kötü bir senaryoda, LLM hayali bir teknoloji olan “güneşli kar eritme panelleri” önerebilir, bu teknoloji gerçekte mevcut değildir.
Bu örnek, LLM’lerin sahip olduğu geniş bilgiye rağmen belirli görevler için gerekli güncel bilgiye sahip olmamasının yaygın bir problemi olduğunu göstermektedir. Bu sınırlama, birkaç temel zorluktan kaynaklanmaktadır. Özellikle, LLM’ler belirli bir kesim tarihine kadar mevcut verilere göre eğitilmektedir ve özel veya gerçek zamanlı iş verilerine erişim imkanı yoktur. LLM’ler bazen sorgunun bağlamını veya amacını yanlış anlayabilmekte, bu da alakasız veya belirsiz yanıtlar almaya sebep olabilmektedir.
LLM Sınırlamalarını Aşmanın Üç Yolu
Bu sınırlamaları aşmak için firmaların genellikle üç seçeneği vardır:
- Tüm Modeli Yeniden Eğitmek: Bu, LLM’yi sektör özel bilgileri içeren bir veri seti ile tamamen yeniden eğitmeyi içerir. Ancak, bu süreç aşırı kaynak yoğundur; büyük miktarlarda veri, önemli ölçüde hesaplama gücü ve zaman gerektirdiğinden çoğu organizasyon için pratik değildir.
- Modeli İnce Ayar Yapmak: Bu yaklaşım, önceden eğitimli bir modeli daha küçük, uzmanlaşmış bir veri seti ile daha fazla eğiterek belirli bir alana uyarlamayı içerir. Yine de, tam yeniden eğitimden daha az yoğun olmakla birlikte, ince ayar yapmak da belirli bir ölçüde hesaplama kaynakları ve uzmanlık gerektirmektedir. Etkili olabilse de, çok özgül veya hızlıca değişen bilgilerle ilgili sorunlar yaşayabilir.
- Alım-Genelleme Yöntemleri Kullanmak (RAG): LLM’lerin sınırlamalarını aşmak için verimli ve esnek bir çözüm sunan RAG, LLM’lerin geniş yeteneklerini belirli ve güncel bilgileri bir araya getirerek kullanabilmesini sağlar. Bu yaklaşım, şirketlerin LLM’lerin gücünden yararlanırken, doğru ve alakalı bilgileri sağlamak için belirli bir veritabanına erişmelerine olanak tanır.
RAG, iş verimliliğini artırarak, gelişmiş dil modellerini kullanmak isteyen işletmeler için net bir yol sunmaktadır.
RAG Nedir?
RAG, dil modellerinin yeteneklerini gerçek zamanlı bilgi çıkarımı ile birleştiren gelişmiş bir AI tekniğidir. Bu sayede sistemler, belirli kaynaklardan alınan bağlam açısından alakalı verileri kullanarak ürettikleri yanıtların doğruluğunu ve geçerliliğini artırabilir. Bu, kurumsal sektörde AI yeteneklerini geliştirmek için güçlü bir yaklaşımdır.
LLM’lerin gerçekten iş problemlerini çözmesi için, her organizasyonun sahip olduğu eşsiz bilgi birikimine uyum sağlaması gerekmektedir. RAG, AI sistemlerinin tanımlı kaynaklardan, örneğin, şirketin iç bilgi sistemlerinden, veri depolarından ve hatta CRM ve ERP gibi diğer SaaS uygulamalarından gerçek zamanlı bilgi erişimini sağlamaktadır.
Bu demektir ki, bir çalışan bir soru sorduğunda veya bilgi aradığında, RAG kullanan bir AI asistanı bağlamı anlayarak; firmanın geçmiş proje verileri, mevcut proje detayları, tedarik zinciri bilgileri ve diğer özel kurumsal bilgileri göz önüne alarak özelleştirilmiş ve doğru bir yanıt sunabilmektedir.
Örneğin, AECOM’un teklif yazma sürecini iyileştirmek için LLM ve RAG’yi kullanan AECOM BidAI girişimini düşünelim. Genel bilgiye sahip bir LLM, teklif yazma stratejileri ile ilgili genel bilgiler verebilirken, AECOM’un karmaşık ve özelleştirilmiş planlar oluşturma gereksinimleri için bu uygulama yetersiz kalır.
RAG bu noktada hayati önem taşımaktadır. AI sistemleri gibi BidAI, AECOM’un geçmişteki önerileri, proje veri sayfaları ve özgeçmişler gibi 30.000’den fazla indeklenmiş belgeye erişim sağlayabilmektedir. Bir AECOM çalışanı bir teklif hazırlamak istediğinde, RAG kullanan AI asistanı bağlamı anlamakta; firmanın geçmiş proje verileri, mevcut proje detayları ve diğer özel kurumsal bilgileri dikkate almaktadır.
Bu sayede sistem, özelleştirilmiş ve doğru bir destek sağlayarak, teklif hazırlama süresini 10 günden sadece 2 güne indirmektedir. AECOM, GPT temel modelleri ile RAG vektör aramasını birleştirerek, organizasyonel uzmanlığı demokratikleştiren ve teklif yazma sürecindeki verimliliği büyük ölçüde artıran güçlü bir bilgi platformu oluşturmuştur.
AEC Sektöründe RAG’ın Yaygınlaştırılması
Operasyonel verilerle RAG’ı entegre etmek, generatif AI’nın potansiyelini önemli ölçüde artırabilir. Bu sayede şirket uygulamaları boyunca gerçek zamanlı, son derece kişiselleştirilmiş ve bağlamsal olarak alakalı deneyimler sunulmaktadır.
RAG tabanlı LLM çözümleri, tasarım belgelerinin alınması, uyum denetimi, proje yönetimi, maliyet tahmini, bilgi yönetimi ve müşteri desteği gibi alanlarda zeka iş yeri asistanları sağlamakta, AEC sektörünü dönüştürmektedir. Bu RAG tabanlı AI araçlarının sağladığı önemli faydalar şu şekildedir:
- Gelişmiş Doğruluk: Yanlışlıkları ve hayali bilgileri azaltarak, güncel ve endüstri odaklı bilgiler ile yanıtların doğruluğunu artırma, mimarların ve mühendislerin gerekli proje spesifikasyonlarına etkin bir şekilde erişim sağlaması.
- Özelleşmiş Bilgi Erişimi: Kendi verinizi güvenli bir ortamda kullanarak şirket uygulama ve kurallarına uygun kişiye özel yanıtlar sunma. Geçmiş projeleri analiz ederek özelleştirilmiş tasarım önerileri ve uygulanabilir içgörüler sağlama, böylelikle hassas bilgilerin korunması ve erişimin yetkilendirilmiş kullanıcılarla sınırlı tutulmasına olanak tanıma.
- Düzenleyici Uyum: Çeşitli standartlarla, belediyelerin inşaat kodları, endüstri güvenlik yönergeleri ve çevresel düzenlemeler gibi normlarla uyumu sürdürme ve firmaların rekabetçi kalmasını sağlamak için özelleştirilmiş müşteri teklifleri üretme.
- İzlenebilirlik ve Verimlilik: Kullanıcılar, AI tarafından üretilen içeriğin kaynağını takip edebilir, böylece güven ve hesap verebilirlik artar. RAG, ilgili verilere odaklanarak geniş kapsamlı model yeniden eğitimine olan ihtiyacı azaltarak zaman ve kaynak tasarrufu sağlar.
RAG’ı Oluşturan Temel Bileşenler
RAG implementasyonu, veri yönetimi, model seçimi ve mevcut iş akışlarıyla entegrasyon gibi unsurları dikkatlice planlamayı gerektirir. İş akışı, LLM’lerin yeteneklerini artıran birkaç ana bileşenden oluşur ve bu bileşenler genel olarak veri alma, veri çıkarma, veri üretimi ve sürekli iyileştirme süreçleri olarak gruplandırılabilir.
Veri Alma Süreci
İlk aşama, verinin alınmasıdır. Bu süreçte, veriler farklı kaynaklardan toplanır ve işlenmek üzere hazırlanır. Bu aşama, sistemin kapsamlı ve ilgili verilere erişim sağlaması açısından kritik öneme sahiptir. RAPIDS, bu aşamada GPU hızlandırmalı veri ön işleme yetenekleri sunarak büyük veri yığınlarının verimli bir şekilde alınmasını sağlamaktadır.
Kümeleme ve Embed Oluşturma
Sonraki aşama, alınan verilerin anlamını yakalayan vektör embedleri haline dönüştürülmesidir. Burada bir embed modeli, proje belgeleri, inşaat kodları veya tasarım spesifikasyonları gibi metin parçalarını “vektör embedleri” adı verilen özel bir formata çevirir. Bu embedding’ler, yalnızca kelimeleri değil, metnin anlamını ve bağlamını da yakalamaktadır.
Örneğin, bir embedding modeli “çelik kiriş” ve “I-kiriş” terimlerinin ilişkili kavramlar olduğunu anlayabilir, bu terimler aynı kelimeleri paylaşmasa dahi. NVIDIA NeMo Retriever, soru-cevap ve bilgi çıkarımı gibi görevler için özel olarak tasarlanmış güçlü embed modelleri sunmaktadır. Bu embed’ler, doğru ve bağlama dayalı bilgi çıkarımını sağlamak için kritik öneme sahiptir.
Embedlerin Saklanması ve Çıkarılması
Üçüncü aşama, bu embed’lerin akıllı bir veri tabanı olan vektör veri tabanında saklanması ve çıkarılmasıdır.
Yanıt Üretim Süreci
Son olarak, yanıtları üretmek için LLM’yi kullanmak gerekmektedir. NVIDIA GPU’ları, LLM’lerin çıkarım sürecini hızlandırarak daha hızlı, verimli ve gerçek zamanlı yanıt üretimi sağlamaktadır. Performansı daha da optimize etmek amacıyla, NVIDIA Triton Inference Server bu modellerin Dağıtımını yönetmekte ve kaynakları en yüksek verimlilikle çalıştırmaktadır. Triton, çıkarım taleplerini ve model ayarlarını yönlendirerek, gecikmeyi azaltır ve kaynak kullanımını maksimize eder. Bu özellik, gerçek zamanlı AI uygulamaları için idealdir.
Örnek Uygulama
Bu kavramları anlamak için, yerel inşaat kodlarıyla ilgili yangın güvenliği gerekliliklerini doğrulamak isteyen bir mimarı düşünelim. Mimarın yüksek katlı binalarla ilgili yangın güvenliği gerekliliklerini sorması durumunda, RAG iş akışının ilk adımı olarak, mimarın sorgusu bir embed modeli tarafından işlenir. Bu model, sorguyu vektör embedding’ine dönüştürür ve anlamını yakalar. Model, bu sorunun yangın güvenliği gereklilikleri ve yüksek katlı binalarla ilişkili olduğunu anlar.
Ardından, sorunun vektör embed’i, yerel inşaat kodları, tasarım yönergeleri ve geçmiş proje belgelerinin embed’lerini içeren vektör veri tabanında aranır. NVIDIA RTX GPU’ları, bu arama sürecini hızlandırarak, sistemin yangın güvenliği ve yüksek katlı binalarla ilgili en alakalı belgeleri hızlı bir şekilde bulmasını sağlar.
İlgili belgeler alındıktan sonra, sistem yangın güvenliği gereklilikleri hakkında anahtar bilgileri çıkarır. Bu bilgiler, spesifik yönetmelikler, uyum kontrol listeleri ve bu standartlara uygun geçmiş projelere dair örnekler içerebilir. Sistem daha sonra yanıt üretim aşamasına geçerek, LLM bulduğu bilgiyi birleştirerek mimarın sorgusuna kapsamlı bir cevap oluşturur, gerekli kodlar ve kurallar ile ilgili spesifik bilgileri dahil eder.
Kendi RAG Boruhattınızı Oluşturun
AEC firmaları, NVIDIA ChatRTX kullanarak RAG ile başlamaktadır. Bu demo uygulaması, bireysel kullanıcıların kendi içeriklerini, belgeler, notlar ve görseller gibi kullanarak, bağlamı dikkate alan, yerel olarak çalışan sohbet botları veya sanal asistanlar oluşturmasını sağlamak için düşük çaba gerektiren bir deneysel araçtır. Kullanıcılar, tasarım örüntüleri, bina kodu gereklilikleri ve proje güncellemeleri gibi bilgileri hızlı bir şekilde alabilir ve hassas verilerin güvenliğinin yerel RTX PC’lerde veya iş istasyonlarında sağlanmasını temin edebilir.
Geliştiriciler ve veri bilimcileri daha fazla kontrol ve özelleştirme arıyorlarsa, NVIDIA AI Workbench, AI Workbench Hybrid RAG projesi gibi karmaşık AI uygulamalarını oluşturma, özelleştirme ve işbirliği yapma imkanı sunan güçlü bir ortam sağlamaktadır. Geliştiriciler, tasarım belgelerinden proje spesifikasyonlarına kadar çok çeşitli belgelerle etkileşime geçerek bilgi edinme ve karar verme süreçlerini geliştiren bir sistem oluşturabilirler. Bu platformun esnekliği, çözümlerin farklı ortamlarda, yerel iş istasyonlarında, sunucularda veya bulutta ölçeklendirilmesine ve uyarlanmasına olanak tanır.
AI Workbench, kapsamlı bir geliştirme ortamı sağlarken, NVIDIA ayrıca AI modellerinin dağıtımını kolaylaştırmak için NVIDIA NIM tanıtmıştır. NIM mikro hizmetleri, optimize edilmiş çıkarım motorlarını, endüstri standart API’leri ve AI modellerini paketleyerek konteynerler halinde kolay dağıtım imkanı sunmaktadır. NIM’ler, RAG dağıtımları için özellikle faydalıdır, zira NVIDIA NeMo Retriever mikro hizmetlerini içermekte ve RAG uygulamaları için veri çıkarımını optimize etmektedir.
NVIDIA AI Blueprints, geliştiricilerin bir veya daha fazla AI ajansı kullanan AI uygulamaları oluşturması için başlangıç noktası sağlamaktadır. Bu önceden eğitimli, özelleştirilebilir AI iş akışları, çeşitli kullanım durumları için nesil AI uygulamalarının geliştirilmesini ve dağıtımını hızlandırmaktadır.
Bu uygulamalar, NVIDIA NeMo, NVIDIA NIM ve ortak mikro hizmetlerle oluşturulmuş örnek uygulamaları, referans kodlarını, özelleştirme belgelerini ve dağıtım için bir Helm grafiğini içermektedir.
AEC firmaları için, NVIDIA AI Blueprint için çok modlu PDF veri çıkarımı, metin ve görüntü içeren karmaşık PDF belgelerini işlemek için NVIDIA NeMo Retriever NIM mikro hizmetlerini kullanarak özellikle değerlidir. Bu şablon, AEC firmalarının özel tasarım ve spesifikasyon verileriyle dolu geniş veritabanlarını etkin bir şekilde kullanmalarına ve ihtiyaç duydukları bilgilere daha akıllıca ve hızlıca erişmelerine olanak sağlamaktadır. AI Blueprints, geliştiriciler tarafından deneyimlenmek ve indirilen üretimlerde kullanılmak üzere ücretsizdir ve NVIDIA AI Enterprise yazılım platformuyla dağıtılabilmektedir.
Sonuç
AEC sektörü dijitalleşmeye ve AI teknolojilerine entegrasyona devam ederken, RAG, AI’ye başlamak için en kolay yöntemlerden biri olarak öne çıkmaktadır. Bu pratik yaklaşım, şirketlerin geliştirici AI’nın gücünden yararlanmalarına imkan tanırken, bu alanda kritik önem taşıyan doğruluğu ve alaka düzeyini korumaktadır. AECOM, nesil AI ve RAG tabanlı çözümlerin çalışma biçimimiz üzerindeki derin etkisini kabul etmekte ve bu teknolojilere olan taahhüdü, bilgi demokratikleşmesine ve müşteri hizmetlerini artırmaya yönelik devam eden girişimlerle açıktır.
“Nesil AI, çalışma şeklimizdeki değişiklikleri hızlandıracak ve müşterilerimize değer katma yöntemlerimizi sürekli olarak geliştirecektir.” diyor AECOM’un küresel AI lideri Tim Wark. “RAG ve LLM’ler etrafındaki erken girişimlerimiz, küresel bilgi tabanımızı demokratikleştirmenin ve bunun üzerine inşa etmenin derin etkisini göstermiştir. Bunlar, endüstrimiz için heyecan verici değişim zamanlarının başlangıcını oluşturuyor.”
Büyük dil modelleri ile spesifik endüstri bilgisini birleştirerek RAG, AEC profesyonellerinin günlük işlerinde AI ile etkileşim kurma ve kullanma şekillerini dönüştürmeyi vaat etmektedir. Bu dönüşüm, endüstride dijital araçlar, özellikle de AI kullanmayı planlayan %80,5’lik bir oranla birlikte, dijital dönüşüm ve sağladığı faydaları kabul etme eğiliminin bir parçası olarak konumlanmaktadır.
Daha fazla bilgi için AI’nin AEC sektörünü nasıl dönüştürdüğünü öğrenin.
