RAG (Retrieval-Augmented Generation) Nedir? LLM'lerin En Büyük Sorunu Nasıl Çözülüyor?

WMstudi · Dün, 10:01

RAG Architektur in einfacher Darstellung.webp

30 Saniyelik Özet
ChatGPT, Claude veya Gemini gibi büyük dil modelleri çok etkileyici görünse de önemli bir sınırlamaya sahiptir: Eğitim verilerinde bulunmayan veya sonradan değişen bilgiler hakkında güvenilir cevaplar veremezler. Bu durum zaman zaman yanlış bilgiler üretmelerine neden olur. Retrieval-Augmented Generation (RAG), modeli yeniden eğitmeden harici bilgi kaynaklarından doğru verileri getirerek bu sorunu büyük ölçüde çözer. Günümüzde kurumsal yapay zekâ çözümlerinin önemli bir kısmı RAG mimarisi üzerine kuruludur.

Neden Bu Konu Önemli?

Bir şirkette çalıştığınızı düşünün.
Şirketinizin;

Personel yönetmeliği
Ürün dokümanları
Teknik belgeleri
Müşteri sözleşmeleri
İç yazışmaları

gibi binlerce dokümanı bulunuyor.
Bir çalışan yapay zekâ asistanına şu soruyu soruyor:

"Yeni işe başlayan bir çalışan uzaktan çalışma talebini nasıl oluşturabilir?"

ChatGPT bu sorunun cevabını bilemez.
Çünkü şirketinizin iç dokümanları modelin eğitim verisinin bir parçası değildir.
Modelin önünde iki seçenek vardır:
Bilmediğini söylemek.

Ya da tahminde bulunmak.

Ne yazık ki birçok büyük dil modeli, yeterli bilgiye sahip olmadığında bile akıcı ve ikna edici cevaplar üretmeye çalışır. İşte bu nedenle "halüsinasyon" olarak adlandırılan yanlış cevaplar ortaya çıkar.
Kurumsal uygulamalarda bunun sonucu ciddi olabilir:

Yanlış prosedür uygulanabilir.
Güncelliğini yitirmiş bilgiler kullanılabilir.
Hukuki veya teknik hatalar yapılabilir.
Kullanıcıların sisteme olan güveni azalabilir.

İşte RAG, bu noktada devreye girer.
Modeli yeniden eğitmek yerine, ihtiyaç duyduğu bilgiyi doğru kaynaktan almasını sağlar.

RAG Nedir?

Retrieval-Augmented Generation (RAG), büyük dil modellerinin cevap üretmeden önce harici veri kaynaklarından ilgili bilgileri bulmasını ve bu bilgiler doğrultusunda yanıt oluşturmasını sağlayan bir mimaridir.
Kısacası RAG'ın yaptığı şey şudur:

"Önce doğru bilgiyi bul, sonra cevabı üret."

Bu yaklaşım klasik dil modeli kullanımından önemli ölçüde farklıdır.
Normalde bir LLM yalnızca eğitim sırasında öğrendiği bilgilerle cevap üretir.
RAG kullanan bir sistem ise önce ihtiyaç duyduğu bilgiyi arar, daha sonra bu bilgileri modele bağlam (context) olarak verir.
Böylece model tahmin yapmak yerine gerçek verilere dayanarak cevap oluşturabilir.

RAG Bir Eğitim Yöntemi Değildir

Bu konu en çok karıştırılan noktalardan biridir.
Birçok kişi RAG'ın modeli yeniden eğittiğini düşünür.
Aslında durum tamamen farklıdır.
RAG;

Modelin ağırlıklarını değiştirmez.
Yeni bilgi öğretmez.
Eğitimi tekrar başlatmaz.

Sadece ihtiyaç duyduğu bilgiyi modele ulaştırır.
Bunu bir sınava giren öğrenciye benzetebiliriz.
Normal bir LLM, ezberlediği bilgilerle sınava giren bir öğrenci gibidir.
RAG kullanan sistem ise açık kitap sınavına giren öğrenciyi andırır.
Öğrenci her şeyi ezbere bilmek zorunda değildir.
Soruyla ilgili doğru kitabı açar, ilgili bölümü okur ve ardından cevap verir.
İşte RAG'ın temel mantığı budur.

Büyük Dil Modellerinin En Büyük Sorunu

Bugün ChatGPT, Claude veya Gemini milyonlarca konuda etkileyici cevaplar verebilir.
Fakat onların da önemli sınırlamaları vardır.

1. Bilgileri Güncel Değildir

Her model belirli bir tarihe kadar olan verilerle eğitilir.
Daha sonra meydana gelen gelişmeleri doğal olarak bilemez.
Örneğin;

Dün yayınlanan bir şirket prosedürü
Yeni çıkan bir ürün
Güncellenmiş API dokümanı
Şirket içi bir PDF

modelin eğitim verisinin içinde yer almaz.

2. Kuruma Özel Bilgileri Bilmez

Hiçbir genel amaçlı model;

Şirketinizin wiki sayfalarını,
Git deposunu,
Notion dokümanlarını,
Google Drive belgelerini,
Özel veritabanınızı

kendiliğinden bilemez.
Bu bilgiler güvenlik nedeniyle modele yüklenmez.
Dolayısıyla model bu içeriklere erişemez.

3. Halüsinasyon Üretebilir

Model cevap vermesi gerektiğini düşündüğünde bazen eksik bilgileri kendi tahminleriyle tamamlar.
Örneğin şu soru sorulsun:

"WMStudio'nun yıllık izin politikası kaç gündür?"

Eğer model bu bilgiye sahip değilse şu tarz bir cevap verebilir:

"Çalışanlara yılda 20 gün ücretli izin verilmektedir."

Bu cevap kulağa mantıklı gelebilir.
Ancak tamamen uydurma olabilir.
İşte bu durum yapay zekâ dünyasında hallucination (halüsinasyon) olarak adlandırılır.

Halüsinasyon Neden Oluşur?

Büyük dil modelleri bir arama motoru değildir.
Onlar olasılık hesaplayan sistemlerdir.
Bir cümlenin devamında hangi kelimenin gelme ihtimali yüksekse onu üretirler.
Yani model şu mantıkla çalışır:

"Bu sorudan sonra insanlar genellikle nasıl cevap verir?"

Dolayısıyla doğru belgeye erişemediğinde bile dil açısından tutarlı görünen fakat gerçekte yanlış olabilecek cevaplar oluşturabilir.
Bu yüzden kurumsal uygulamalarda yalnızca LLM kullanmak çoğu zaman yeterli değildir.

İşte RAG Tam Bu Sorunu Çözer

RAG'ın temel fikri oldukça basittir.
Model cevap vermeden önce gerekli bilgiyi bulur.
Ardından cevabı o bilgiler üzerinden oluşturur.
Bunu günlük hayattan bir örnekle düşünelim.
Bir müşteri destek çalışanısınız.
Müşteri size yeni çıkan bir ürün hakkında teknik bir soru sordu.
Ezbere cevap vermek yerine şirketin teknik dokümanını açıp ilgili bölümü okuyorsunuz.
Sonra müşteriye cevap veriyorsunuz.
Bu yaklaşım çok daha güvenilirdir.
RAG sistemleri de tam olarak bunu yapar.

RAG Nasıl Çalışır?

En basit haliyle süreç şu şekildedir:

Rich (BB code):

Kullanıcı Sorusu
        │
        ▼
İlgili Belgeleri Ara
        │
        ▼
En Uygun Belgeleri Bul
        │
        ▼
Belgeleri LLM'e Gönder
        │
        ▼
LLM Nihai Cevabı Oluşturur

Bu mimaride model doğrudan tahmin yapmak yerine önce doğru bağlamı elde eder.
Bu da cevapların hem doğruluğunu hem de güvenilirliğini önemli ölçüde artırır.

Bilmeniz Gereken

RAG sihirli bir teknoloji değildir.
Eğer sisteme yanlış, eksik veya güncelliğini yitirmiş belgeler verirseniz, yapay zekâ da bu belgeleri kullanarak yanlış cevaplar oluşturabilir. RAG'ın başarısı büyük ölçüde veri kalitesine bağlıdır.

RAG (Retrieval-Augmented Generation) Nedir? LLM'lerin En Büyük Sorunu Nasıl Çözülüyor?