Neden Ham Bir LLM Hukukta Yanılır?

Büyük dil modelleri özünde bir sonraki kelimeyi olasılıkla tahmin eden sistemlerdir. Eğitim verisindeki örüntülerden öğrendikleri için akıcı, makul ve çoğu zaman doğru görünen metinler üretirler. Ama akıcılık bir bilgi garantisi değildir: model, bir kanun maddesinin gerçekte ne dediğini değil, öyle bir maddenin nasıl görünmesi gerektiğini öğrenmiştir. Bu fark sıradan bir sohbette önemsizken hukukta belirleyici hale gelir.

Halüsinasyon dediğimiz şey tam burada doğar. Model var olmayan bir madde numarası, yanlış bir tarih ya da hiç önüne konmamış bir Yargıtay kararı uydurabilir; üstelik bunu tam bir özgüvenle yapar. Türkçe hukuk metinlerinde sorun daha da derinleşir: mevzuat sürekli değişir, mülga maddeler yürürlükten kalkar, aynı konudaki birden fazla düzenleme birbiriyle çatışabilir. Modelin eğitim verisi ise belirli bir tarihte donmuştur ve o tarihten sonraki hiçbir değişiklikten haberi yoktur.

Bir diğer temel sınır kaynak gösterememektir. Ham bir model, ürettiği cümlenin hangi kanundan, hangi maddeden veya hangi karardan geldiğini söyleyemez; çünkü içsel temsilinde böyle bir bağ yoktur. Hukukçu için bu kabul edilemez bir eksiktir: bir avukatın dilekçesine yazdığı her iddianın bir dayanağı olmak zorundadır. Doğrulanamayan bir cevap, hukukta hiç cevap olmamasından daha tehlikelidir.

Retrieval-Augmented Generation Nedir?

Retrieval-Augmented Generation (RAG), bir dil modelini kendi hafızasıyla baş başa bırakmak yerine, cevap üretmeden önce ona güncel ve doğrulanmış bir kaynak kümesi sunan bir mimaridir. Fikir basit ama güçlüdür: modele 'bildiğini yaz' demek yerine 'işte ilgili belgeler, yalnızca bunlara dayanarak cevapla' demek. Böylece modelin yaratıcılığı dil üretiminde kalır, olgular ise dışarıdan gelir.

Akış kabaca iki aşamadır. Önce getirme (retrieval) aşamasında kullanıcının sorusu bir arama sistemine gider ve soruyla en alakalı belge parçaları bulunur. Ardından üretim (generation) aşamasında bu parçalar soruyla birlikte modele bağlam olarak verilir; model cevabını yalnızca bu bağlama yaslanarak kurar. Modelin işi bilgiyi hatırlamak değil, önüne konan kanıtı doğru biçimde sentezlemektir.

Bu yaklaşım hukuk için neredeyse kusursuz bir eşleşmedir. Mevzuat değiştiğinde modeli baştan eğitmeniz gerekmez; sadece getirme katmanındaki belgeleri güncellersiniz. Bir cevap her zaman somut bir kaynağa bağlanabilir, çünkü zaten o kaynaktan üretilmiştir. İçtiHub'ın çekirdeğindeki MevzuatBot da tam bu ilkeyle çalışır: dilin akıcılığı modelden, doğruluğun teminatı ise getirilen Türk mevzuatı ve içtihadından gelir.

Özetle RAG, 'her şeyi bilen ama kaynak gösteremeyen' bir modeli, 'doğru kaynağı bulup ondan konuşan' bir asistana dönüştürür. Hukukta değerli olan ezber değil dayanaktır; RAG da bu dayanağı sisteme geri kazandırır.

Hukuk Belgelerini Parçalamak: İşin Sessiz Kalbi

Bir RAG sisteminin kalitesi, büyük ölçüde getirme katmanına koyduğunuz parçaların kalitesiyle belirlenir. Bir hukuk metnini hangi boyutta ve hangi sınırlardan böldüğünüz, sistemin ileride doğru cevabı bulup bulamayacağını doğrudan etkiler. Bu yüzden parçalama (chunking) bizim için sıradan bir ön işleme adımı değil, mimarinin en kritik tasarım kararlarından biridir.

Salt karakter sayısına göre kör kesim yapmak hukukta felaketle sonuçlanır; bir maddeyi tam ortasından bölmek, anlamı taşıyan bağlamı koparır. Onun yerine belgenin kendi yapısını izleriz: kanun, madde, fıkra ve bent hiyerarşisi doğal sınırlar sunar. Bir mahkeme kararında olay özeti, gerekçe ve hüküm birbirinden farklı işlevler taşır. Parçalarımızı bu anlamsal birimlere saygı gösterecek biçimde kurar, her parçanın tek başına anlamlı kalmasını gözetiriz.

Her parçaya zengin bir üst veri (metadata) iliştiririz: kaynağın adı, madde numarası, yürürlük tarihi, varsa mülga durumu ve belge türü. Bu üst veri hem getirme sırasında filtreleme yapmamızı, hem de cevabın sonunda kusursuz bir kaynak künyesi üretmemizi sağlar. Türkçenin sondan eklemeli yapısı ve hukuk dilinin uzun, iç içe geçmiş cümleleri, bu adımı genel amaçlı bir parçalayıcının asla yakalayamayacağı kadar alana özgü kılar.

Embedding ve Vektör Arama: Anlamı Aramak

Parçaları hazırladıktan sonra onları aranabilir hale getirmemiz gerekir. Burada embedding devreye girer: her metin parçasını, anlamını sayısal olarak temsil eden yüksek boyutlu bir vektöre dönüştürürüz. Anlamca yakın iki metin bu uzayda birbirine yakın noktalara düşer. Böylece 'kira artışı sınırı' diye soran bir kullanıcı, metinde tam o kelimeler geçmese bile ilgili maddeye ulaşabilir.

Bu, geleneksel anahtar kelime aramasına göre temel bir sıçramadır. Klasik arama yalnızca birebir eşleşen kelimeleri bulur; oysa hukuk dilinde aynı kavram onlarca farklı biçimde ifade edilebilir. Vektör araması kelimeleri değil kavramları eşleştirir. Sorgu da aynı embedding modelinden geçer ve sistem, sorgu vektörüne en yakın belge vektörlerini bularak anlamsal olarak en alakalı parçaları getirir.

Pratikte yalnızca anlamsal arama her zaman yetmez. Hukukta bazen belirli bir madde numarasını ya da belirli bir terimi birebir aramak istersiniz. Bu yüzden hibrit bir yol izleriz: anlamsal vektör aramasını anahtar kelime tabanlı klasik aramayla birleştirir, hem kavramsal yakınlığı hem de tam eşleşmeleri aynı anda yakalarız.

Tüm bu altyapı, İçtiHub'ı çalıştıran Vertex AI ve Gemini ekosistemi üzerine kuruludur. Embedding üretimi, vektör depolama ve ölçeklenebilir arama, üretim ortamında çok sayıda sorguyu düşük gecikmeyle karşılayacak biçimde yönetilir; çünkü kullanıcı için doğru cevap kadar, hızlı gelen doğru cevap da önemlidir.

Yeniden Sıralama: İlk Getirmenin Üzerine İnce Ayar

Vektör araması hızlıdır ve geniş bir aday kümesini saniyeler içinde getirir, ama hassasiyeti her zaman kusursuz olmaz. İlk getirme, on binlerce parça arasından örneğin en alakalı yirmi adayı bulmakta iyidir; fakat bu yirmiyi en doğru sıraya dizmekte zayıf kalabilir. Hukukta sıralama önemlidir: en alakalı maddeyi modele ilk sırada vermek, cevabın kalitesini doğrudan belirler.

Bu yüzden iki aşamalı bir strateji kullanırız. İlk aşamada vektör araması geniş ama kaba bir aday listesi çıkarır. İkinci aşamada bir yeniden sıralama (re-ranking) modeli, her adayı soruyla birlikte daha derinlemesine tartar ve gerçek alaka düzeyine göre yeniden dizer. Bu model daha pahalıdır, ama yalnızca küçük bir aday kümesine uygulandığı için maliyeti yönetilebilir kalır.

Yeniden sıralamanın hukuktaki asıl katkısı, gürültüyü modele ulaşmadan elemesidir. Modele ne kadar az ama ne kadar isabetli bağlam verirseniz, o kadar az dağılır ve o kadar az halüsinasyon yapar. Alakasız bir maddeyi bağlamdan çıkarmak çoğu zaman doğru bir maddeyi eklemek kadar değerlidir; çünkü model önüne konan her şeyi ciddiye alma eğilimindedir.

Kaynak Gösterimi ve Sağlamlaştırma: Cevabı Gerçeğe Bağlamak

Bir RAG sisteminin hukukçu için değeri, yalnızca doğru cevap vermesinde değil, o cevabı doğrulanabilir kılmasında yatar. Bu yüzden grounding, yani sağlamlaştırma, bizim için isteğe bağlı bir özellik değil, sistemin temel sözleşmesidir. Model, ürettiği her önemli iddiayı kendisine verilen belge parçalarına bağlamak ve hangi kaynağa dayandığını açıkça göstermek zorundadır.

Bunu, modele yalnızca getirilen bağlamdan konuşmasını dayatan katı talimatlarla ve her parçanın taşıdığı üst veriyle sağlarız. Cevap üretildiğinde sistem, o cevabın hangi maddeden veya karardan türediğini künye olarak ekler: kanun adı, madde numarası ve mümkünse doğrudan bağlantı. Böylece kullanıcı tek tıkla kaynağa gidip kendisi doğrulayabilir. Asistan son sözü söylemez; hukukçunun denetleyebileceği bir başlangıç noktası sunar.

Aynı ölçüde önemli olan, sistemin ne zaman susması gerektiğini bilmesidir. Getirme katmanı soruyla yeterince alakalı bir kaynak bulamadıysa, doğru davranış uydurmak değil, 'bu konuda elimde dayanak yok' demektir. Bilmediğini söyleyebilen bir hukuk asistanı, her şeye özgüvenle cevap veren ama ara sıra uyduran bir asistandan çok daha güvenilirdir. Sağlamlaştırma, bu dürüstlüğü mimarinin içine gömme biçimimizdir.

Değerlendirme: Sezgi Değil, Ölçüm

Bir RAG sistemini 'iyi görünüyor' diyerek üretime almak hukukta sorumsuzluk olur. Bu yüzden sistemi sürekli ve ayrıştırılmış biçimde ölçeriz. İki katmanı ayrı ayrı değerlendiririz: getirme katmanı doğru belgeleri buluyor mu, üretim katmanı bu belgeleri sadık biçimde kullanıyor mu? Bir cevap kötüyse, sorunun yanlış belge getirmekten mi yoksa doğru belgeyi yanlış yorumlamaktan mı kaynaklandığını bilmek zorundayız.

Getirme tarafında, doğru cevapları önceden bilinen soru kümeleri üzerinde, doğru kaynağın getirilen parçalar arasında olup olmadığını ve ne kadar üst sıralarda yer aldığını izleriz. Üretim tarafında ise sadakat (faithfulness) ölçeriz: modelin söylediği her şey gerçekten verilen bağlam tarafından destekleniyor mu, yoksa bağlamın ötesine geçip uyduruyor mu? Sadakat, hukuk için belki de en kritik metriktir.

Bu değerlendirme tek seferlik bir sınav değil, sürekli işleyen bir süreçtir. Hukukçulardan gelen geri bildirimler, hatalı cevap örnekleri ve değişen mevzuat test kümelerimizi besler. Bir parçalama stratejisini, bir embedding modelini ya da bir talimatı değiştirdiğimizde, bunun kaliteyi gerçekten artırdığını sezgiyle değil sayılarla doğrularız. İçtiHub'ın güvenilirliği tam da bu disiplinli ölçüm döngüsünün üzerine inşa edilir.

Sonuç: Hukukta Sağlamlaştırma Lüks Değil, Şarttır

Birçok alanda bir dil modelinin ara sıra yanılması tolere edilebilir. Hukukta ise yanlış bir madde, mülga bir düzenleme ya da uydurma bir karar gerçek sonuçlar doğurur. Bu yüzden bizim için RAG, modelin zekâsına eklenen bir süs değil, onu güvenilir kılan asıl çerçevedir. Akıllı bir model ile güvenilir bir hukuk asistanı arasındaki fark, tam olarak bu getirme ve sağlamlaştırma katmanında saklıdır.

Parçalama, embedding, vektör arama, yeniden sıralama, kaynak gösterimi ve değerlendirme; bunların hiçbiri tek başına sihirli bir çözüm değildir. Ama birlikte ve alana özgü bir titizlikle kurulduklarında, ham bir dil modelini her cümlesini gerçek bir kaynağa yaslayabilen bir sisteme dönüştürürler. İçtiHub'ın çekirdeğindeki MevzuatBot'u tam olarak bu felsefeyle inşa ediyoruz.

EcoFluxion olarak inancımız net: Türkçe hukuk için yapay zeka, kullanıcının kör bir güvenle bağlandığı bir kâhin değil, her iddiasını gösterebilen ve gerektiğinde 'bilmiyorum' diyebilen bir araç olmalıdır. Sağlamlaştırmayı mimarinin merkezine koymak, bu aracı hukukçunun gerçekten güvenebileceği bir meslektaşa dönüştürmenin tek dürüst yoludur.