Büyük Dil Modeli (LLM) Nedir? ChatGPT Gibi Araçların Arkasındaki Mantık

ChatGPT, Gemini, Claude, Copilot… İsimleri farklı ama hepsinin kalbinde aynı türden bir teknoloji çalışıyor: büyük dil modeli. İngilizce kısaltmasıyla LLM (Large Language Model). Bu araçlarla birkaç dakika sohbet eden herkes ister istemez aynı soruyu soruyor: Bu şey nasıl bu kadar akıcı yazabiliyor?

Cevabın özü tek cümleye sığıyor, ama o cümlenin arkasında epey ilginç bir hikaye var. Önce cümleyi verelim: Büyük dil modeli, bir metnin ardından hangi kelimenin geleceğini tahmin etmek için eğitilmiş bir programdır.

Telefon klavyesinin çok büyük abisi

Telefonunuzda mesaj yazarken klavyenin üstünde beliren kelime önerilerini bilirsiniz. “Akşam” yazınca “yemeğe” ya da “görüşürüz” önerir. Klavye bunu, sizin ve milyonlarca kullanıcının yazma alışkanlıklarından öğrenmiştir.

Büyük dil modeli bu fikrin devasa ölçekte uygulanmış hali. Tek bir kelimeye bakıp öneride bulunmak yerine, sayfalarca metni aynı anda göz önünde tutar ve buna göre en uygun devamı hesaplar. Sonra o kelimeyi ekler, yeni metne tekrar bakar, bir sonrakini tahmin eder. Ekranda harf harf akan cevaplar tam olarak bu tekrarın görüntüsüdür.

Kulağa basit geliyor. Şaşırtıcı olan, bu basit görevi çok iyi yapabilmek için modelin dilbilgisini, olgular arasındaki ilişkileri, akıl yürütme kalıplarını ve üslup farklarını dolaylı yoldan öğrenmek zorunda kalması. “Fransa’nın başkenti” ifadesinden sonra “Paris” demeyi öğrenmek, bir anlamda coğrafya bilgisini sıkıştırarak saklamak demek.

“Büyük” kelimesi neden var?

İki şey büyük: okunan metin miktarı ve modelin iç ayarlarının sayısı.

Bu modeller eğitim sırasında internetteki herkese açık sayfalardan, kitaplardan, kod depolarından ve lisanslı kaynaklardan derlenmiş, bir insanın ömrü boyunca okuyabileceğinin çok çok ötesinde metinle beslenir. Hangi kaynakların kullanıldığı şirketten şirkete değişir ve çoğu zaman tam olarak açıklanmaz; bu da telif tartışmalarının merkezinde duruyor.

Modelin içindeki ayar noktalarına parametre deniyor. Büyük modellerde bu sayı milyarlarla ifade ediliyor. Parametreleri, modelin okuduklarından çıkardığı desenleri sakladığı sayısal hafıza gibi düşünebilirsiniz. Genel eğilim, daha fazla parametre ve daha fazla veriyle daha yetenekli modeller elde edilmesi yönünde; ama iyi veri ve iyi eğitim teknikleri, sadece büyüklükten daha belirleyici olabiliyor.

Eğitim üç aşamada ilerliyor

Bir LLM’nin sohbet asistanına dönüşmesi genellikle üç adımda gerçekleşir.

Ön eğitim: Model devasa metin yığını üzerinde “sıradaki kelimeyi tahmin et” oyununu milyarlarca kez oynar. Bu aşamanın sonunda dili çok iyi bilen ama ne yapacağını pek bilmeyen bir sistem çıkar. Ona bir soru sorarsanız cevap vermek yerine soruyu başka sorularla devam ettirebilir, çünkü internette sorular çoğu zaman listeler halinde durur.

İnce ayar: Ardından model, insanların hazırladığı soru-cevap örnekleriyle eğitilir. Burada “bir talimat gelince ona yardımcı olacak şekilde cevap ver” davranışını öğrenir.

İnsan geri bildirimi: Son aşamada insanlar modelin farklı cevaplarını karşılaştırıp hangisinin daha iyi, daha doğru ya da daha güvenli olduğunu işaretler. Model bu tercihlere göre ayarlanır. Bu yöntem literatürde RLHF (insan geri bildirimiyle pekiştirmeli öğrenme) olarak geçer. Asistanların kibar, yardımsever ve belirli konularda temkinli olması büyük ölçüde bu aşamanın ürünüdür.

Arkadaki motor: Transformer

Bugünkü dil modellerinin neredeyse hepsi, Google araştırmacılarının 2017’de yayımladığı “Attention Is All You Need” başlıklı makalede tanıtılan Transformer mimarisine dayanıyor. ChatGPT’deki “GPT” kısaltmasının sonundaki T de buradan geliyor.

Transformer’ın getirdiği en önemli yenilik “dikkat” mekanizması. Kabaca şöyle: Model bir kelimeyi işlerken cümledeki diğer tüm kelimelere bakıp hangilerinin o kelimeyi anlamak için önemli olduğunu tartar. “Ali topu Ayşe’ye attı, o da yakaladı” cümlesinde “o” kelimesinin Ayşe’yi kastettiğini çözmek için bu türden bir bağlantı kurmak gerekir. Dikkat mekanizması, uzun metinlerde bile bu bağlantıları verimli şekilde kurmayı mümkün kıldı.

Aynı soruya neden her seferinde farklı cevap veriyor?

Bir LLM’ye aynı soruyu iki kez sorduğunuzda genellikle birebir aynı metni almazsınız. Bunun sebebi, modelin her adımda tek bir kelime değil, olası kelimelerin bir listesini ve her birinin olasılığını hesaplaması. Sistem bu listeden her zaman en olası kelimeyi seçmek yerine, biraz rastgelelik katarak seçim yapar.

Bunu bir aşçının aynı yemeği her seferinde küçük farklarla yapmasına benzetebilirsiniz. Rastgelelik azaltıldığında cevaplar daha tutarlı ama daha tekdüze olur; artırıldığında daha yaratıcı ama daha dağınık hale gelir. Geliştiricilerin kullandığı arayüzlerde bu ayar genellikle “sıcaklık” (temperature) adıyla karşınıza çıkar. Şiir yazdırırken biraz yüksek, bir tabloyu özetletirken düşük tutmak mantıklıdır.

Model bilmediği şeyi neden uyduruyor?

LLM’lerle ilgili en sık şikayet, kendinden emin bir tonla yanlış bilgi vermeleri. Buna halüsinasyon deniyor. Olmayan bir kitap önermek, var olmayan bir mahkeme kararına atıf yapmak, bir kişinin biyografisine uydurma detaylar eklemek tipik örnekler.

Sebebi, modelin temel görevinde saklı. Model “doğru olanı bul” diye değil, “en makul görünen devamı üret” diye eğitildi. Bir soruya dair bilgisi zayıf olduğunda susmak yerine, istatistiksel olarak akla yatkın kelimeleri sıralamaya devam eder. Sonuç kulağa ikna edici gelir ama gerçekle bağı kopmuş olabilir.

Şirketler bu sorunu azaltmak için modelleri web aramasına bağlıyor, kaynak göstermelerini sağlıyor, “emin değilim” demeyi öğretmeye çalışıyor. Yine de risk tamamen ortadan kalkmış değil. Önemli konularda modelin söylediklerini kaynağından kontrol etmek hâlâ kullanıcının işi.

Modelin bilgisi neden bir tarihte donuyor?

Ön eğitim belli bir tarihte biter. Model o tarihten sonra olan olayları kendi hafızasından bilemez; buna bilgi kesim tarihi deniyor. Size dün olan bir gelişmeyi anlatabiliyorsa, bunu büyük ihtimalle o an internette arama yaparak ya da sizin yapıştırdığınız metni okuyarak yapıyordur. Bu ayrımı bilmek, “yapay zeka bunu söyledi” cümlesini tartarken işe yarar.

LLM ile sohbet ederken bunları akılda tutun

Büyük dil modeli bir ansiklopedi değil, bir hesap makinesi de değil. Çok iyi okumuş, çok hızlı yazan ama zaman zaman kendinden emin şekilde yanılan bir yardımcı gibi. Taslak yazmak, metin özetlemek, fikir üretmek, bir konuyu farklı açılardan açıklatmak gibi işlerde son derece faydalı. Kesin rakam, güncel bilgi, hukuki ya da tıbbi yönlendirme gereken yerlerde ise ikinci bir kaynağa bakmadan güvenmemek gerekiyor.

Sık Sorulan Sorular

LLM ile yapay zeka aynı şey mi?

Hayır. Yapay zeka çok geniş bir alan; büyük dil modeli bu alanın içinde metin üzerine uzmanlaşmış bir model türü. Yüz tanıma ya da spam filtresi de yapay zekadır ama dil modeli değildir.

Dil modeli sohbetlerimi hatırlıyor mu?

Model, eğitimi bittikten sonra sizinle konuşarak kalıcı olarak öğrenmez. Bazı uygulamalar sohbet geçmişini ya da sizin hakkınızdaki notları saklayıp sonraki konuşmalara ekleyerek hatırlıyormuş gibi davranabilir; bu ayarı genellikle uygulamanın gizlilik bölümünden yönetebilirsiniz.

Türkçe cevaplar neden bazen İngilizceden zayıf?

Eğitim verisinin büyük kısmı İngilizce olduğu için modeller bu dilde daha fazla örnek görüyor. Türkçe performansı son yıllarda belirgin şekilde iyileşse de deyimlerde, yerel bilgilerde ve resmi yazışma dilinde hâlâ tökezleyebiliyorlar.

Halüsinasyonu nasıl azaltabilirim?

Soruyu net sorun, modelden kaynak isteyin ve verdiği kaynakları kendiniz açıp kontrol edin. Mümkünse elinizdeki belgeyi yapıştırıp “sadece bu metne dayanarak cevap ver” demek de hata payını düşürür.

Büyük dil modelini bir kahin gibi değil, iyi okumuş ama zaman zaman yanılan bir çalışma arkadaşı gibi görmek, ondan en çok verimi almanın yolu.