Büyük dil modeli, İngilizce adıyla Large Language Model veya kısaca LLM, bugün ChatGPT, Claude ve benzeri sohbet botlarının temelinde bulunan teknolojidir. Bu sistemler makale yazabiliyor, soruları yanıtlayabiliyor ve oldukça doğal görünen konuşmalar gerçekleştirebiliyor. Ortaya çıkan sonuç oldukça etkileyici olsa da bütün bu sistemlerin temelinde düşündüğümüzden daha basit bir fikir bulunuyor.
Çok iyi bir tahmin makinesi
Bir LLM’in temel görevi aslında bir sonraki kelimeyi tahmin etmek.
Model kendisine bir metin verildiğinde “Buradan sonra hangi kelime gelmeli?” sorusuna cevap arıyor. En olası olduğunu düşündüğü kelimeyi seçiyor. Ardından bu kelimeyi metne ekleyip yeni oluşan metne bakıyor ve bir sonraki kelimeyi tekrar tahmin ediyor.
Bu işlem defalarca tekrarlandığında karşımıza bir cevap, hikaye, açıklama veya makale çıkıyor.
Yani bir yapay zeka modelinin ürettiği uzun ve karmaşık görünen bir cevabın temelinde, art arda yapılan çok sayıda tahmin bulunuyor.
İlk bakışta bunun nasıl olup da anlamlı metinler üretebildiğini anlamak zor olabilir. Ancak son yıllarda gördüğümüz en ilginç gelişmelerden biri de tam olarak bu. Modelin boyutu ve eğitim verisi yeterince büyüdüğünde, yalnızca bir sonraki kelimeyi tahmin etmek giderek daha karmaşık dil kalıplarını öğrenmesini sağlıyor.
Bir noktadan sonra ortaya çıkan sonuç, basit bir kelime tahmininden çok daha fazlası gibi görünmeye başlıyor.
Kelimelerle değil, tokenlarla düşünmek
LLM’ler metinleri doğrudan kelimeler halinde işlemiyor. Bunun yerine metni daha küçük parçalara ayırıyor. Bu parçalara token adı veriliyor.
Bir token bazen tek başına bir kelime olabilir. Bazen bir kelimenin yalnızca bir bölümü olabilir. Noktalama işaretleri de ayrı bir token olarak değerlendirilebilir.
Örneğin “inanılmaz” gibi bir kelime model tarafından birkaç farklı parçaya ayrılabilir. Böylece model yalnızca daha önce karşılaştığı kelimeleri ezberlemek zorunda kalmaz. Daha önce görmediği bir kelimeyle karşılaştığında bile onu bildiği daha küçük parçalar üzerinden işleyebilir.
Bu nedenle bir modelin “bağlam uzunluğu”ndan bahsedildiğinde aslında modelin aynı anda kaç tokenı değerlendirebildiğinden söz ediyoruz.
Bir konuşmada veya uzun bir metinde modelin ne kadar geriye bakabildiği, ürettiği cevabın tutarlılığı açısından önemli bir faktör haline geliyor.
Bu akıcılık nereden geliyor?
Bir LLM’in bu kadar doğal metin üretebilmesinin arkasında çok büyük miktarda veriyle yapılan eğitim süreci bulunuyor.
Model, kitaplar, makaleler, internet üzerindeki çeşitli metinler ve başka veri kaynaklarından oluşan devasa veri kümeleri üzerinde milyarlarca kez bir sonraki tokenı tahmin etmeye çalışıyor.
Tahminlerinin daha doğru olması için zamanla dilin yapısını öğrenmesi gerekiyor. Dil bilgisi, kelimelerin birbiriyle olan ilişkileri, farklı yazım biçimleri, anlatım tarzları ve fikirlerin nasıl birbirine bağlandığı gibi pek çok örüntü bu süreç içerisinde ortaya çıkıyor.
Bunların hiçbiri modele tek tek kural olarak yazılmıyor.
Model, daha iyi tahmin yapmaya çalışırken bu kalıpları kendisi öğreniyor. Bir metnin resmi mi yoksa samimi mi olduğunu, bir tartışmanın nasıl ilerlediğini veya belirli bir anlatım tarzının nasıl göründüğünü öğrenebilmesinin nedeni de bu.
Örneğin bir korsanın konuşma tarzını taklit etmesini istediğinizde, modele ayrıca “korsanlar şöyle konuşur” şeklinde bir kural yazılması gerekmiyor. Eğitim sırasında karşılaştığı metinlerden farklı anlatım biçimleri hakkında örüntüler öğrenmiş olması yeterli olabiliyor.
Peki ne yapmıyor?
Burada önemli bir ayrımı korumak gerekiyor.
Bir LLM, cevap üretirken her zaman bir veritabanına gidip doğru bilgiyi aramıyor. Söylediği şeyin doğru olup olmadığını da insan gibi gerçekten bilmiyor.
Temel olarak yaptığı şey, elindeki bağlama göre hangi tokenın gelmesinin en uygun olduğunu tahmin etmek.
Çoğu zaman bu tahmin gerçek dünyadaki bilgilerle örtüşüyor ve ortaya oldukça doğru cevaplar çıkıyor. Ancak bazen model son derece akıcı, ikna edici ve aynı zamanda tamamen yanlış bir cevap da üretebiliyor.
Yapay zeka sistemlerinin zaman zaman gerçekte var olmayan bilgileri gerçekmiş gibi sunmasına halüsinasyon adı veriliyor. Bu konu, serinin ilerleyen bölümlerinde ayrıca ele alınması gereken önemli bir problem.
Bir LLM’in yalnızca iyi bir tahmin makinesi olması onu tek başına kullanışlı bir asistana dönüştürmüyor. Bu ham tahmin yeteneğinin insanların kullanabileceği bir sisteme dönüşmesi için modelin dikkatli bir eğitim sürecinden geçmesi gerekiyor.
Tüm projelerim ve üzerinde çalıştığım konuları incelemek istersen https://hub.barisgunduz.com/ adresini ziyaret edebilirsin.
