Bugün gündemde olan yapay zeka araçlarının neredeyse tamamının arkasında aynı temel mimari bulunuyor. Sohbet botlarından görsel üretim araçlarına kadar pek çok modern sistem, transformer adı verilen bu mimariden yararlanıyor.
2017 yılında ortaya çıkan transformer mimarisi, yapay zeka alanında önemli bir dönüm noktası oldu. İlk bakışta oldukça teknik görünen bu yapının temelindeki fikri anlamak, bugün kullandığımız pek çok yapay zeka sisteminin nasıl çalıştığını anlamayı da kolaylaştırıyor.
Çözdüğü problem neydi?
Transformerlardan önce metin gibi sıralı verilerle çalışan sistemlerin önemli bir bölümü RNN gibi mimarilere dayanıyordu. Bu sistemler metni kelime kelime, belirli bir sırayla işliyordu.
Bunu bir kitabı okurken parmağınızla satırı takip etmeye benzetebiliriz. Bir kelimeyi okuyor, ardından diğerine geçiyor ve önceki bilgileri bir sonraki adıma taşıyorsunuz.
Bu yaklaşım iki önemli probleme yol açıyordu.
İlk olarak işlem süreci yavaştı. Model bir sonraki kelimeye geçmeden önce önceki adımı tamamlamak zorundaydı.
İkinci olarak metin uzadıkça modelin metnin başındaki bilgilerle sonundaki bilgiler arasındaki ilişkiyi koruması zorlaşıyordu. Uzun bir paragrafın sonunda, başlangıçta verilen önemli bir bilgi etkisini kaybedebiliyordu.
Transformer mimarisi bu yaklaşımı değiştirdi.
Metni kelime kelime işlemek yerine bütün diziyi aynı anda değerlendirebiliyor ve her kelime için diğer kelimelerin ne kadar önemli olduğunu hesaplayabiliyor.
Bu mekanizmanın adı attention, yani dikkat mekanizması.
Transformerların asıl gücü de burada yatıyor.
Attention yani dikkat mekanizması nedir?
Şu cümleyi düşünelim:
“Kupa bavula sığmadı çünkü çok büyüktü.”
Buradaki “o” veya “çok büyüktü” ifadesinin neye gönderme yaptığını anlamak bizim için oldukça kolay. Bavulun büyük olması, kupanın bavula sığmamasını açıklamak için daha az anlamlı olur. Buradaki bağlama göre büyük olanın kupa olduğunu rahatlıkla anlayabiliriz.
Bir yapay zeka modelinin de benzer bir ilişkiyi kurması gerekir.
Attention mekanizması tam olarak bunu yapmaya çalışır. Bir kelimeyi değerlendirirken cümledeki diğer kelimelerin ne kadar önemli olduğunu hesaplar. Bazı kelimelere daha fazla, bazılarına ise daha az ağırlık verir.
Örneğin model “büyüktü” ifadesini değerlendirirken “kupa” kelimesine güçlü bir bağlantı kurabilir. Böylece cümledeki kelimelerin birbirleriyle olan ilişkisini daha iyi anlayabilir.
Bu işlem yalnızca birkaç kelime arasında gerçekleşmez. Uzun bir metindeki çok sayıda kelime arasındaki ilişkiler aynı şekilde değerlendirilebilir.
Böylece model yalnızca kelimeleri tek tek görmek yerine metnin genel yapısını ve kelimeler arasındaki ilişkileri daha iyi yakalayabilir.
Transformerlar neden bu kadar önemli?
Attention mekanizması transformer mimarisine iki büyük avantaj kazandırdı.
Daha hızlı eğitim
Transformerlar kelimeleri sırayla işlemek zorunda olmadığı için çok daha büyük miktarda verinin aynı anda işlenmesine imkan tanıyor.
Bu, modellerin çok büyük veri kümeleri üzerinde daha hızlı eğitilebilmesini sağladı. Özellikle güçlü grafik işlemcilerin ve diğer yüksek performanslı donanımların gelişmesiyle birlikte bu avantaj çok daha önemli hale geldi.
Daha güçlü bağlam anlayışı
Transformerlar bir metindeki birbirinden uzak bölümler arasında bağlantı kurabiliyor.
Bir paragrafın başındaki bir bilgi ile sonundaki bir ifade arasında ilişki varsa model bunu yakalayabiliyor. Bu özellik, özellikle uzun metinleri anlamlandırmak ve üretmek açısından büyük bir avantaj sağlıyor.
İki özellik bir araya geldiğinde ortaya çok güçlü bir sonuç çıkıyor. Büyük miktarda veriyle eğitilebilen ve metin içerisindeki karmaşık ilişkileri takip edebilen modeller geliştirmek mümkün hale geliyor.
Bugün büyük dil modellerinin sahip olduğu geniş bilgi birikiminin arkasındaki önemli faktörlerden biri de bu. Modeller çok büyük miktarda metin üzerinde eğitiliyor ve transformer mimarisi bu veriler arasındaki ilişkileri öğrenmelerine imkan tanıyor.
Sadece metin için değil
Transformerların başarısı yalnızca metinle sınırlı kalmadı.
Aynı temel yaklaşım görüntü, ses ve video gibi farklı veri türleriyle çalışan modellerde de kullanılmaya başlandı. Bu nedenle transformer mimarisini yalnızca sohbet botlarının arkasındaki teknoloji olarak düşünmek doğru olmaz.
Ancak transformerların en çok ses getiren uygulamalarından biri büyük dil modelleri oldu.
ChatGPT gibi sohbet botlarının temelinde de bu teknoloji bulunuyor. Büyük dil modellerinin nasıl çalıştığını anlamak için artık transformerların üzerine inşa edilen bu yeni katmana bakmamız gerekiyor.
Tüm projelerim ve üzerinde çalıştığım konuları incelemek istersen https://hub.barisgunduz.com/ adresini ziyaret edebilirsin.
