Bitmiş bir sohbet botuna baktığımızda karşımızda tek parça, hazır bir ürün varmış gibi görünüyor. Oysa böyle bir sistemin ortaya çıkması birkaç farklı aşamadan oluşan uzun bir eğitim sürecinin sonucu.
Her aşama modelin farklı bir özelliğini geliştiriyor. İlk aşamada büyük miktarda bilgi öğreniyor. Daha sonra bu bilgiyi nasıl kullanması gerektiğini öğreniyor. Son aşamalarda ise insanların tercih ettiği cevaplara daha yakın sonuçlar üretmesi sağlanıyor.
Bu süreci anlamak, ChatGPT gibi araçların nasıl ortaya çıktığına dair pek çok soru işaretini ortadan kaldırıyor.
Birinci aşama: Ön eğitim
Her şey ön eğitim ile başlıyor.
Bu, model eğitiminin en uzun ve en maliyetli aşamalarından biri. Model bu süreçte internet üzerindeki çeşitli metinler, kitaplar, makaleler ve diğer büyük veri kaynakları üzerinde eğitiliyor. Temel görevi ise tekrar tekrar bir sonraki tokenı tahmin etmek.
Model bu süreçte yalnızca kelimeleri öğrenmiyor. Dil bilgisi, bilgi kalıpları, farklı anlatım biçimleri, kavramlar arasındaki ilişkiler ve metinlerin nasıl yapılandırıldığı gibi pek çok örüntüyü de öğreniyor.
Ancak ön eğitimin sonunda ortaya çıkan model henüz kullanıma hazır bir sohbet botu değil.
Çok fazla bilgi edinmiş olabilir ama bu bilgiyi nasıl kullanması gerektiğini tam olarak bilmiyor. Bir soru sorduğunuzda doğrudan cevap vermek yerine metni devam ettirmeye çalışabilir. Çünkü eğitim sırasında soru cümlelerinin ardından başka soruların geldiği örneklerle de karşılaşmıştır.
Yani model çok şey biliyor olabilir ancak henüz nasıl davranması gerektiğini bilmiyor.
İkinci aşama: İnce ayar
Sıradaki aşama ince ayar, yani fine-tuning.
Bu aşamada model çok daha küçük ancak dikkatle hazırlanmış bir veri kümesi üzerinde yeniden eğitiliyor. Amaç modele yalnızca bilgi kazandırmak değil, nasıl cevap vermesi gerektiğini öğretmek.
Bir sohbet botu için insanlar tarafından hazırlanmış kaliteli soru ve cevap örnekleri kullanılabilir. Model bu örnekleri inceleyerek iyi bir cevabın nasıl olması gerektiğini öğreniyor.
Bir kullanıcının sorusuna doğrudan cevap vermek, konuyu gereksiz yere uzatmamak, anlaşılır bir dil kullanmak ve verilen talimatlara uygun davranmak gibi özellikler bu aşamada şekillenebiliyor.
Böylece yalnızca metin üretmeye çalışan ham bir model, kullanıcıların sorularına cevap vermeye yönelik daha kullanışlı bir sisteme dönüşüyor.
Temel model büyük ölçüde aynı olsa da artık hangi yönde kullanılacağı daha net hale geliyor.
Üçüncü aşama: İnsan tercihleriyle öğrenmek
Son aşamalardan biri ise modelin insanlar tarafından tercih edilen cevaplara daha fazla yaklaşmasını sağlamak.
Bunun için kullanılan yöntemlerden biri RLHF, yani insan geri bildirimlerinden pekiştirmeli öğrenme.
Mantığı oldukça basit.
Model aynı soruya birden fazla cevap üretiyor. İnsanlar bu cevapları değerlendiriyor ve hangilerini daha başarılı bulduklarını sıralıyor.
Bu değerlendirmeler daha sonra modelin eğitiminde kullanılıyor. Böylece model, insanların daha faydalı, daha doğru, daha anlaşılır ve daha güvenli bulduğu cevaplara yönelmeyi öğreniyor.
Bu süreci bir tür deneme ve geri bildirim döngüsü olarak düşünebiliriz. Model farklı cevaplar üretiyor, insanlar bunları değerlendiriyor ve model aldığı geri bildirim doğrultusunda daha iyi sonuçlar vermeye yönlendiriliyor.
Bu yöntem, modern yapay zeka asistanlarının yalnızca bilgi veren sistemler olmaktan çıkıp daha doğal ve işbirlikçi araçlara dönüşmesinde önemli bir rol oynuyor.
Bütün süreç nasıl birleşiyor?
Bir yapay zeka modelinin eğitimini basitleştirerek üç temel aşamada düşünebiliriz:
1. Ön eğitim: Çok büyük miktarda veriden genel bilgi ve dil örüntüleri öğrenilir.
2. İnce ayar: Modelin bu bilgileri kullanarak nasıl cevap vermesi gerektiği şekillendirilir.
3. İnsan geri bildirimi: Model, insanların tercih ettiği cevaplara daha fazla yaklaşacak şekilde geliştirilir.
Her aşama bir öncekinin üzerine inşa ediliyor.
İlk aşama modele geniş bir bilgi temeli kazandırıyor. İkinci aşama bu bilgiyi kullanışlı bir davranış biçimine dönüştürüyor. Üçüncü aşama ise ortaya çıkan davranışı insanların beklentilerine daha uygun hale getiriyor.
Sonuçta karşımıza yalnızca çok miktarda bilgi öğrenmiş bir model değil, bu bilgiyi kullanıcılarla etkileşim kurarken belirli bir biçimde kullanabilen bir yapay zeka sistemi çıkıyor.
Tüm projelerim ve üzerinde çalıştığım konuları incelemek istersen https://hub.barisgunduz.com/ adresini ziyaret edebilirsin.
