Büyük Dil Modeli (LLM) Nedir?

Yapay zeka dönemi şunun şurasında birkaç yıl önce başladı ve her şey beklenilenden çok daha hızlı ilerliyor. Her geçen gün yapay zekadan yararlanan farklı araçlar görüyoruz, görmeye de devam edeceğiz. AI destekli çözümler artık her türlü sektörde kendini hissettirmeye başladı. Peki bu çözümlerin arkasında ne var? Büyük Dil Modelleri veya başka bir deyişle Geniş Dil Modelleri (LLM’ler).

Büyük dil modelleri, üretken yapay zeka sohbet robotlarının hızlı yükselişine güç veren temel teknolojidir. ChatGPT, Google Bard ve Bing Chat gibi araçların tümü, istemlerinize ve sorularınıza insan benzeri yanıtlar oluşturmak için LLM’lerden kuvvet alıyor. Hatta diyebiliriz ki bahsi geçen dil modelleri olmasaydı kapsamlı yapay zeka araçları da olmazdı.

Gelecekte daha sık duyacağınız bu terime daha yakından bakalım istedik. LLM olarak kısaltılan dil modelleri tam olarak nedir ve nasıl çalışır?

Basit ifadeyle başlayacak olursak bir dil modeli, yapay zekadan yapmasını istediğiniz şeylere mantıklı ve insan benzeri yanıtlar sağlayan devasa bir metin veri tabanı. Çeşitli şirketler tarafından sunulan robotlar, bir istekte bulunduğumuzda yanıt bulabilmek için LLM dediğimiz büyük modellere başvuruyor.

LLM, devasa veri kümelerinden elde edilen bilgilere dayanarak metin ve diğer içerik biçimlerini tanıyabilen, özetleyebilen, çevirebilen, tahmin edebilen ve üretebilen bir derin öğrenme algoritması. Çeviri, sohbet robotları ve yapay zeka asistanları gibi doğal dil işleme uygulamalarını hızlandırmanın yanı sıra, LLM’ler sağlık hizmetleri, yazılım geliştirme ve diğer birçok alanda farklı şekillerde kullanılabiliyor.

Metin çeşitli kaynaklardan geliyor ve milyarlarca kelimeye ulaşabiliyor. Kullanılan yaygın metin veri kaynakları ise şunlar:

• Literatür: LLM’ler genellikle yüksek miktarda çağdaş ve klasik edebiyat içeriyor. Buna kitaplar, şiir ve oyunlar da dahil.
• Çevrimiçi içerikler: Bir LLM çoğunlukla bloglar, web içeriği, forum soru-yanıtları ve diğer çevrimiçi metinler dahil olmak üzere geniş bir çevrimiçi içerik deposuna sahip.
• Haberler ve güncel olaylar: Hepsi olmasa da bazı LLM’ler güncel haber konularına erişebiliyor. GPT-3.5 gibi bazı geniş dil modelleri ise bu anlamda kısıtlanmış durumda.
• Sosyal medya: Sosyal medya büyük bir doğal dil kaynağını temsil ediyor. LLM’ler Facebook, Twitter ve Instagram gibi büyük platformlardaki metinlerden faydalanıyor.

Büyük ve zengin bir metin veri tabanına sahip olmak elbette iyi bir şey, ancak LLM’lerin insan benzeri yanıtlar üretmek için bunu anlamlandırmak üzere eğitilmesi gerekiyor. Yani yapay zeka eğitimi olmadan bu veriler kendi başına bir işe yaramıyor diyebiliriz.

LLM’ler yanıtlarını oluşturmak için bu havuzları nasıl kullanıyor? İlk adım, derin öğrenme adı verilen bir süreç kullanarak verileri analiz etmek.

Büyük dil modelleri büyük hacimli verilerden besleniyor demiştik. Adından da anlaşılacağı gibi, bir LLM’nin merkezinde, üzerinde eğitildiği veri kümesinin boyutu yer alıyor. Ancak “büyük” tanımı yapay zeka ile birlikte büyüyor. Artık büyük dil modelleri tipik olarak internette geniş bir zaman aralığında yazılmış neredeyse her şeyi içerecek kadar büyük veri kümeleri üzerinde eğitilmekte.

Bu kadar büyük miktardaki metin, denetimsiz öğrenme kullanılarak yapay zeka algoritmasına besleniyor; bu aşamada bir modele, onunla ne yapılacağına dair açık talimatlar olmadan bir veri kümesi veriliyor. Bu yöntem sayesinde büyük bir dil modeli, sözcüklerin yanı sıra sözcükler arasındaki ilişkileri ve bunların ardındaki kavramları da öğrenebiliyor.

Geniş modelleri konuşmaya ve öğrenmeye başlayan bir çocuğa benzetebiliriz. Yapay zeka algoritmaları ve sağlanan bilgiler sayesinde model giderek büyüyor. Başka bir örnekle, konuştuğu dile hakim olan bir kişi bir cümle veya paragrafta daha sonra ne gelebileceğini tahmin edebilir. Hatta yeni kelime ve kavramları kendisi bulabilir. Aynı şekilde büyük bir dil modeli de bilgisini içeriği tahmin etmek ve oluşturmak için kullanabilir.

Derin öğrenme, insan dilinin kalıplarını ve nüanslarını tanımlamak için kullanılmakta. Ne için? dilbilgisi ve sözdiziminin anlaşılması için. Ancak daha da önemlisi bağlamlar da işin içine dahil. Bağlamları anlamak, yani bazı şeyleri anlamlı hale getirmek LLM’lerin çok önemli bir parçası.

Örneğin birçok farklı dilde tek bir kelime birden fazla anlama gelebiliyor. Yapay zeka modelleri ise diğer kelimelerle ve cümlelerle bağlantı kurarak söylemek istediğimiz şeyi doğru olarak algılayabiliyor. Tahmin edebileceğiniz gibi modeller hatasız değil. Böyle durumlarda ise istediğimiz yanıtı almak için ek bilgi ve kelimeler sağlamamız gerekebiliyor.

Geniş dil modelleri, yanıtları oluşturmak için doğal dil üretimi (natural language generation-NLG) adı verilen bir teknik geliştirildi. NLG ile girdi inceleniyor ve bağlamsal olarak doğru ve ilgili bir yanıt oluşturmak için veri havuzundan öğrenilen kalıplar kullanılıyor.

Diğer yandan LLM’ler bundan daha derine iniyor, yanıtları girdinin duygusal tonuna uyacak şekilde uyarlayabiliyorlar. Bağlamsal anlayışla birleştirildiğinde bu ikili yöntem büyük dil modellerinin insan benzeri yanıtlar oluşturmasını sağlayan ana etmenler.

Özetlemek gerekirse, LLM’ler büyük bir metin veri tabanını derin öğrenme ve NLG tekniklerinin bir kombinasyonu ile kullanarak, istemlerinize insan benzeri yanıtlar oluşturuyor. Ancak doğal olarak bazı sınırlamalar var.

Gelişmiş modeller büyük bir teknolojik başarıyı temsil ediyor lakin doğal olarak mükemmel değil ve hala pek çok sınırlama var:

• Bağlamsal anlayış: LLM’lerin bağdaştırdığı soru-cevaplardan ve yeteneklerinden söz etmiştik. Ancak bunu bunu her zaman doğru yapamıyorlar ve genellikle bağlamı anlayamıyorlar, bu da bazen uygunsuz veya yanlış cevaplara yol açıyor.
• Önyargı: Eğitim verilerinde mevcut olan herhangi bir önyargı genellikle yanıtlarda da mevcut olabilir. Buna cinsiyet, ırk, coğrafya ve kültüre yönelik önyargılar da dahil.
• Sağduyu: Sağduyuyu ölçmek zor ve insanlar bunu küçük yaşlardan itibaren sadece etraflarındaki dünyayı izleyerek öğrenir. LLM’ler ise böyle bir doğal deneyime sahip değil. Yalnızca eğitim verileri aracılığıyla kendilerine sağlananları anlayabiliyorlar ve bu onlara içinde bulundukları dünyaya dair gerçek anlam sağlamıyor.
• LLM’ler eğitim verileri kadar başarılı: Doğruluk asla garanti edilemez. Bilgisayar biliminde eski bir söylem olan “Garbage In, Garbage Out” bu sınırlamayı mükemmel bir şekilde özetlemekte: Bilgi teknolojilerinde bir programın mantığının ne kadar doğru olduğuna bakılmaksızın, giriş geçersizse sonuçlar her şekilde yanlış olacaktır. Özetle LLM’ler yalnızca eğitim verilerinin niteliği ve niceliğinin izin verdiği kadar başarılı.
• Etik kaygıların da LLM’lerin sınırlaması olarak kabul edilebileceğine dair bir argüman var, ancak bu konu makalenin kapsamı dışında.

Tarihsel olarak yapay zeka modelleri algılama ve anlamaya odaklanmıştı. Bu bağlamda yüz milyarlarca parametreye sahip internet ölçekli veri kümeleri üzerinde eğitilen büyük dil modelleri, artık bir AI modelinin insan benzeri içerik üretme yeteneğinin kilidini açtı.

Modeller güvenilir bir şekilde okuyabiliyor, yazabiliyor, kodlama yapabiliyor, çizebiliyor, bazı şeyleri yaratabiliyor ve dünyanın en zorlu sorunlarını çözmek için insan yaratıcılığını artırabiliyor. Ayrıca sektörler genelinde üretkenliği artırma potansiyeline sahip.

LLM çeşitli çok sayıda alan ve durum için kullanılabiliyor. Örneğin bir yapay zeka sistemi, bilim insanlarının çığır açan, hayat kurtaran aşılar geliştirmelerine yardımcı olacak uygun bileşikler sağlamak için protein dizilerinin dilini öğrenebilir. Ya da bilgisayarlar insanların en iyi yaptıkları şeyi yapmalarına, yaratıcı olmalarına, iletişim kurmalarına ve yaratmalarına yardımcı olabilir.

Hatta bir noktada tıkanıp kalmış bir yazar, yaratıcılığını harekete geçirmek için büyük bir dil modeli kullanabilir. Ya da bir yazılım programcısı, doğal dil tanımlarına dayalı kod üretmek için LLM’lerden yararlanarak üretkenliğini artırabilir. Uzun lafın kısası, büyük dil modelleri ve bağlantılı olarak yapay zeka büyük şeylere gebe.

Yapay zekanın devam eden ilerleyişi artık büyük ölçüde LLM’ler tarafından desteklenmekte. Dolayısıyla tam olarak yeni bir teknoloji olarak kabul edilmese de dil modelleri kritik öneme sahip. Bu doğrultuda farklı taraflar çeşitli modeller geliştirmeye devam ediyor.

Haziran 2020’de OpenAI, kısa yazılı komutlarla metin ve kod oluşturabilen 175 milyar parametreli bir modelle desteklenen GPT-3’ü bir hizmet olarak piyasaya sürdü. 2021’de NVIDIA ve Microsoft, özetleme ve içerik oluşturma gibi görevleri kolaylaştıran, okuduğunu anlama ve doğal dil çıkarımı için dünyanın en büyük modellerinden biri olan Megatron-Turing Natural Language Generation 530B’yi geliştirdi.

HuggingFace ise geçen yıl 46 doğal dilde ve bir düzineden fazla programlama dilinde metin üretebilen açık ve büyük bir dil modeli olan BLOOM’u tanıttı. Bir başka LLM olan Codex, yazılım mühendisleri ve diğer geliştiriciler için metni koda dönüştürüyor. Yaygın olarak kullanılan LLM’lere kısaca bakacak olursak:

GPT

Generative Pre-trained Transformer (GPT) belki de en yaygın olarak bilinen LLM. GPT-3.5 ve ardından son sürüm olan GPT-4 çıkış yapmıştı. GPT-4, ChatGPT Plus aboneliği aracılığıyla kullanılabiliyor. Ayrıca Microsoft da Bing Chat platformunda en son sürümü kullanmakta.

• ChatGPT ile Yapabileceğiniz 15 Şey

LaMDA & Gemini

Bu Google’ın yapay zekalı sohbet robotu Google Bard tarafından kullanılan ilk büyük dil modeli. Bard’ın başlangıçta kullanıma sunulduğu sürüm, LLM’nin “lite” sürümü olarak tanımlanıyordu. LLM’nin daha güçlü PaLM yinelemesi onun yerini aldı.

Rakiplerinden geri kalmak istemeyen Google, sonrasında büyük değişikliklerle gelen Gemini‘yi kullanıma sundu. Özetle Gemini, sadece metinleri değil, görüntüleri, videoları ve sesleri de anlayabilen yeni ve güçlü bir yapay zeka modeli. Çok modlu bir model olan Gemini’nin matematik, fizik ve diğer alanlardaki karmaşık görevleri tamamlayabildiği ve çeşitli programlama dillerinde yüksek kaliteli kodları anlayıp üretebildiği belirtiliyor.

Gemini, Google’ın Tensör İşleme Birimleri (Tensor Processing Units-TPU) üzerinde eğitildi. Google’ın önceki PaLM çözümünden daha hızlı ve daha maliyetsiz olması nedeniyle çok daha verimli.

BERT

Bi-directional Encoder Representation from Transformers ya da BERT yine yaygın olarak kullanılan bir model. Modelin çift yönlü özellikleri BERT’i GPT gibi diğer LLM’lerden ayırıyor.

Bunların dışında daha fazla LLM’nin geliştirildiğini ve bunların yan dalları olduğunu da hatırlatalım. Bunlar geliştikçe karmaşıklık, doğruluk ve alaka düzeyi de artmaya devam edecek.

Var olan algoritmalar gelişecek ve gelecekte farklı dil modelleri karşımıza çıkacak. Tüm bunlarla birlikte gelecekte teknolojiyle etkileşim biçimimiz de değişecek. ChatGPT ve Bing Chat gibi modellerin hızla yaygınlaşması bu gerçeğin bir kanıtı.

Kısa vadede yapay zekanın iş yerinde sizin yerinizi alması pek olası değil. Ancak gelecekte yapay zekanın daha büyük roller oynayacağını görebiliyoruz. Son olarak gelecekte beklenen bazı LLM gelişmelerine değinelim:

• Geliştirilmiş verimlilik: Yüz milyonlarca parametre içeren LLM’ler inanılmaz derecede kaynak açlığı çekiyor. Donanım ve algoritmalardaki iyileştirmelerle birlikte modellerin her açıdan verimli hale gelmeleri muhtemel. Böylelikle yanıt süreleri de hızlanacak.
• Geliştirilmiş bağlamsal farkındalık: LLM’ler kendi kendilerini eğitebiliyor; ne kadar çok kullanılır ve geri bildirim alırlarsa o kadar iyi hale geliyor. Daha da önemlisi, bu daha büyük bir mühendislik gerektirmiyor. Teknoloji ilerledikçe, dil yeteneklerinde ve bağlamsal farkındalıkta gelişmeler görülecek.
• Belirli görevlere özel eğitim: LLM’ler genel olarak tüm sorulara yanıt verecek şekilde hazırlanıyor. Ancak geliştikçe ve kullanıcılar onları belirli ihtiyaçlar için eğittikçe, LLM’ler tıp, hukuk, finans ve eğitim gibi alanlarda büyük bir rol oynayabilir.
• Daha fazla entegrasyon: LLM’ler kişisel dijital asistanlar haline gelebilir. Diyet önerilerinden seyahat önerilerine ve yazışmalarınızla ilgilenmeye kadar her konuda size yardımcı olan sanal asistanlar olarak kullanılmaya başlayabiliriz. Tıpkı Siri gibi.