LLMs.txt Meta Keywords Benzerliği!

Google’ın arama sözcülerinden John Mueller, LLMs.txt’nin faydası hakkında bilinmeyenleri anlattı! John Mueller LLMs.txt’nin meta keywords ile olan benzerliğini bizlerle paylaştı… Hadi, Google’ın LLMs.txt hakkındaki yorumlarını ve ne işe yaradığını inceleyelim.

LLMs.txt Nedir, Ne Değildir?

Öncelikle konuya LLMs.txt’nin ne olduğunu ve ne olmadığını anlatmakla bir giriş yapmak istiyorum. LLMs.txt, temel olarak web yöneticilerinin büyük dil modellerine (LLM’lere) içeriğin sadeleştirilmiş, reklamdan ve navigasyondan arındırılmış bir versiyonunu sunması için önerilen bir formattır.

LLMs.txt Amacı Nedir?

Amaç, yapay zekâların sadece “ana içeriğe” erişmesini sağlamak. Yani kullanıcıya yönelik ana mesajı bozmadan, çerçeve dışı öğelerden (reklamlar, sidebar, footer vs.) ayıklanmış bir içerik sunmak.

İçerik genellikle Markdown biçiminde hazırlanır. Çünkü hem insanlar hem makineler için okunabilir bir format oluşturmaktadır.

LLMs.txt ≠ Robots.txt

• Robots.txt, bir sitenin hangi bölümlerinin taranabileceğini kontrol etmek için kullanılır.

• LLMs.txt, botların neyi tarayıp taramayacağını belirlemez. Yani engelleme veya izin verme yetkisi yok.

• Bu yüzden “LLMs.txt, LLM’ler için bir robots.txt’dir” demek tamamen yanlış.

Yani LLMs.txt kesinlikle robots.txt’nin yerini almıyor.

John Mueller Ne Dedi?

John Mueller, bu konseptin henüz “meta keywords” gibi, pek de etkisi olmayan bir öneri olduğunu ima etti:

“İyi niyetli olabilir ama etkili değil. Tıpkı meta keywords gibi kimse dikkate almıyor olabilir.”

Ayrıca şöyle bir noktaya değindi:
LLMs.txt’yi uygulayan bazı kullanıcıların da somut bir yarar görmediğini belirtti. Yani Google bu dosyayı şu an için ne tarıyor ne de dikkate alıyor gibi görünüyor.

LLMs.txt Kullanmalı mıyız?

• Eğer sitenizin içeriğini LLM’ler tarafından düzgün tüketilebilir hale getirmek istiyorsanız, denemekte fayda var.

• Ama Google sıralamalarına bir etki oluşturmasını beklememek gerekiyor.

• Şu anda daha çok deneysel bir alan. GitHub’daki bazı projelerde, tarayıcı ajanları LLMs.txt’yi tanıyabiliyor, ama bu genel geçer değil.

LLMs.txt ve Meta Keyword Benzerliği

Birisi Reddit’te LLMs.txt hakkında bir tartışma başlattı ve başkalarının da yapay zeka botlarının LLMs.txt dosyalarını kontrol etmediğiyle ilgili deneyimlerini paylaşıp paylaşmadığını sordu.

Şöyle yazmışlar:

“Bu ayın başlarında blogumun köküne bir LLM.txt dosyası gönderdim, ancak henüz tarama günlüklerimde herhangi bir etki göremiyorum. Herhangi birinin bir izleme sistemi olup olmadığını veya sadece uygulamadan sonra olan bir şeyi fark edip etmediğinizi merak ediyorum.

Eğer henüz uygulamadıysanız, bu konudaki düşüncelerinizi merak ediyorum.”

Tartışmaya katılanlardan biri, 20.000’den fazla alan adına ev sahipliği yaptıklarını ve hiçbir yapay zeka aracısının veya botunun LLMs.txt dosyalarını indirmediğini, yalnızca BuiltWith gibi belirli bir alana yönelik botların bu dosyaları aldığını paylaştı.

Yorumcu şunları yazdı:

“Şu anda yaklaşık 20 bin alan adına ev sahipliği yapıyorum. Bazı niş kullanıcı aracıları dışında hiçbir botun bunları gerçekten ele geçirmediğini doğrulayabilirim…”

John Mueller şu cevabı verdi:

“Bildiğim kadarıyla AI servislerinin hiçbiri LLMs.TXT kullandığını söylemedi (ve sunucu günlüklerinize baktığınızda bunu kontrol etmediklerini bile görebilirsiniz). Bana göre, anahtar kelimeler meta etiketine benziyor – bir site sahibinin sitesinin ne hakkında olduğunu iddia ettiği şey bu… (Site gerçekten böyle mi? Peki, kontrol edebilirsiniz. O noktada, neden doğrudan siteyi kontrol etmiyorsunuz?)”

Anthropic, OpenAI ve Google gibi büyük AI servislerinin hiçbiri önerilen LLMs.txt standardına destek verdiğini duyurmadı. Peki hiçbiri gerçekten kullanmıyorsa o zaman anlamı ne?

John Mueller ayrıca LLMs.txt dosyasının gereksiz olduğunu da vurguluyor çünkü orijinal içerik (ve yapılandırılmış veri) zaten indirilmişse neden o markdown dosyasını kullanalım? LLMs.txt kullanan bir bot, spam olmadığından emin olmak için diğer içeriği kontrol etmek zorunda kalacak, o halde neden uğraşalım?

Sektördeki birçok meslektaşım LLMs.txt kavramına takılı kalmış durumda ve sürekli bu konuda paylaşım yapıyor. Buraya kadar ki edindiğim bilgileri ve LLMs.txt’nin etki alanını sizlerle paylaşmış oldum. Umarım faydalı olmuştur.

Peki, siz henüz hiçbir etkisi olmayan LLMs.txt için bir çalışma yapmış mıyıdınız? Ayrıca, gerçekten Ai araçların bu LLMs.txt dosyasını tarayabildiğine, taradığına dair bir metriğiniz var mı? Yorumlarda benimle paylaşabilirsiniz.