Llms(Large language models )'ler yani büyük dil modelleri daha fazla web sitesi bilgilerine güvenerek veri işleme gerçekleştiriyor. Fakat HTML formatında olan, reklam veya Javascript içeren sayfalar, bilgilerin dil modellerinde düzgün işlenememesini sağlıyor.
Bu yüzden artık LLM dostu içerik sağlamak için web sitelerine bir /llms.txt markdown dosyası eklenilmesi öneriliyor. Bu dosya kısa arka plan bilgileri, rehberlik ve ayrıntılı markdown dosyalarına bağlantılar sunar.
llms.txt markdown, insan ve LLM tarafından okunabilir, ancak aynı zamanda sabit işleme yöntemlerine (yani ayrıştırıcılar ve regex gibi klasik programlama teknikleri) izin veren kesin bir biçimdedir.
Ayrıca, LLM'lerin okuması için yararlı olabilecek bilgilere sahip web sitelerindeki sayfaların, orijinal sayfayla aynı url'de fakat .md uzantısıyla olması ve temiz bir markdown sürümü kullanması bilgilerin doğru kullanılmasını sağlar.
Genel olarak llms.txt içinde yararlı bilgi içerdiğini düşündüğünüz sayfanın linklerini , sayfa başlığını, sayfa açıklamasını ve url'sini verebilirsiniz.
Örnek olarak:
# Title
> Optional description goes here
Optional details go here
## Section name
- [Link title](https://link_url): Optional link details
## Optional
- [Link title](https://link_url)
Canlı Örnek:
## Bursa Web Tasarım
- [Bursa Web Tasarım - Profesyonel ve SEO Uyumlu Web Sitesi | Ajans Bulut](https://ajansbulut.com/bursa-web-tasarim): Bursa web tasarım ihtiyaçlarınıza yaratıcı çözümler sunan Ajans Bulut ile profesyonel, mobil uyumlu ve SEO dostu web sitelerine kavuşun. SEO dostu, modern ve mobil uyumlu siteler tasarlıyoruz!
Şeklinde bir yapıyla yazılabilir. Bu sayede hangi doğru hedefleme gerçekleştirilmiş olur.
llms.txt dosyalarının çok yönlülüğü, geliştiricilerin yazılım belgelerinde yollarını bulmalarına yardımcı olmaktan, işletmelere yapılarını ana hatlarıyla belirtmeleri için bir yol sağlamaya veya hatta paydaşlar için karmaşık mevzuatları parçalara ayırmaya kadar birçok amaca hizmet edebilecekleri anlamına gelir. Birinin özgeçmişi hakkında soruları yanıtlamaya yardımcı olabilecekleri kişisel web siteleri, e-ticaret siteleri için ürünleri ve politikaları açıklamak veya okullar ve üniversiteler için ders bilgilerine ve kaynaklarına hızlı erişim sağlamak için de aynı derecede faydalıdırlar.
Şu anda dil modelleri için en yaygın ve kolay anlaşılan biçim Markdown'dur. Önemli Markdown dosyalarının nerede bulunabileceğini göstermek harika bir ilk adımdır. Temel bir yapı sağlamak, bir dil modelinin ihtiyaç duyduğu bilgilerin nereden gelebileceğini bulmasına yardımcı olur.
llms.txt dosyası, XML gibi klasik yapılandırılmış bir biçim yerine bilgileri yapılandırmak için Markdown'ı kullanması bakımından sıra dışıdır. Bunun nedeni, bu dosyaların çoğunun dil modelleri ve aracıları tarafından okunmasını beklememizdir. Bununla birlikte, llms.txt'deki bilgiler belirli bir biçimi izler ve standart program tabanlı araçlar kullanılarak okunabilir.
llms.txt dosya özelliği, bir web sitesinin kök yolu /llms.txt'de (veya isteğe bağlı olarak bir alt yolda) bulunan dosyalar içindir.
llms-full.txt yine markdown formatında ham bilgileri içeren içerisine fotoğraf, başlık, içerik, kod yapısı ekleyebileceğiniz açıklama metnidir. Basitçe bilgileri buraya ekleyebilir ve Llms tarafından tanınmasını sağlayabilirsiniz.
llms.txt dosyasında genel olarak url,site başlığı ve özetle ilgili yere yönlendirme sağlıyoruz. llms-full.txt ise daha geniş kapsamı olan ve uzun tüm bilgileri yerleştirebileceğiniz ve LLM' lerin daha kolay bilgi edinebilmesini sağlamaktadır.
Tescilli içeriğin korunması: Yapay zekanın izinsiz olarak özgün içeriği kullanmasını engeller, ancak yalnızca yönergelere uymayı seçen LLM'ler için. Marka İtibarı Yönetimi: Teorik olarak işletmelere bilgilerinin yapay zeka tarafından oluşturulan yanıtlarda nasıl göründüğü konusunda bir miktar kontrol sağlar.
Dilbilimsel ve içerik analizi: Yapay zeka tarafından kolayca tüketilebilen sitenizin tamamen düzleştirilmiş bir sürümüyle, genellikle bağımsız bir araç gerektiren her türlü analizi gerçekleştirebilirsiniz. Anahtar kelime sıklığı, taksonomi analizi, varlık analizi, bağlantı, rekabet analizi vb.
Gelişmiş yapay zeka etkileşimi: llms.txt, LLM'lerin web sitenizle daha etkili bir şekilde etkileşim kurmasına yardımcı olur ve doğru ve ilgili bilgileri almalarını sağlar. Bu seçenek için bir standarda gerek yoktur, yalnızca tüm içeriğinizin güzel, temiz ve düzleştirilmiş bir dosyası gerekir.
Gelişmiş içerik görünürlüğü: Yapay zeka sistemlerini belirli içeriğe odaklanmaya yönlendirerek, llms.txt teorik olarak web sitenizi yapay zeka dizini için "optimize edebilir" ve potansiyel olarak sitenizin yapay zeka destekli arama sonuçlarındaki görünürlüğünü iyileştirebilir. SEO gibi, hiçbir garanti yoktur. Ancak ilk bakışta, bir LLM'nin llms.txt'ye yönelik herhangi bir tercihi ileriye doğru atılmış bir adımdır.
Daha iyi AI performansı: Dosya, LLM'lerin sitenizdeki en değerli içeriğe erişebilmesini sağlar ve kullanıcılar sohbet robotları veya AI destekli arama motorları gibi araçlarla etkileşime girdiğinde daha doğru AI yanıtlarına yol açar. Ben llms.txt'nin "tam" sunumunu kullanıyorum ve kişisel olarak özetleri veya URL listelerini robots.txt'den veya bir XML site haritasından daha yararlı bulmuyorum.
Rekabet avantajı: AI teknolojileri gelişmeye devam ettikçe, bir llms.txt dosyasına sahip olmak web sitenizi AI'ya daha hazır hale getirerek rekabet avantajı sağlayabilir.
Yeni bir yapı olmasından önünde oldukça uzun bir yol bulunmakla birlikte ilerleyen süreçte gidişatı ve durumu kesinleşecektir.
Son olarak :)
Ve yakın gelecekte daha fazla SEO/GEO uygulayıcısının, robots.txt, XML site haritaları, şema, IndexNow ve diğerleriyle birlikte site optimizasyonu için temel bir unsur olarak llms.txt hakkında konuşmaya başladığını duyarsanız şaşırmayın.