llms.txt nedir? Siteni ChatGPT, Gemini ve Perplexity botlarına açma rehberi (2026)

01

llms.txt nedir?

llms.txt, sitenin kök dizinine (siten.com/llms.txt) konan ve yapay zekâ modellerine ya da ajanlara sitenin ne olduğunu, en önemli sayfalarının nerede durduğunu Markdown biçiminde anlatan önerilmiş bir dosyadır.

Fikri Jeremy Howard, 3 Eylül 2024'te llmstxt.org üzerinde yayımladı. Çıkış noktası basit: dil modellerinin bağlam penceresi bir sitenin tamamını almaya yetmiyor; HTML sayfalarındaki menü, reklam ve script kalabalığı da metni temiz biçimde çıkarmayı zorlaştırıyor. Kısa, düzenli bir özet dosyası bu işi kolaylaştırsın diye tasarlandı.

Önerilen yapı şöyle:

• Tek zorunlu kısım, site ya da proje adını taşıyan bir H1 başlığı: # VayBe! Studio
• Altında > ile başlayan bir ya da iki cümlelik özet
• İsteğe bağlı açıklama paragrafları
• ## başlıklarıyla ayrılmış bağlantı listeleri: - [Hizmetler](https://siten.com/hizmetler): kısa not
• ## Optional adlı bir bölüm: bağlam darsa atlanabilecek ikincil bağlantılar

Öneri bununla kalmıyor: her sayfanın temiz bir Markdown kopyasını aynı adreste .md uzantısıyla (sayfa.md ya da sayfa.html.md) sunmayı da tavsiye ediyor. 10 Ağustos 2026'da güncellenen ikinci sürüm, bu kopyaların HTML'deki rel="alternate" ve rel="describedby" bağlantılarıyla keşfedilmesini ekledi.

İki şeyi baştan netleştirelim. Birincisi, llms.txt bir web standardı değil, bir topluluk önerisi. İkincisi, adı robots.txt'e benzese de bir izin dosyası değil: hiçbir botu engellemez, hiçbir şeye izin vermez. Botlara kapıyı açan ya da kapatan dosya hâlâ robots.txt.

02

2026 sonunda büyük motorlar llms.txt'i gerçekten okuyor mu?

Kısa cevap: arama tarafında hayır, ajan ve kodlama araçları tarafında kısmen. En kapsamlı veri Ahrefs'ten geliyor; Haziran 2026'da yayımlanan çalışma, Mayıs 2026'da trafik alan 137.210 alan adının sunucu kayıtlarını inceledi.

Ahrefs, %28'i bir üst sınır olarak okuyor, çünkü kendi analitik müşterileri ortalama webden daha teknik. Dosyalara gelen isteklerin kimden geldiğine bakınca tablo daha da netleşiyor: arama ve cevap botları neredeyse hiç uğramıyor.

Tek tek botlara bakınca en çok isteyen GPTBot (%4,51); ClaudeBot %0,80, OAI-SearchBot %0,74'te kalıyor. Ajanlar arasında öne çıkan isim bir kodlama aracı olan Claude-Code. Ahrefs'in tespiti şu: yapay zekâ araçları llms.txt'i ancak bir bağlantı, bir dizin ya da kullanıcı talimatı ona yönlendirdiğinde açıyor.

Motorların resmî tutumu da aynı yönde:

• Google: 15 Mayıs 2026'da yayımladığı yapay zekâ optimizasyon rehberinde AI Bakışı ve AI Modu için yeni makine okunur dosyalara, yapay zekâ metin dosyalarına ya da Markdown'a gerek olmadığını söylüyor. Haziran 2026'daki ek notta tonu yumuşattı: dosya Google Search'te ne zarar ne fayda sağlıyor, çünkü Search onu yok sayıyor; başka servisler için tutmak ise "tamamen sorun değil" (Search Engine Journal).
• Lighthouse: Google'ın kendi denetim aracı 13.3 sürümünde "Agentic Browsing" kategorisine bir llms.txt kontrolü ekledi. Amacı tarayıcı tabanlı ajanlar; sıralama ya da atıf değil (Search Engine Journal).
• OpenAI, Anthropic, Perplexity: Üçü de kendi geliştirici dokümanları için llms.txt yayımlıyor (25 Ekim 2026'da kontrol ettik). Ama tarayıcı dokümanlarında başka sitelerin llms.txt dosyasını bir sinyal olarak kullandıklarına dair bir ifade yok; erişimi yalnızca robots.txt üzerinden tanımlıyorlar.

Bizim önerimiz: llms.txt'i varsa bırak, yoksa yarım saatlik bir iş olarak ekleyebilirsin. Ama sıralama ya da yapay zekâ atfı beklentisiyle yapma. API'si, dokümanı ya da ajanların kullanacağı bir ürünü olan sitelerde daha anlamlı; bu durumda dosyaya dokümanından ve HTML'inden bağlantı ver ki ajanlar onu bulsun.

03

Yapay zekâ botları: hangisi ne yapıyor?

Asıl kontrol robots.txt'te ve burada en sık yapılan hata, bütün yapay zekâ botlarını tek bir şey sanmak. Her büyük şirketin en az üç farklı işi var: modeli eğitmek, arama dizini kurmak ve kullanıcı sorduğu anda sayfayı okumak. Aşağıdaki tablo şirketlerin kendi dokümanlarına dayanıyor (Ekim 2026).

Birkaç ayrıntı tabloya sığmıyor:

• Kullanıcı tetiklemeli okuyucular farklı davranıyor. OpenAI, ChatGPT-User için robots.txt kurallarının "uygulanmayabileceğini" yazıyor; Perplexity-User ve Google'ın kullanıcı tetiklemeli araçları (Google-Agent, Gemini Notebook gibi) da kuralları genellikle yok sayıyor. Anthropic ise Claude-User'ı engellemenin, Claude'un o sayfayı kullanıcı için getirmesini önlediğini söylüyor.
• OpenAI'nin iki botu bağımsız. GPTBot ve OAI-SearchBot ayrı ayrı yönetiliyor; ikisine de izin verirsen OpenAI tek taramanın sonucunu iki amaç için de kullanabiliyor.
• Bytespider için Cloudflare, Temmuz 2024'te korumasındaki sitelerin %40,40'ına eriştiğini raporlamıştı. Net bir resmî kaynak olmadığı için bu botu engellemek istiyorsan robots.txt'e ek olarak sunucu ya da güvenlik duvarı (WAF) düzeyinde kural düşünebilirsin.

04

Eğitimi engellemek ile aramadan çıkmak aynı şey değil

Bir botu robots.txt'te engellemeden önce kendine şunu sor: bu bot modeli mi eğitiyor, yoksa beni arama sonuçlarında mı gösteriyor? İkisini karıştırırsan "içeriğim eğitimde kullanılmasın" derken farkında olmadan ChatGPT ya da Perplexity aramasından da çıkabilirsin.

Google-Extended'da bir incelik var: Google'a göre bu etiket yalnızca eğitimi değil, Gemini uygulamalarında ve Vertex AI'da arama dizininden yapılan grounding'i de kapsıyor. Yani onu engellemek Google Search ve AI Bakışı'nı etkilemez ama Gemini uygulamasının seni kaynak olarak kullanma ihtimalini azaltabilir. AI Bakışı ve AI Modu'ndaki görünümünü Googlebot ve nosnippet, max-snippet, noindex gibi standart kontrollerle yönetirsin.

Asıl sıkıntı "karma" tarayıcılarda: Googlebot, Bingbot ve Applebot hem arama hem eğitim için tarıyor. Google ve Apple bunun için ayrı izin etiketleri (Google-Extended, Applebot-Extended) sunuyor. Cloudflare'in 15 Eylül 2026 tarihli yazısına göre Bing'in robots.txt desteği 2027 başına hedefleniyor; o zamana kadar Bing için NOARCHIVE meta etiketi kullanılıyor.

Pratikte siteler bu ayrımı yapmaya başlamış durumda. Cloudflare aynı yazıda, kendi korumasındaki sitelerin %1'inden azının arama botlarını engellediğini, %17'sinin ise eğitimi engelleyen bir mekanizma açtığını paylaşıyor. Cloudflare ayrıca robots.txt'e Content-Signal: search=yes, ai-train=no gibi bir satır eklemeyi öneriyor; ancak kendisi de bunun bir teknik engel olmadığını, bazı şirketlerin yok sayabileceğini belirtiyor.

Bizim pazarlama siteleri için önerimiz değişmedi: arama, cevap ve eğitim botlarının hepsine izin ver. Pek çok yapay zekâ cevabı hâlâ web'e bakmadan modelin kendi bilgisinden üretiliyor ve markanın oraya girmesinin yolu eğitim taramaları. Ayrıntısı GEO nedir? yazısında.

05

Örnek robots.txt: iki senaryo

Senaryo 1: Pazarlama sitesi, her şeye açık. En sade ve çoğu marka için en doğru kurulum:

• User-agent: *
• Disallow: /panel/
• Disallow: /api/
• Sitemap: https://www.siten.com/sitemap.xml

Burada hiçbir yapay zekâ botunu adıyla anmana gerek yok; hepsi * grubuna düşer, panel ve API gibi özel alanlar kapalı kalır.

Senaryo 2: Aramada görün, eğitime kapalı ol. Yukarıdakinin üstüne, eğitim botlarını tek tek kapat:

• User-agent: GPTBot ardından Disallow: /
• User-agent: ClaudeBot ardından Disallow: /
• User-agent: Google-Extended ardından Disallow: /
• User-agent: Applebot-Extended ardından Disallow: /
• User-agent: CCBot ardından Disallow: /

OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot ve Bingbot'u adıyla anmıyorsun; * grubu üzerinden açık kalıyorlar.

Gözden kaçan bir kural: bir bot robots.txt'te kendi adıyla bir grup bulursa yalnızca o grubu okur, * grubunu yok sayar. Yani User-agent: OAI-SearchBot diye ayrı bir grup açarsan, /panel/ gibi kapatmak istediğin yolları o gruba da yazman gerekir.

Değişikliklerin oturması zaman alır. OpenAI, OAI-SearchBot için yaklaşık 24 saat; Perplexity 24 saate kadar diyor. Anthropic de kuralların her alt alan adı için ayrı robots.txt dosyasında yazılması gerektiğini hatırlatıyor.

06

JavaScript ve sunucu tarafı oluşturma: botlar ne görüyor?

Bot sitene girebiliyor olabilir, ama ne gördüğü ayrı bir soru. Googlebot JavaScript'i çalıştırabiliyor; Google'ın rehberi de JavaScript engellenmediği sürece içeriği işleyebildiğini söylüyor. Gemini ve AI Bakışı aynı Google altyapısından beslendiği için tamamen istemci tarafında oluşan bir site Google'da yine de okunabilir. Diğer yapay zekâ botlarında durum farklı.

• Vercel'in Aralık 2024 analizi: GPTBot, OAI-SearchBot, ClaudeBot ve PerplexityBot dahil büyük yapay zekâ tarayıcılarının hiçbiri JavaScript çalıştırmıyordu. ChatGPT ve Claude tarayıcıları JS dosyalarını indiriyor ama çalıştırmıyordu. Veri eski, ama sonraki testler aynı yönü gösteriyor.
• RESONEO'nun Ocak 2026 testi: Kullanıcı tetiklemeli okuyuculara 15 farklı yöntemle gizlenmiş içerik sunuldu. ChatGPT, Claude ve Gemini yalnızca ham HTML'i okudu; Shadow DOM ve iframe içindeki metni JavaScript çalıştıran tek ajan Bing Copilot okuyabildi (RESONEO).

Sonuç: alıntılanmasını istediğin her bilgi sunucunun gönderdiği ilk HTML'de olmalı. Fiyatlar, hizmet tanımları, SSS cevapları, iletişim bilgisi; sekmelerin, akordeonların ya da sonradan yüklenen bileşenlerin arkasına saklanmasın. Next.js, Nuxt ya da Astro gibi framework'lerde sunucu tarafı oluşturma (SSR) ya da statik üretim (SSG) bu sorunu çözer; tamamen istemci tarafında çalışan tek sayfalık uygulamalar ise risklidir.

07

Site haritası ve schema: botlara yol göstermek

Site haritası. Botlara hangi sayfaların var olduğunu ve ne zaman değiştiğini söylemenin en sağlam yolu hâlâ XML site haritası. robots.txt'in sonuna Sitemap: satırını ekle, lastmod tarihini yalnızca içerik gerçekten değiştiğinde güncelle. Vercel'in Aralık 2024 verisinde ChatGPT ve Claude tarayıcılarının isteklerinin yaklaşık %34–35'i 404 sayfalarına gidiyordu (Googlebot'ta %8,22). Kırık bağlantıları yönlendirmek ve site haritasını temiz tutmak, botların sınırlı tarama zamanını gerçek sayfalarına harcamasını sağlar. Site haritanı Google Search Console'un yanında Bing Webmaster Tools'a da gönder.

Schema (yapılandırılmış veri). Google, üretken yapay zekâ aramasında özel bir schema.org işaretlemesi gerekmediğini açıkça söylüyor; yapılandırılmış veriyi zengin sonuçlar için öneriyor ve sayfadaki görünür metinle birebir uyuşmasını istiyor. Organization, Article, Person ve BreadcrumbList markanın kim olduğunu, yazının kimin tarafından ne zaman yazıldığını makinece okunur hale getirir.

Ama schema'ya fazla güvenme. JSON-LD bir script etiketi içinde durur ve ham HTML okuyan bazı kullanıcı tetiklemeli okuyucuların onu metin gibi işlemeyebileceği belirtiliyor; RESONEO bunu ölçülmüş bir sonuç olarak değil, bir uyarı olarak paylaşıyor. Güvenli kural şu: schema'daki her bilgi (fiyat, adres, kuruluş yılı, yazar) sayfada görünür metin olarak da yer alsın.

08

Pratik kontrol listesi

Aşağıdaki adımları bir öğleden sonra içinde bitirebilirsin. Sıra önemli: önce kapıyı aç, sonra botların içeride ne gördüğüne bak, en son llms.txt gibi isteğe bağlı işlere geç.

1. 1robots.txt'i açsiten.com/robots.txt adresine git. User-agent: * altında Disallow: / var mı, ya da bir eklenti veya CDN ayarı yapay zekâ botlarını toptan mı engelliyor, kontrol et.
2. 2Arama botlarına izin verOAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot ve Bingbot açık olsun. Bunları engellemek seni doğrudan yapay zekâ aramasından çıkarır.
3. 3Eğitim kararını ayrı verGPTBot, ClaudeBot, Google-Extended, Applebot-Extended ve CCBot için bilinçli karar ver. Pazarlama sitesiysen açık bırakmanı öneririz.
4. 4Ham HTML'i kontrol etÖnemli sayfalarda sayfa kaynağını aç; başlık, tanım, fiyat ve SSS cevapları JavaScript olmadan da orada mı?
5. 5Site haritası ve schemaSitemap: satırı robots.txt'te olsun, lastmod dürüst güncellensin; Organization ve Article işaretlemesi görünür metinle uyuşsun.
6. 6llms.txt'i isteğe bağlı ekleH1, kısa özet ve en önemli 10–20 sayfanın listesi yeter. Beklentini düşük tut, dosyayı sürüm kontrolünde sakla.
7. 7Logları izleSunucu kayıtlarında ChatGPT-User, Claude-User ve Perplexity-User ziyaretlerine bak; sayfanın o an bir cevap için okunduğunun en yakın sinyali bu.

Bu listenin ilk beş adımını elle kontrol etmek istemiyorsan VayBe!'ın ücretsiz SEO + GEO denetimi robots.txt'teki yapay zekâ botu kurallarını, llms.txt dosyasını, schema işaretlemesini ve sayfanın sunucu HTML'ini tarayıp eksikleri tek raporda gösteriyor. Rapordaki her bulguyu kendi robots.txt'inde ve sayfa kaynağında doğrulayabilirsin.

Sık sorulan sorular

Kaynaklar

1. 1llmstxt.org: The /llms.txt file (Jeremy Howard)llmstxt.org
2. 2Ahrefs: We Analyzed 137K Sites, 97% of llms.txt Files Never Get Read (Haziran 2026)ahrefs.com
3. 3Google: Optimizing your website for generative AI features on Google Searchdevelopers.google.com
4. 4Google: Common crawlers ve Google-Extendeddevelopers.google.com
5. 5OpenAI: Overview of OpenAI crawlersdevelopers.openai.com
6. 6Anthropic: Claude crawlers ve robots.txtsupport.claude.com
7. 7Perplexity: Perplexity crawlersdocs.perplexity.ai
8. 8Apple: About Applebotsupport.apple.com
9. 9Cloudflare: Stay discoverable in search while disallowing AI training (Eylül 2026)blog.cloudflare.com
10. 10Vercel: The rise of the AI crawler (Aralık 2024)vercel.com