robots.txt & AI Bot Control Generator
Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot ve ByteSpider için tarama izinlerini görsel olarak yapılandırın. Next.js 15+ App Router app/robots.ts ve standart robots.txt formatında anında indirin.
Yapay Zeka (AI) Çağında robots.txt ve Bot Yönetim Rehberi
Geçmişte robots.txt dosyaları yalnızca Googlebot, Bingbot ve Yandex gibi arama motoru örümceklerine yol göstermek için kullanılırdı. Günümüzde ise OpenAI (GPTBot), Anthropic (ClaudeBot), Perplexity, Google (Google-Extended) ve ByteDance (ByteSpider) gibi yapay zeka devleri, milyonlarca web sayfasını hem büyük dil modellerini (LLM) eğitmek hem de yapay zeka arama yanıtları üretmek için sürekli kazımaktadır. Bu araç; web sitenizin Google indeksini korurken, hangi yapay zeka crawler'larının sitenizi tarayabileceğini Next.js 15+ app/robots.ts ve standart robots.txt formatında yönetmenizi sağlar.
1. Popüler Yapay Zeka Botları: Model Eğitimi (Training) vs Canlı Arama (Search)
Tüm AI botlarını toptan engellemek sitenizin yapay zeka arama motorlarında kaynak gösterilmesini (AEO) engelleyebilir. Botların görev ayrımı:
| User-Agent Adı | Şirket / Sağlayıcı | Kullanım Amacı | Tavsiye Edilen Politika |
|---|---|---|---|
| Googlebot | Organik arama indekslemesi ve SERP sıralaması. | Kesinlikle İzin Ver (Allow) | |
| ChatGPT-User | OpenAI | Kullanıcı ChatGPT'de canlı arama yaptığında anlık sayfa okuma ve kaynak linki verme. | İzin Ver (Trafik Sağlar) |
| PerplexityBot | Perplexity AI | Yapay zeka arama motoru dizini ve doğrudan yanıt alıntılama. | İzin Ver (AEO İçin Kritik) |
| GPTBot | OpenAI | Gelecek GPT modellerinin eğitimi için genel içerik kazıma. | İsteğe Bağlı Engelle (Disallow) |
| ClaudeBot | Anthropic | Claude modellerinin eğitimi ve veri kümesi oluşturma. | İsteğe Bağlı Engelle (Disallow) |
| Google-Extended | Gemini ve Vertex AI modellerini eğitme (Google Arama'yı etkilemez). | İsteğe Bağlı Engelle (Disallow) | |
| Bytespider / CCBot | ByteDance / Common Crawl | Aşırı agresif sunucu kaynağı tüketen genel veri kazıyıcılar. | Engelle (Sunucu Rahatlatır) |
2. Next.js 15+ App Router İçin Tip Güvenli app/robots.ts
Next.js App Router mimarisinde statik public/robots.txt dosyası yerine app/robots.ts kullanarak ortam değişkenlerine (development/production) göre dinamik kurallar tanımlayabilirsiniz:
// app/robots.ts
import type { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
const baseUrl = process.env.NEXT_PUBLIC_SITE_URL || 'https://ismailhakkieren.com'
return {
rules: [
{
userAgent: '*',
allow: '/',
disallow: ['/admin/', '/api/', '/private/'],
},
{
userAgent: ['GPTBot', 'ClaudeBot', 'Google-Extended', 'Bytespider', 'CCBot'],
disallow: ['/'],
},
{
userAgent: ['ChatGPT-User', 'PerplexityBot'],
allow: '/',
},
],
sitemap: `${baseUrl}/sitemap.xml`,
}
}3. Standart robots.txt Yapılandırması
Geleneksel web siteleri için kök dizinde yer alan standart robots.txt şablonu:
# Tüm Arama Motorları İçin İzin
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
# Model Eğitim Botlarını Engelle (Opt-Out)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
# Canlı AI Arama Botlarına İzin Ver
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
# Harita
Sitemap: https://ismailhakkieren.com/sitemap.xmlSıkça Sorulan Sorular (SSS)
GPTBot veya ClaudeBot'u engellersem Google arama sıralamam düşer mi?
Kesinlikle hayır. GPTBot OpenAI'a, ClaudeBot ise Anthropic'e aittir. Google arama sonuçları ve organik sıralamanız yalnızca Googlebot tarafından belirlenir.
Google-Extended botunu engellemek Google arama sonuçlarımı siler mi?
Hayır. Google'ın resmi dokümantasyonuna göre Google-Extended yalnızca Gemini ve Vertex AI model eğitimini kısıtlar; sitenizin standart Google Arama veya Google Discover'da listelenmesine engel olmaz.
robots.txt içine gizli yönetici sayfalarımı yazmak güvenlik açığı mıdır?
Evet. robots.txt dosyaları herkese açıktır. Disallow: /cok-gizli-yonetici-paneli/ yazmak kötü niyetli kişilere hedef gösterir. Hassas sayfalar robots.txt yerine parola koruması ve noindex meta etiketi ile korunmalıdır.