robots.txt dosyasında AI botları nasıl engellenir?

GPTBot, ClaudeBot veya Bytespider gibi yapay zeka kullanıcı ajanları için User-agent: GPTBot ve Disallow: / direktifi tanımlanarak engelleme sağlanır.

robots.txt & AI Bot Control Generator

Googlebot, GPTBot, ClaudeBot ve Perplexity için tarama politikalarını belirleyin, Next.js ve standart robots.txt oluşturun.

Yapay Zeka & Tarayıcı Politikası

robots.txt & AI Bot Control Generator

Googlebot, GPTBot, ClaudeBot ve Perplexity gibi tarayıcıların sitenize erişim kurallarını görsel olarak belirleyin.

Tarayıcı (Bot) Erişim İzinleri

GPTBot (OpenAI Model Eğitimi)GPTBot

OpenAI tarafından yapay zeka modellerini (GPT) eğitmek için kullanılan veri tarayıcısı.

ChatGPT-User (Arama & Tarama)ChatGPT-User

ChatGPT kullanıcılarının sohbet esnasında web sitenizi canlı incelemesini sağlar.

ClaudeBot & Anthropic AIClaudeBot

Anthropic Claude modelleri için web kazıma ve eğitim botu.

PerplexityBot (AI Arama)PerplexityBot

Perplexity AI arama motorunun referans ve yanıt üretmek için kullandığı bot.

Google-Extended (Gemini Eğitimi)Google-Extended

Google Gemini yapay zeka modellerinin içeriğinizi eğitimde kullanmasını denetler.

Bytespider (ByteDance AI)Bytespider

TikTok / ByteDance tarafından agresif şekilde çalıştırılan yapay zeka botu.

Applebot-Extended (Apple AI)Applebot-Extended

Apple Intelligence modellerinin eğitim verisi toplama botu.

CCBot (Common Crawl)CCBot

Açık kaynak LLM eğitimlerinde kullanılan genel veri seti tarayıcısı.

XML Sitemap Adresi (Harita Bağlantısı)

Engellenen Dizinler (Virgülle ayrılmış)

import type { MetadataRoute } from 'next'

// app/robots.ts
export default function robots(): MetadataRoute.Robots {
  return {
    rules: [
    {
      userAgent: '*',
      allow: '/',
      disallow: ['/api/', '/admin/', '/private/'],
    },
    {
      userAgent: 'GPTBot',
      disallow: '/',
    },
    {
      userAgent: 'ClaudeBot',
      disallow: '/',
    },
    {
      userAgent: 'Google-Extended',
      disallow: '/',
    },
    {
      userAgent: 'Bytespider',
      disallow: '/',
    },
    {
      userAgent: 'Applebot-Extended',
      disallow: '/',
    },
    {
      userAgent: 'CCBot',
      disallow: '/',
    }
    ],
    sitemap: 'https://ismailhakkieren.com/sitemap.xml',
  }
}

39 satır kural💡 Arama motorlarını engellemeden AI botlarını yönetin

Yapay Zeka Çağında robots.txt Neden Baştan Tanımlandı?

Geleneksel olarak robots.txt dosyaları yalnızca Google, Bing veya Yandex gibi arama motorlarının sitenizi taramasını yönetmek için kullanılırdı. Ancak 2026 yılı itibarıyla OpenAI (GPTBot), Anthropic (ClaudeBot), Perplexity ve ByteDance (Bytespider) gibi yapay zeka şirketleri, milyonlarca web sayfasını modellerini eğitmek ve gerçek zamanlı arama yanıtı üretmek amacıyla sürekli kazımaktadır (scraping).

Bu araç; web sitenizin Google arama sıralamalarını zedelemeden, hangi yapay zeka botlarının içeriğinizi okuyabileceğini ve hangilerinin engelleneceğini hassas şekilde ayrıştırmanızı sağlar.Next.js 15+ App Router için app/robots.ts ve standart robots.txt çıktıları üretir.

Yapay Zeka Botları: Eğitim (Training) vs Arama (Search) Ayrımı

🔍 AI Arama & Cevap Botları (İzin Verilmesi Önerilir)

ChatGPT-User ve PerplexityBot gibi botlar, kullanıcılar yapay zekaya bir soru sorduğunda sitenizi kaynak göstererek doğrudan ziyaretçi ve link trafiği kazandırır. Bu botları engellemek AEO (Answer Engine Optimization) görünürlüğünüzü düşürebilir.

🤖 Model Eğitim Kazıyıcıları (İsteğe Bağlı Engelleme)

GPTBot, Google-Extended ve CCBot gibi tarayıcılar içeriğinizi büyük dil modellerinin (LLM) ağırlıklarını eğitmek için toplar; sitenize doğrudan kaynak bağlantısı veya trafik göndermez.

Sıkça Sorulan Sorular (SSS)

Next.js App Router'da robots.txt nasıl oluşturulur?▼

Next.js 13.3 ve üzeri sürümlerde app/robots.ts dosyası oluşturup MetadataRoute.Robots tipinde bir fonksiyon döndürerek dinamik ve tip güvenli robots.txt üretebilirsiniz.

GPTBot'u engellemek Google arama sıralamamı etkiler mi?▼

Hayır. GPTBot OpenAI'a aittir ve Google arama indekslemesiyle hiçbir bağlantısı yoktur. Google arama sıralamalarınız Googlebot tarafından belirlenir.

Google-Extended botu Google aramayı kapatır mı?▼

Hayır. Google'ın resmi dokümantasyonuna göre Google-Extended yalnızca Gemini ve Vertex AI model eğitimlerini denetler; web sitenizin Google Arama sonuçlarında listelenmesini engellemez.