Chunk Overlap neden gereklidir?

Parçalar arasında %10 ila %20 arasında örtüşme bırakmak, iki parça arasına denk gelen kritik bilgilerin bağlam kopukluğu yaşamadan korunmasını sağlar.

Hangi embedding modelleri destekleniyor?

OpenAI text-embedding-3-small, text-embedding-3-large ve Cohere embed-multilingual modelleri için boyut ve maliyet hesaplaması yapılmaktadır.

AI RAG Chunking & Embedding Visualizer

Dokümanlarınızı RAG mimarileri için dilimleyin, örtüşen bağlam bölgelerini canlı inceleyin ve embedding maliyetini hesaplayın.

RAG Chunking Parametreleri ve Stratejisi

Dokümanınızı dilimleyin, örtüşen (overlap) bölgeleri ve embedding maliyetini görselleştirin.

Örnek Metin:

Dilimleme Stratejisi

Ölçü Birimi

Chunk Size256 tokens

Chunk Overlap48 tokens

Toplam Parça

1chunk

Toplam Token

~266token

Ortalama Boyut

266token / chunk

Embedding Maliyeti

$0.000005(OpenAI)

Girdi Dokümanı1009 karakter / ~266 token

# Next.js 15 App Router & Server Components

Next.js 15, React 19'un kararlı sürümüyle tam entegrasyon sunar. Server Components mimarisi sayesinde sunucuda render edilen bileşenler, istemciye sıfır JavaScript yükü ile aktarılır. Bu durum sayfa yükleme hızını (FCP ve LCP) dramatik olarak artırır.

## Veri Getirme ve Caching
Veri getirme işlemleri standart 'fetch' API üzerinden yürütülür. 'unstable_cache' ve React 'cache' fonksiyonları sayesinde veritabanı sorguları tekilleştirilir.
Gereksiz yeniden render'ların önüne geçilirken, Stale-While-Revalidate mantığı arka planda güncel içeriğin hazır tutulmasını sağlar.

## RAG ve Vektör Veritabanı Entegrasyonu
Modern yapay zeka uygulamalarında belgeler chunking algoritmalarıyla parçalara ayrılır. Her bir parça bir embedding modeline gönderilerek yüksek boyutlu vektörlere dönüştürülür. Supabase pgvector veya Neon DB gibi PostgreSQL uzantıları, HNSW indeksleri kullanarak milisaniyeler mertebesinde kosinüs benzerliği (cosine similarity) sorguları yürütür.

Vektör & Embedding Modeli:

Görsel Parçalar (1)(Parçaya tıklayarak detayını inceleyin)

Chunk #1[0 - 1009]

~266 token(1009 krk)

# Next.js 15 App Router & Server Components Next.js 15, React 19'un kararlı sürümüyle tam entegrasyon sunar. Server Components mimarisi sayesinde sunucuda render edilen bileşenler, istemciye sıfır JavaScript yükü ile aktarılır. Bu durum sayfa yükleme hızını (FCP ve LCP) dramatik olarak artırır. ## Veri Getirme ve Caching Veri getirme işlemleri standart 'fetch' API üzerinden yürütülür. 'unstable_cache' ve React 'cache' fonksiyonları sayesinde veritabanı sorguları tekilleştirilir. Gereksiz yeniden render'ların önüne geçilirken, Stale-While-Revalidate mantığı arka planda güncel içeriğin hazır tutulmasını sağlar. ## RAG ve Vektör Veritabanı Entegrasyonu Modern yapay zeka uygulamalarında belgeler chunking algoritmalarıyla parçalara ayrılır. Her bir parça bir embedding modeline gönderilerek yüksek boyutlu vektörlere dönüştürülür. Supabase pgvector veya Neon DB gibi PostgreSQL uzantıları, HNSW indeksleri kullanarak milisaniyeler mertebesinde kosinüs benzerliği (cosine similarity) sorguları yürütür.

[
  {
    "id": 1,
    "startIndex": 0,
    "endIndex": 1009,
    "tokenCount": 266,
    "charCount": 1009,
    "text": "# Next.js 15 App Router & Server Components\n\nNext.js 15, React 19'un kararlı sürümüyle tam entegrasyon sunar. Server Components mimarisi sayesinde sunucuda render edilen bileşenler, istemciye sıfır JavaScript yükü ile aktarılır. Bu durum sayfa yükleme hızını (FCP ve LCP) dramatik olarak artırır.\n\n## Veri Getirme ve Caching\nVeri getirme işlemleri standart 'fetch' API üzerinden yürütülür. 'unstable_cache' ve React 'cache' fonksiyonları sayesinde veritabanı sorguları tekilleştirilir.\nGereksiz yeniden render'ların önüne geçilirken, Stale-While-Revalidate mantığı arka planda güncel içeriğin hazır tutulmasını sağlar.\n\n## RAG ve Vektör Veritabanı Entegrasyonu\nModern yapay zeka uygulamalarında belgeler chunking algoritmalarıyla parçalara ayrılır. Her bir parça bir embedding modeline gönderilerek yüksek boyutlu vektörlere dönüştürülür. Supabase pgvector veya Neon DB gibi PostgreSQL uzantıları, HNSW indeksleri kullanarak milisaniyeler mertebesinde kosinüs benzerliği (cosine similarity) sorguları yürütür."
  }
]

RAG Mimarilerinde Doğru Chunking (Metin Dilimleme) Neden Hayatidir?

RAG (Retrieval-Augmented Generation) sistemlerinin başarısı, doğrudan vektör veritabanına kaydedilen metin parçalarının (chunk) kalitesine bağlıdır. Büyük Dil Modelleri (LLM), sınırlı bağlam pencerelerine (context window) sahiptir ve gereksiz gürültü içeren büyük parçalar modelin "iğneyi samanlıkta arama" (Lost in the Middle) problemine düşmesine sebep olur.

Öte yandan, aşırı küçük dilimlenen metinler cümlenin veya fikrin anlam bağlamını (semantic context) yok eder. Bu görselleştirici araç; Recursive Character, Sentence-Aware ve Markdown Header stratejileriyle dokümanlarınızı tarayıcınızda canlı olarak parçalar, örtüşme (overlap) payını renkli katmanlarla gösterir ve OpenAI ile Cohere embedding maliyetlerinizi kuruşu kuruşuna hesaplar.

Popüler Chunking Stratejileri ve Kullanım Senaryoları

📐 Recursive Character Splitter

LangChain ve LlamaIndex için endüstri standardıdır. Metni sırasıyla çift satırbaşı (\n\n), tek satırbaşı (\n), nokta (. ) ve boşluk karakterlerinden bölerek doğal paragraf ve cümle sınırlarını azami ölçüde korur.

📝 Markdown Header Splitter

Teknik belgeler, API referansları ve Notion dokümanları için idealdir. H1 (#), H2 (##) ve H3 (###) başlıklarını ve altındaki açıklamaları bir arada tutarak hiyerarşik bağlam kaybını sıfıra indirir.

🔄 Chunk Overlap Önemi

Parçalar arasında %10 ila %20 arasında örtüşme (overlap) bırakmak, iki parça arasına denk gelen kritik bir bilginin veya formülün bağlam kopukluğu yaşamadan her iki vektör parçasında da yaşamasını sağlar.

RAG & Embedding Sıkça Sorulan Sorular (SSS)

İdeal RAG chunk boyutu (Chunk Size) kaç token olmalıdır?↓

Genel amaçlı RAG uygulamalarında en yaygın tercih edilen boyut 256 ila 512 token aralığıdır. Soru-cevap (FAQ) odaklı aramalarda 128-256 token yeterliyken; karmaşık mantık, sözleşme veya kod blokları içeren dokümanlarda 512-1024 token tercih edilir.

OpenAI text-embedding-3-small ile text-embedding-3-large arasındaki fark nedir?↓

text-embedding-3-small 1536 vektör boyutuna (dimension) sahip olup 1 milyon token başına $0.02 gibi son derece ekonomik bir maliyete sahiptir ve çoğu web uygulaması için fazlasıyla yeterlidir.text-embedding-3-large ise 3072 boyutuyla çok dilli ve derin semantik nüans gerektiren hukuk veya akademik projelerde daha yüksek benzerlik doğruluğu (MTEB skoru) sunar.

Chunk verilerini PostgreSQL / Supabase pgvector ile nasıl saklarım?↓

Ürettiğiniz JSON çıktısındaki parçaları bir veritabanı tablosunda content TEXT ve embedding vector(1536) sütunları ile saklayabilirsiniz. Sorgularda milisaniye hızında benzerlik aramak için HNSW veya IVFFlat indeksi tanımlamanız önerilir.