DeepSeek DeepInfer Açık Kaynak Oldu: Geliştiricilerin Üretim Seviyesi Çıkarım (Inference) Yığını İçin Bilmesi Gerekenler
DeepSeek, devasa üretim iş yüklerini çalıştırmak için geliştirdiği yüksek performanslı çıkarım (inference) çatısı DeepInfer'i Apache 2.0 lisansıyla açık kaynak dünyasına sundu. NVIDIA SM100 GPU ve Huawei Ascend 950 NPU desteğine sahip olan motorun mimarisi, DSpark spekülatif çözümleme yetenekleri ve tam teşekküllü bir canlı sunum yığını kurmak için geliştiricilerin tamamlaması gereken eksik parçalar mercek altında.
Büyük dil modellerinin (LLM) geliştirilme yarışında eğitim maliyetleri uzun süre manşetleri süslemiş olsa da, 2026 yılı itibarıyla yapay zeka ekonomisinin asıl darboğazı ve rekabet alanı çıkarım (inference) verimliliği haline geldi. Milyonlarca eşzamanlı kullanıcının ve otonom ajanın saniyede milyarlarca token tükettiği bir ekosistemde, modelleri en düşük gecikme ve en düşük donanım maliyetiyle çalıştırmak hayati bir üstünlük sağlıyor. Bu alanda endüstrinin en agresif fiyat-performans dengesini kuran DeepSeek, kendi devasa üretim servislerine güç veren yüksek performanslı çıkarım motoru DeepInfer'i Apache 2.0 lisansı altında açık kaynak olarak yayınladı.
Açık kaynak topluluğunda büyük heyecan yaratan bu adım, DeepSeek'in marjinal token üretim maliyetlerini rakiplerinin çok altına nasıl çektiğini şeffaf biçimde ortaya koyuyor. Ancak DeepInfer'in kod tabanı incelendiğinde, bunun tek tıkla kurulup doğrudan son kullanıcıya API olarak açılan hazır bir paket değil; son derece özelleştirilmiş bir çevrim dışı (offline) çalışma zamanı ve çekirdek (kernel) motoru olduğu görülüyor.
vLLM, SGLang ve TensorRT-LLM Mirasından Sıfırdan İnşaya
DeepSeek mühendislik ekibi, DeepInfer'in ilk temellerini atarken açık kaynak ekosisteminin popüler araçları olan vLLM, SGLang ve TensorRT-LLM mimarilerinden yoğun biçimde ilham aldı. Ancak seyrek uzman karışımı (Sparse Mixture-of-Experts - MoE) mimarilerinin ve uzun bağlam pencerelerinin getirdiği benzersiz iletişim darboğazları, genel amaçlı çıkarım motorlarının sınırlarını zorlamaya başladı.
Bu noktada genel amaçlı soyutlama katmanlarını tamamen kaldıran DeepSeek, çalışma zamanını kendi model ailesinin matematiksel yapısına göre baştan aşağı yeniden inşa etti. İlk sürümü özellikle DeepSeek-V4.1-Flash modelinin çevrim dışı çıkarım iş yüklerine göre optimize edilen DeepInfer, gereksiz kod yüklerinden arındırılmış yalın ve ultra hızlı bir yürütme katmanı sunuyor.
DeepInfer Mimarisine Güç Veren Temel Teknolojiler
DeepInfer'i standart çıkarım kütüphanelerinden ayıran en önemli unsur, donanım seviyesine kadar inen özel operatörleri ve zamanlama (scheduling) algoritmalarıdır:
- TileLang Özel Operatörleri ve Seyrek MoE Çekirdekleri: Matris çarpımlarını ve uzman yönlendirme işlemlerini donanım önbelleklerine tam uyumlu hale getiren TileLang tabanlı özel çekirdekler, bellek bant genişliği kullanımını maksimuma çıkarıyor.
- İleri Düzey Paralellik Stratejileri: Uzman Paralelliği (Expert Parallelism - EP), Dikkat Veri Paralelliği (Attention Data Parallelism) ve Dengeli Bağlam Paralelliği (Balanced Context Parallelism) bir arada kullanılarak çoklu GPU/NPU düğümleri arasındaki iletişim gecikmesi minimize ediliyor.
- DSpark ile Spekülatif Çözümleme: Taslak token (draft token) üretimini güven tahmini tabanlı zamanlama (confidence-estimate scheduling) ile birleştiren DSpark mekanizması, doğrulama adımlarını hızlandırarak saniyede üretilen token sayısını katlıyor.
- Asenkron Zamanlama (Asynchronous Scheduling): CPU üzerindeki veri yığını (batch) hazırlama ve zamanlama süreçleri, hızlandırıcı cihazın (GPU/NPU) yürütme adımlarıyla tamamen üst üste bindirilerek (overlapping) donanımın boşta bekleme süresi sıfıra indiriliyor.
- Yığın Değişmezliği (Batch-Invariant Inference) ve Deterministik Örnekleme: Farklı yığın boyutlarında bile aynı girdinin bit düzeyinde tamamen aynı çıktıyı üretmesini sağlayan deterministik örnekleme desteği, özellikle kurumsal test, hata ayıklama ve ajan doğrulama süreçlerinde kritik bir güvenilirlik sağlıyor.
NVIDIA SM100 ve Huawei Ascend 950 İçin Sıfırıncı Gün Desteği
DeepInfer'in sektörde yarattığı en büyük stratejik etkilerden biri de çift yönlü donanım ekosistemini doğrudan kucaklaması oldu. Çatı, bir yandan NVIDIA SM100 mimarili yeni nesil hızlandırıcılar için deterministik örnekleme ve düşük seviyeli çekirdek optimizasyonları sunarken; diğer yandan Huawei Ascend 950 NPU işlemcileri için CANN yazılım yığını üzerinden birinci sınıf, sıfırıncı gün (day-zero) uyumluluğu sağlıyor.
Batılı bulut sağlayıcıların NVIDIA kümeleri üzerinde maksimum verim almasına olanak tanıyan bu yapı, aynı zamanda alternatif yapay zeka çiplerindeki yazılım olgunluğu farkını kapatarak küresel donanım rekabetini doğrudan hızlandırıyor.
Huawei'nin Yeni Yapay Zeka Çiplerini DeepSeek Şekillendiriyor: Ascend 950DT ve 960DT Ortaklığı
DeepSeek'in 8 Trilyon Parametreli Yeni Hedefi: Nvidia Bağımsızlığı ve Yerli Çip Hamlesi
Geliştiricilerin Tam Bir Sunum Yığını (Serving Stack) İçin İnşa Etmesi Gerekenler
DeepSeek, DeepInfer ile motorun en zorlu matematiksel ve donanımsal kısmını açık kaynak olarak verse de, bu paketi doğrudan üretim ortamında canlı bir API servisine dönüştürmek isteyen mühendislik ekiplerinin kendi başlarına inşa etmesi gereken kritik altyapı katmanları bulunuyor.
DeepInfer kapsamı dışında bırakılan ve geliştiricilerin tamamlaması gereken üç temel bileşen şunlardır:
1. Dağıtık KV Önbellek (KV Cache) Yönetim Sistemi
Çok turlu sohbetlerde ve uzun doküman analizlerinde aynı öneklerin (prefix) tekrar tekrar hesaplanmasını önleyen dağıtık KV Cache bellek havuzu DeepInfer'in çekirdek paketinde yer almıyor. Mühendislik ekiplerinin RAM, NVMe diskler ve GPU belleği (VRAM) arasında sayfa tabanlı bellek aktarımı yapan ve önbellek tahliyesini (eviction) yöneten harici bir bellek katmanı kurgulamasını gerekiyor.
2. Prefill ve Decode Ayrıştırması (Disaggregation)
Modern büyük ölçekli LLM sunum mimarilerinde, yoğun hesaplama gücü gerektiren ilk okuma (Prefill) aşaması ile yüksek bellek bant genişliği gerektiren token üretme (Decode) aşaması farklı sunucu kümelerinde çalıştırılır. DeepInfer tekil yürütme motorunu sağlasa da, Prefill ve Decode düğümleri arasında yüksek hızlı ağ (RDMA / RoCE) üzerinden durum aktarımı yapan orkestrasyon katmanının altyapı ekipleri tarafından entegre edilmesi gerekiyor.
3. Veri Paralel Kopyalar Arasında Akıllı Yük Dengeleme
Gelen HTTP/gRPC isteklerini kuyruğa alan, hangi GPU kopyasında (replica) ilgili önbellek verisinin bulunduğunu takip eden (cache-aware routing) ve uzman yüklerini düğümler arasında dinamik olarak dengeleyen üst seviye yönlendirici (router) katmanı da pakete dahil değil.
Özetle DeepInfer, yapay zeka altyapı mühendislerine dünyanın en hızlı Formula 1 motorunu ücretsiz olarak teslim ediyor; ancak bu motorun etrafına şasiyi, şanzımanı ve telemetri sistemlerini kurarak onu trafiğe çıkacak eksiksiz bir üretim aracına dönüştürmek geliştirici ekiplerin mimari yetkinliğine kalıyor.
