NVIDIA, Run:ai Kubernetes GPU Orkestrasyon Platformunu Tamamen Açık Kaynak Yaptı
NVIDIA, kurumsal Kubernetes kümelerinde GPU paylaşımını ve yapay zeka iş yükü planlamasını optimize eden Run:ai platformunun tamamını Apache 2.0 lisansıyla GitHub üzerinden açık kaynak olarak kullanıma sundu.
Yapay zeka altyapılarında donanım kadar kritik hale gelen en önemli katmanlardan biri, binlerce dolarlık grafik işlemcilerin (GPU) atıl kalmadan maksimum verimlilikle kullanılmasıdır. Geçtiğimiz dönemde İsrail merkezli Kubernetes tabanlı GPU orkestrasyon girişimi Run:ai'ı bünyesine katan NVIDIA, satın alma sürecinde verdiği sözü tutarak platformun tamamını Apache 2.0 lisansı altında açık kaynak olarak yayınladı.
NVIDIA DSX AI Factory Platform vizyonunun temel yapı taşlarından biri olarak konumlandırılan bu sürüm; platform mühendisliği, MLOps ve DevOps ekiplerinin herhangi bir ticari abonelik zorunluluğu olmadan kurumsal düzeyde GPU küme yönetimini kendi sunucularında (self-host) çalıştırmasına, incelemesine ve özelleştirmesine olanak tanıyor.
Standart Kubernetes Neden Yapay Zeka İş Yüklerinde Yetersiz Kalıyor?
Geleneksel Kubernetes mimarisi, durumsuz (stateless) mikroservisleri ve web uygulamalarını yönetmek üzere tasarlanmıştır. Ancak büyük dil modellerinin (LLM) eğitimi, ince ayarı (fine-tuning) ve çıkarım (inference) süreçleri söz konusu olduğunda standart Kubernetes zamanlayıcısı ciddi darboğazlarla karşılaşır:
- Standart yapıda bir konteyner (pod), yalnızca birkaç gigabaytlık bellek kullansa bile fiziksel GPU'nun tamamını kilitler.
- Çok düğümlü (multi-node) dağıtık eğitimlerde tüm GPU'lar aynı anda hazır olmadan işin başlamaması gerekirken (gang scheduling), varsayılan zamanlayıcı kaynakları parçalı olarak atayarak kilitlenmelere (deadlock) yol açabilir.
NVIDIA'nın GitHub üzerinde tek bir monorepo olarak açtığı yeni Run:ai mimarisi; kontrol düzlemi (control plane), küme servisleri, kurulum aracı, CLI, REST API ve yapay zeka asistanlarının kümeyi yönetebilmesi için yerleşik bir MCP (Model Context Protocol) sunucusu ile bu sorunları kökten çözüyor.
Açık Kaynak Run:ai Platformunun 4 Modüler Bileşeni
NVIDIA, geliştiricilerin sistemi ister uçtan uca entegre bir platform olarak isterlerse de mevcut altyapılarına sadece ihtiyaç duydukları parçaları ekleyerek kullanabilmesi için mimariyi 4 ana modüler bileşen üzerine inşa etti:
1. KAI Scheduler (Kubernetes AI Zamanlayıcısı)
Daha önce CNCF Sandbox projesi olarak temelleri atılan KAI Scheduler, yapay zeka iş yükleri için sıfırdan optimize edilmiş Kubernetes-native bir planlama motorudur. Toplu iş zamanlama (gang scheduling), zamana dayalı adil paylaşım (fair-share), ağ topolojisine duyarlı yerleştirme (NVLink ve InfiniBand yakınlığını gözetme), bin-packing ve Dinamik Kaynak Tahsisi (DRA) gibi ileri düzey yetenekleri doğrudan çekirdeğinde barındırır.
2. GPU Fractioning Operator (CUDA 13.4 Destekli GPU Bölme)
Platformun en dikkat çekici yeniliklerinden biri olan GPU Fractioning Operator, fiziksel bir GPU'yu birden fazla iş yükü arasında güvenli bir şekilde paylaştırmayı sağlar. Eski kapalı kaynaklı sürümlerdeki özel soyutlama katmanlarının yerine, artık doğrudan CUDA 13.4 yerel (native) sürücü seviyesinde GPU bölme teknolojisi kullanılıyor. Bu sayede her bir iş yükü için katı bellek sınırları (hard memory limits) uygulanırken, donanım düzeyinde hassas telemetri verileri dışa aktarılabiliyor.
Meta’dan 1 TB RAM İsteyen Dev Yapay Zeka: 816 Milyar Parametreli Muse Spark Open Tanıtıldı
WorldPlay2 Tanıtıldı: Tek Görselden Etkileşimli 3D Dünyalar Üreten Açık Kaynak Yapay Zeka
3. KAI Resource Management (Kurumsal Kaynak ve Kota Yönetimi)
Büyük organizasyonlarda farklı departmanların, araştırma gruplarının ve projelerin aynı GPU havuzunu paylaşması karmaşık bir yetkilendirme gerektirir. Bu bileşen; projeler, departmanlar ve düğüm havuzları (node pools) arasında hiyerarşik kotalar tanımlanmasını sağlar. Bir ekip garantili GPU kotasını kullanmadığında, diğer ekiplerin bu boş kapasiteyi geçici olarak ödünç almasına (over-quota borrowing) ve asıl sahip iş yükü gönderdiğinde kaynakların öncelikli olarak geri alınmasına (preemption) imkan tanır.
4. Workload Map (İş Yükleri Soyutlama Katmanı)
Yapay zeka ekosisteminde PyTorchJob, RayCluster, KServe, MPIJob veya standart Deployment gibi çok sayıda farklı özel kaynak tanımı (CRD) kullanılır. Workload Map bileşeni, her bir çerçeve için kod içine sabitlenmiş kurallar yazmak yerine esnek bir soyutlama katmanı sunar. Böylece yeni bir açık kaynak eğitim veya çıkarım aracı çıktığında, zamanlayıcı çekirdeğini değiştirmeden sisteme hızla tanımlanabilir.
Fiziksel GPU Olmadan Yerel Bilgisayarda Test İmkanı
NVIDIA, geliştiricilerin ve altyapı mimarlarının sistemi test etmek için pahalı GPU sunucularına ihtiyaç duymamasını sağlayacak pratik bir geliştirici ortamı da (local-dev.sh) repoya dahil etti.
Linux veya macOS işletim sistemli standart bir dizüstü bilgisayarda çalıştırılabilen bu betik, yerel bir Kubernetes (Kind) kümesi ayağa kaldırıyor ve içine sahte bir GPU operatörü (fake GPU operator) kuruyor. Sistem, üzerinde 8 adet NVIDIA A10 GPU bulunan sanal bir ortamı simüle ederek; GPU bölme, kota ödünç alma ve kuyruk yönetimi senaryolarının fiziksel donanım olmadan uçtan uca deneyimlenmesine olanak tanıyor.
Apache 2.0 lisansıyla tamamen özgürleştirilen Run:ai, bulut bağımsız (cloud-agnostic) yapay zeka altyapısı kurmak isteyen şirketler için Kubernetes ekosistemindeki en güçlü açık standart olmaya aday görünüyor.
