NVIDIA, TensorRT RTX ile yerel yapay zekâ uygulamaları için açık kaynak C++ örnekleri yayımladı
DIN Deploy adlı koleksiyon, ONNX Runtime ile TensorRT RTX'i bir araya getirerek Whisper, SAM 2.1 ve FLUX.2 gibi modelleri Windows ve Linux'ta yerel C++ uygulamalarına taşımayı gösteriyor.
NVIDIA, 1 Ekim 2026'da teknik blogunda Do Inference Now (DIN) Deploy adlı açık kaynak C++ örnek koleksiyonunu tanıttı. Örnekler, ONNX Runtime'ı NVIDIA TensorRT RTX yürütme sağlayıcısıyla birleştirip bir model checkpoint'inden Windows ve Linux'ta donanım hızlandırmalı, yerel bir uygulamaya geçmeyi gösteriyor.
Her örnekte bir Python dışa aktarıcısı modeli Hugging Face'ten indirip ONNX'e çeviriyor; uygulama tarafı ONNX Runtime üzerine kurulu yerel bir C++ komut satırı aracı. Konuşma tanıma için OpenAI Whisper, NVIDIA Parakeet TDT ve Nemotron ASR Streaming; görsel ve videoda etkileşimli maskeleme için Meta SAM 2.1; metinden görsel üretimi için FLUX.2-klein-4B örnekleri var. FLUX.2 örneği, ONNX Runtime 1.25 ile gelen grafik birlikte çalışabilirliğiyle Vulkan ve DirectX kullanıyor ve NVIDIA Model Optimizer ile eğitim sonrası nicemlemenin uygulama kodu değişmeden nasıl uygulandığını gösteriyor.
Depo, Arm64 dahil Windows ve Linux için CMake hazır ayarlarıyla geliyor; DirectX yalnızca Windows'ta. Kod GitHub'daki DIN Deploy deposunda.
0 yorum