SGLang ile iş birliğimizin sonuçlarını paylaşmaktan heyecan duyuyoruz. 🎉
Birlikte, GB200 NVL72 üzerinde dağıtım için DeepSeek R1 çıkarımını optimize ettik - H100 kümelerine kıyasla neredeyse iki katı büyüklükte, her GPU'da 2x ve 3x artış sağladık.
Sınır MoE çıkarımının böyle göründüğüdür.
View Original