NVIDIA Optimalkan DGX Spark untuk Mempercepat Pemrosesan Model AI Campuran Pakar
NVIDIA memperkenalkan serangkaian optimalisasi perangkat lunak untuk meningkatkan kecepatan pemrosesan model kecerdasan buatan berbasis Mixture of Experts (MoE) pada DGX Spark. Melalui pembahasan teknis yang dipublikasikan pada 27 Oktober 2026, perusahaan menjelaskan tiga pendekatan utama, yaitu Humming MXFP4, kuantisasi FP8 pada LM head, dan speculative decoding menggunakan NEXTN. Pengujian pada model Ling-3.0-flash menunjukkan peningkatan kecepatan generasi token hingga 42,5 persen dalam evaluasi GSM8K, disertai penurunan latensi rata-rata sebesar 24,5 persen. Inovasi TEKNOLOGI ini menjadi perkembangan penting bagi pengembang yang membutuhkan pemrosesan model AI berukuran besar melalui komputer desktop dengan efisiensi lebih baik.
NVIDIA Mengembangkan Optimalisasi AI Mixture of Experts pada DGX Spark
Komputer AI NVIDIA DGX Spark adalah platform pemrosesan lokal bagi pengembang kecerdasan buatan yang ditujukan mendukung eksperimen dan pengembangan AI. Perangkat tersebut menggunakan arsitektur NVIDIA Grace Blackwell serta menghadirkan memori bersama berkapasitas 128 GB. Berkat kemampuan komputasi yang tersedia, peneliti memiliki kesempatan menguji model AI pada perangkat sendiri. Namun demikian, efisiensi perangkat lunak tetap menjadi faktor penting.
Pada evaluasi teknis yang diumumkan, NVIDIA berfokus meningkatkan inferensi model MoE. Arsitektur MoE menggunakan sejumlah kelompok parameter khusus dan menggunakan bagian tertentu dari model ketika menghasilkan token. Pendekatan tersebut mendukung pengembangan jaringan saraf berparameter tinggi tanpa memproses setiap pakar untuk setiap token. Walaupun lebih selektif dalam perhitungan, proses membaca parameter masih berpotensi membatasi performa.
Memahami Hambatan Kecepatan Inferensi AI pada NVIDIA DGX Spark
Untuk mengidentifikasi hambatan performa, NVIDIA melakukan pengujian pada Ling-3.0-flash dari Inclusion AI. Sistem kecerdasan buatan ini dibangun dengan kapasitas 124 miliar parameter, tetapi menggunakan kurang lebih 5,1 miliar parameter untuk setiap token. Arsitektur ini dilengkapi sebanyak 512 pakar yang dapat dipilih pada tiap lapisan MoE. Ketika sistem menjalankan lapisan MoE, delapan expert terarah bekerja dengan satu shared expert. Susunan tersebut memungkinkan penggunaan parameter secara selektif.
Temuan dari proses profiling menunjukkan bahwa tahap decoding dibatasi bandwidth memori. Dalam kondisi tersebut, kecepatan tidak sepenuhnya ditentukan oleh operasi aritmetika. Sistem juga harus membaca data numerik untuk menjalankan lapisan model. Komponen dengan beban terbesar adalah operasi Mixture of Experts dan lapisan prediksi kosakata. Karena itu, NVIDIA memanfaatkan beberapa metode peningkatan efisiensi inferensi. Pendekatan ini berfokus pada meningkatkan throughput tanpa sekadar menambah perangkat keras.
Cara NVIDIA Mengoptimalkan Kernel MoE Menggunakan Humming
Optimalisasi pertama adalah penerapan kernel Humming untuk pemrosesan MoE. Sebelum pembaruan diterapkan, Ling-3.0-flash menjalankan kernel MoE berbasis FlashInfer. Tim pengembang selanjutnya memilih kernel Humming untuk menjalankan operasi tersebut. Humming memanfaatkan NVIDIA CUDA Runtime Compilation atau NVRTC untuk menghasilkan kernel yang disesuaikan dengan kebutuhan model. Berkat penyesuaian terhadap bentuk operasi, pemrosesan dapat dioptimalkan bagi karakteristik Ling-3.0-flash. Keunggulan lainnya adalah pengurangan pekerjaan kompilasi yang tidak diperlukan.
Melalui pengukuran performa tertentu, NVIDIA menggunakan masukan sepanjang 32 ribu token serta keluaran sebanyak 2.000 token pada batch size satu. Pada konfigurasi sebelum optimalisasi, throughput tercatat 36,09 token setiap detik. Dengan penggantian backend MoE, throughput naik hingga 39,45 token setiap detik. Hasil pengujian tersebut menggambarkan percepatan sekitar 9,3 persen. Walaupun peningkatannya tidak mencapai puluhan persen, pembaruan kernel memberikan kontribusi terhadap peningkatan performa gabungan.
NVIDIA Optimalkan LM Head untuk Mempercepat Generasi Token
Teknik lanjutan yang digunakan NVIDIA berfokus pada lapisan LM head. Komponen proyeksi akhir ini berfungsi sebagai bagian yang menghitung skor kandidat token berikutnya. Pada model yang diuji, komponen output menggunakan 157.184 entri kosakata dengan dimensi tersembunyi sebesar 2.560. Sebelum optimalisasi dilakukan, bobot LM head disimpan dalam format BF16. Karena bobot perlu dibaca untuk setiap token, kebutuhan bandwidth meningkat.
Sebagai solusi terhadap beban memori, NVIDIA menerapkan kuantisasi FP8 secara dinamis. Pendekatan kuantisasi tersebut mengurangi ukuran representasi bobot pada komponen proyeksi kosakata. Berkat representasi delapan bit, beban transfer parameter pada lapisan tersebut turun separuh. Setelah dikombinasikan bersama backend Humming, throughput meningkat menjadi 43,94 token per detik dalam pengujian sintetis yang sama. Pencapaian ini setara dengan percepatan 21,7 persen dari konfigurasi awal.
Penerapan Multi Token Prediction pada NVIDIA DGX Spark
Teknik ketiga adalah multi-token prediction atau MTP speculative decoding menggunakan NEXTN. Berbeda dengan dua teknik sebelumnya, metode ini berfokus mengurangi jumlah langkah decoding. Arsitektur Ling tersebut menyediakan komponen bawaan untuk memprediksi token lanjutan. Melalui konfigurasi yang diuji, model draft menyusun tiga token kandidat kemudian melakukan pemeriksaan terhadap empat posisi keluaran. Token yang dinyatakan sesuai menjadi bagian dari respons yang dihasilkan. Pendekatan speculative decoding berpotensi mempercepat generasi apabila prediksi awal cukup akurat.
Berdasarkan workload buatan yang digunakan, penggabungan seluruh teknik tersebut meningkatkan throughput hingga 102,88 token per detik. Performa sintetis tersebut setara dengan kenaikan 185,1 persen dari baseline. Namun demikian, pengujian buatan belum tentu menggambarkan penggunaan sebenarnya. Untuk mendapatkan gambaran lebih realistis, NVIDIA menggunakan seluruh 1.319 pertanyaan GSM8K. Pada evaluasi tersebut, kecepatan meningkat dari 37,81 hingga 53,89 token setiap detik. Dengan demikian, peningkatan throughput mencapai 42,5 persen.
Tidak hanya meningkatkan throughput, kombinasi optimalisasi tersebut menurunkan waktu penyelesaian permintaan. Pada seluruh pertanyaan yang diuji, latensi rata-rata turun dari 15,21 menjadi 11,49 detik. Penurunan waktu pemrosesan tersebut setara dengan pengurangan 24,5 persen. Sementara itu, nilai GSM8K berubah dari 96,89 menjadi 96,82 persen. Berdasarkan analisis yang dipublikasikan, penurunan angka yang kecil itu tidak menunjukkan perbedaan statistik yang jelas. Walaupun hasilnya positif, penerapan seluruh metode membutuhkan pemeriksaan kompatibilitas, karena ketidakcocokan antara model draft dan model utama dapat menyebabkan perlambatan.
Kesimpulan Optimalisasi NVIDIA DGX Spark untuk Model AI MoE
Penerapan teknik inferensi terbaru NVIDIA menjadi contoh peningkatan performa melalui rekayasa sistem dalam penggunaan model kecerdasan buatan berukuran besar. Melalui Humming MXFP4, beban operasi MoE berhasil dikurangi. Di sisi pengelolaan memori, kuantisasi FP8 pada LM head meningkatkan efisiensi akses memori. Integrasi multi-token prediction melengkapi kedua pendekatan tersebut melalui prediksi beberapa token sekaligus. Hasil pengujian mencatat percepatan token hingga 42,5 persen dalam skenario GSM8K yang digunakan. Meski hasil eksperimen menunjukkan kemajuan, performa aktual harus divalidasi untuk setiap aplikasi. Perkembangan TEKNOLOGI pemrosesan AI berpotensi membuka peluang pengembangan aplikasi lebih responsif. Apa pendapat Anda mengenai optimalisasi NVIDIA DGX Spark? Sampaikan pengalaman Anda mengenai manfaat pengembangan tersebut.
