NVIDIA Optimalkan DGX Spark untuk Mempercepat Pemrosesan Model AI Campuran Pakar
NVIDIA memperkenalkan serangkaian optimalisasi perangkat lunak untuk meningkatkan kecepatan pemrosesan model kecerdasan buatan berbasis Mixture of Experts (MoE) pada DGX Spark. Melalui pembahasan teknis yang dipublikasikan pada 27 Oktober 2026, perusahaan menjelaskan tiga pendekatan utama, yaitu Humming MXFP4, kuantisasi FP8 pada LM head, dan speculative decoding menggunakan NEXTN. Pengujian pada model Ling-3.0-flash menunjukkan peningkatan kecepatan generasi token hingga 42,5 persen dalam evaluasi GSM8K, disertai penurunan latensi rata-rata sebesar 24,5 persen. Inovasi TEKNOLOGI ini menjadi perkembangan penting bagi pengembang yang membutuhkan pemrosesan model AI berukuran besar melalui komputer desktop dengan efisiensi lebih baik.
NVIDIA Mengembangkan Optimalisasi AI Mixture of Experts pada DGX Spark
Perangkat DGX Spark dikenal sebagai platform pemrosesan lokal bagi pengembang kecerdasan buatan yang dikembangkan untuk menjalankan model kecerdasan buatan. Sistem komputasi ini memanfaatkan teknologi komputasi Grace Blackwell serta menyediakan memori terpadu sebesar 128 GB. Melalui konfigurasi tersebut, peneliti memiliki kesempatan menguji model AI pada perangkat sendiri. Namun demikian, efisiensi perangkat lunak tetap menjadi faktor penting.
Pada evaluasi teknis yang diumumkan, NVIDIA berfokus meningkatkan inferensi model MoE. Arsitektur MoE menggunakan sejumlah kelompok parameter khusus dan menggunakan bagian tertentu dari model ketika menghasilkan token. Strategi komputasi tersebut memberikan ruang untuk meningkatkan ukuran model tanpa menggunakan semua komponen secara bersamaan. Walaupun lebih selektif dalam perhitungan, proses membaca parameter masih berpotensi membatasi performa.
Memahami Hambatan Kecepatan Inferensi AI pada NVIDIA DGX Spark
Untuk mengidentifikasi hambatan performa, NVIDIA memilih Ling-3.0-flash sebagai objek evaluasi dari Inclusion AI. Model tersebut dibangun dengan kapasitas 124 miliar parameter, tetapi hanya mengaktifkan sekitar 5,1 miliar parameter per token. Arsitektur ini dilengkapi 512 routed experts pada setiap lapisan MoE. Ketika sistem menjalankan lapisan MoE, delapan pakar dipilih bersama satu shared expert. Konfigurasi pakar tersebut memberikan fleksibilitas komputasi.
Temuan dari proses profiling mengidentifikasi keterbatasan pemrosesan akibat akses memori. Pada skenario pengujian ini, waktu tidak hanya dihabiskan untuk perhitungan matematika. Sistem juga harus membaca bobot model dari memori. Dua bagian yang paling menonjol adalah pemrosesan routed experts serta LM head. Untuk mengatasi hambatan ini, NVIDIA mengembangkan tiga teknik optimalisasi yang saling melengkapi. Pendekatan ini berfokus pada mengurangi biaya setiap langkah pemrosesan.
Cara NVIDIA Mengoptimalkan Kernel MoE Menggunakan Humming
Optimalisasi pertama adalah penggantian backend pakar dengan Humming. Dalam sistem pembanding, Ling-3.0-flash menggunakan backend FlashInfer MXFP4. NVIDIA kemudian memilih kernel Humming untuk menjalankan operasi tersebut. Humming memanfaatkan NVIDIA CUDA Runtime Compilation atau NVRTC untuk menghasilkan kernel yang disesuaikan dengan kebutuhan model. Berkat penyesuaian terhadap bentuk operasi, kernel lebih sesuai dengan ukuran komputasi model. Nilai tambah pendekatan ini adalah penyusunan kernel secara lebih spesifik.
Berdasarkan evaluasi awal, NVIDIA memanfaatkan konteks masukan sebesar 32K token serta hasil generasi sepanjang 2K token pada batch size satu. Ketika menggunakan sistem pembanding, throughput tercatat 36,09 token setiap detik. Setelah Humming diaktifkan, throughput naik hingga 39,45 token setiap detik. Peningkatan performa ini menunjukkan peningkatan throughput sebesar 9,3 persen. Meskipun terlihat sederhana, optimalisasi ini menjadi fondasi bagi teknik berikutnya.
Kuantisasi FP8 Mengurangi Beban Pembacaan Memori pada DGX Spark
Teknik lanjutan yang digunakan NVIDIA diterapkan pada bagian proyeksi keluaran model. Komponen proyeksi akhir ini berfungsi sebagai bagian yang menghitung skor kandidat token berikutnya. Dalam Ling-3.0-flash, LM head memproses vocabulary berukuran 157.184 token dengan representasi internal sepanjang 2.560 elemen. Pada konfigurasi sebelumnya, lapisan tersebut menggunakan representasi BF16. Karena bobot perlu dibaca untuk setiap token, proses decoding menghadapi beban transfer data tambahan.
Dalam upaya mempercepat lapisan keluaran, NVIDIA mengubah representasi LM head menuju FP8 ketika pemuatan model. Teknik ini memperkecil jumlah data yang perlu dibaca pada komponen proyeksi kosakata. Melalui penggunaan FP8 untuk bobot LM head, beban transfer parameter pada lapisan tersebut turun separuh. Melalui penerapan dua optimalisasi tersebut, kecepatan generasi mencapai 43,94 token setiap detik dalam pengujian sintetis yang sama. Hasil performa tersebut setara dengan percepatan 21,7 persen dari konfigurasi awal.
Hasil Pengujian NVIDIA Menunjukkan Peningkatan Kecepatan Generasi AI
Optimalisasi terakhir yang diuji adalah multi-token prediction atau MTP speculative decoding menggunakan NEXTN. Tidak seperti Humming dan kuantisasi FP8, metode ini bertujuan menghasilkan beberapa token melalui satu putaran verifikasi. Model yang dievaluasi telah dilengkapi lapisan prediksi NEXTN. Dengan pengaturan pemrosesan tertentu, sistem memprediksi tiga token terlebih dahulu kemudian memverifikasi empat posisi sekaligus. Kandidat yang lolos pemeriksaan dipertahankan tanpa memerlukan decoding terpisah untuk setiap token. Pendekatan speculative decoding dapat meningkatkan jumlah token per detik apabila tingkat penerimaan token memadai.
Dalam evaluasi awal dengan keluaran tetap, kombinasi ketiga optimalisasi menghasilkan 102,88 token per detik. Hasil tersebut menunjukkan peningkatan throughput sebesar 185,1 persen. Meski hasil sintetis menunjukkan percepatan tinggi, hasil ini tidak mewakili seluruh jenis pekerjaan. Untuk mendapatkan gambaran lebih realistis, NVIDIA mengevaluasi model menggunakan keseluruhan set uji GSM8K. Berdasarkan hasil benchmark ini, model menghasilkan 53,89 token per detik dibandingkan 37,81 sebelumnya. Berdasarkan perbandingan tersebut, keuntungan performa sebesar 42,5 persen berhasil diperoleh.
Tidak hanya meningkatkan throughput, kombinasi optimalisasi tersebut mempercepat respons keseluruhan. Berdasarkan evaluasi yang sama, waktu respons rata-rata berkurang dari 15,21 detik ke 11,49 detik. Perubahan tersebut menggambarkan penurunan waktu respons sekitar 24,5 persen. Dari sisi kualitas jawaban, akurasi tercatat 96,82 persen dibandingkan 96,89 persen sebelumnya. NVIDIA menyatakan, perbedaan ketepatan tersebut tidak terdeteksi sebagai perubahan bermakna. Meski demikian, ketiga optimalisasi harus diintegrasikan dengan benar, karena kesalahan integrasi FP8 dengan NEXTN bisa menghasilkan throughput lebih buruk daripada baseline.
Manfaat Humming FP8 dan NEXTN bagi Pengembangan Kecerdasan Buatan
Penyempurnaan perangkat lunak untuk pemrosesan model MoE menunjukkan pentingnya efisiensi komputasi dalam pemrosesan jaringan saraf kompleks. Dengan penggunaan kernel Humming, beban operasi MoE berhasil dikurangi. Sementara itu, penggunaan representasi FP8 untuk lapisan keluaran membantu mengurangi kebutuhan pembacaan data. Integrasi multi-token prediction mengurangi kebutuhan langkah generasi berulang melalui prediksi beberapa token sekaligus. Evaluasi benchmark memperlihatkan peningkatan kecepatan generasi sebesar 42,5 persen dalam skenario GSM8K yang digunakan. Walaupun pencapaian tersebut menjanjikan, pengembang tetap perlu menguji workload masing-masing. Perkembangan TEKNOLOGI pemrosesan AI berpotensi membuka peluang pengembangan aplikasi lebih responsif. Bagaimana pandangan Anda mengenai peningkatan performa AI melalui Humming dan speculative decoding? Ceritakan pandangan Anda mengenai peluang penerapan teknologi ini.
