NVIDIA Optimalkan DGX Spark untuk Mempercepat Pemrosesan Model AI Campuran Pakar
NVIDIA memperkenalkan serangkaian optimalisasi perangkat lunak untuk meningkatkan kecepatan pemrosesan model kecerdasan buatan berbasis Mixture of Experts (MoE) pada DGX Spark. Melalui pembahasan teknis yang dipublikasikan pada 27 Oktober 2026, perusahaan menjelaskan tiga pendekatan utama, yaitu Humming MXFP4, kuantisasi FP8 pada LM head, dan speculative decoding menggunakan NEXTN. Pengujian pada model Ling-3.0-flash menunjukkan peningkatan kecepatan generasi token hingga 42,5 persen dalam evaluasi GSM8K, disertai penurunan latensi rata-rata sebesar 24,5 persen. Inovasi TEKNOLOGI ini menjadi perkembangan penting bagi pengembang yang membutuhkan pemrosesan model AI berukuran besar melalui komputer desktop dengan efisiensi lebih baik.
Inovasi NVIDIA Mempercepat Pemrosesan Model AI Campuran Pakar
Perangkat DGX Spark dikenal sebagai platform pemrosesan lokal bagi pengembang kecerdasan buatan yang dirancang menangani berbagai pekerjaan AI. Platform desktop tersebut memanfaatkan teknologi komputasi Grace Blackwell serta dilengkapi kapasitas unified memory 128 GB. Dengan dukungan perangkat keras tersebut, peneliti memiliki kesempatan menguji model AI pada perangkat sendiri. Walaupun memiliki kemampuan komputasi tinggi, kinerja model juga dipengaruhi pengaturan inferensi.
Pada evaluasi teknis yang diumumkan, NVIDIA berfokus meningkatkan inferensi model MoE. Arsitektur MoE memiliki banyak komponen komputasi yang disebut experts dan hanya mengaktifkan sebagian pakar untuk setiap token. Pendekatan tersebut memungkinkan kapasitas model menjadi sangat besar tanpa harus mengaktifkan seluruh parameter pada setiap langkah. Meski hanya menggunakan sebagian parameter, proses membaca parameter masih berpotensi membatasi performa.
Penyebab Pemrosesan Token Melambat pada Model Mixture of Experts
Sebagai langkah awal optimalisasi, NVIDIA memilih Ling-3.0-flash sebagai objek evaluasi dari Inclusion AI. Model tersebut menyimpan total 124 miliar parameter, tetapi menggunakan kurang lebih 5,1 miliar parameter untuk setiap token. Model tersebut turut menggunakan 512 routed experts pada setiap lapisan MoE. Ketika sistem menjalankan lapisan MoE, delapan expert terarah bekerja dengan satu shared expert. Konfigurasi pakar tersebut memberikan fleksibilitas komputasi.
Temuan dari proses profiling mengidentifikasi keterbatasan pemrosesan akibat akses memori. Ketika model menghasilkan token secara berurutan, waktu tidak hanya dihabiskan untuk perhitungan matematika. Proses inferensi membutuhkan akses terhadap bobot model dari memori. Dua bagian yang paling menonjol adalah perhitungan pakar MoE dan proyeksi keluaran. Karena itu, NVIDIA menguji kombinasi pendekatan pengurangan akses memori dan langkah decoding. Tujuannya adalah mengurangi biaya setiap langkah pemrosesan.
Humming MXFP4 Mempercepat Komputasi Pakar pada Model AI
Optimalisasi pertama adalah penggunaan Humming MXFP4 MoE backend. Dalam sistem pembanding, Ling-3.0-flash menjalankan kernel MoE berbasis FlashInfer. NVIDIA kemudian memilih kernel Humming untuk menjalankan operasi tersebut. Pustaka ini menggunakan NVIDIA CUDA Runtime Compilation atau NVRTC untuk menghasilkan kernel yang disesuaikan dengan kebutuhan model. Melalui proses tersebut, implementasi dapat menyesuaikan diri dengan beban kerja tertentu. Manfaat teknis tambahan adalah proses kompilasi yang lebih terarah.
Melalui pengukuran performa tertentu, NVIDIA memanfaatkan konteks masukan sebesar 32K token serta hasil generasi sepanjang 2K token pada batch size satu. Pada konfigurasi sebelum optimalisasi, model menghasilkan sekitar 36,09 token per detik. Setelah Humming diaktifkan, throughput naik hingga 39,45 token setiap detik. Peningkatan performa ini setara dengan kenaikan 9,3 persen. Walaupun peningkatannya tidak mencapai puluhan persen, pembaruan kernel memberikan kontribusi terhadap peningkatan performa gabungan.
NVIDIA Optimalkan LM Head untuk Mempercepat Generasi Token
Langkah peningkatan performa berikutnya berfokus pada lapisan LM head. Lapisan keluaran tersebut adalah operasi yang memproyeksikan representasi model menjadi skor token. Dalam Ling-3.0-flash, lapisan keluaran melibatkan kosakata sebanyak 157.184 token dengan representasi internal sepanjang 2.560 elemen. Sebelum optimalisasi dilakukan, parameter keluaran dipertahankan pada presisi BF16. Karena bobot perlu dibaca untuk setiap token, volume pembacaan memori menjadi cukup besar.
Sebagai solusi terhadap beban memori, NVIDIA menerapkan kuantisasi FP8 secara dinamis. Pendekatan kuantisasi tersebut mengurangi ukuran representasi bobot pada lapisan LM head. Berkat representasi delapan bit, volume pembacaan bobot lapisan tersebut berkurang sekitar setengahnya. Melalui penerapan dua optimalisasi tersebut, throughput meningkat menjadi 43,94 token per detik dalam pengujian sintetis yang sama. Hasil performa tersebut menggambarkan kenaikan throughput sebesar 21,7 persen terhadap sistem pembanding.
Hasil Pengujian NVIDIA Menunjukkan Peningkatan Kecepatan Generasi AI
Optimalisasi terakhir yang diuji adalah multi-token prediction atau MTP speculative decoding menggunakan NEXTN. Jika dibandingkan dengan optimalisasi kernel serta memori, metode ini mengurangi kebutuhan menghasilkan setiap token melalui langkah terpisah. Model yang dievaluasi telah dilengkapi mekanisme NEXTN yang dapat berfungsi sebagai model draft. Dalam implementasi tersebut, mekanisme spekulatif menghasilkan tiga token awal kemudian menilai beberapa kandidat melalui satu putaran verifikasi. Kandidat yang lolos pemeriksaan dipertahankan tanpa memerlukan decoding terpisah untuk setiap token. Pendekatan speculative decoding berpotensi mempercepat generasi apabila prediksi awal cukup akurat.
Dalam evaluasi awal dengan keluaran tetap, penerapan Humming, FP8, dan NEXTN secara bersamaan meningkatkan throughput hingga 102,88 token per detik. Hasil tersebut menggambarkan percepatan 185,1 persen dibandingkan konfigurasi awal. Walaupun angka tersebut terlihat sangat besar, pengujian buatan belum tentu menggambarkan penggunaan sebenarnya. Sebagai evaluasi tambahan, NVIDIA menggunakan seluruh 1.319 pertanyaan GSM8K. Berdasarkan hasil benchmark ini, model menghasilkan 53,89 token per detik dibandingkan 37,81 sebelumnya. Melalui hasil evaluasi ini, percepatan generasi tercatat sebesar 42,5 persen.
Tidak hanya meningkatkan throughput, kombinasi optimalisasi tersebut juga mengurangi latensi rata-rata. Berdasarkan evaluasi yang sama, latensi rata-rata turun dari 15,21 menjadi 11,49 detik. Penurunan waktu pemrosesan tersebut menunjukkan perbaikan latensi sebesar 24,5 persen. Dalam pengukuran akurasi, akurasi tercatat 96,82 persen dibandingkan 96,89 persen sebelumnya. Berdasarkan analisis yang dipublikasikan, penurunan angka yang kecil itu tidak menunjukkan perbedaan statistik yang jelas. Namun perlu diperhatikan, ketiga optimalisasi harus diintegrasikan dengan benar, karena pengaturan LM head yang keliru dapat menurunkan performa.
Manfaat Humming FP8 dan NEXTN bagi Pengembangan Kecerdasan Buatan
Pengembangan optimalisasi NVIDIA DGX Spark menjadi contoh peningkatan performa melalui rekayasa sistem dalam penggunaan model kecerdasan buatan berukuran besar. Melalui Humming MXFP4, proses komputasi pakar menjadi lebih efisien. Sebagai langkah tambahan, kompresi bobot LM head melalui FP8 menekan volume transfer parameter. Penggunaan NEXTN melengkapi kedua pendekatan tersebut melalui prediksi beberapa token sekaligus. Pengukuran performa NVIDIA mencatat percepatan token hingga 42,5 persen dalam skenario GSM8K yang digunakan. Walaupun pencapaian tersebut menjanjikan, pengembang tetap perlu menguji workload masing-masing. Inovasi TEKNOLOGI optimalisasi model MoE berpotensi membuka peluang pengembangan aplikasi lebih responsif. Bagaimana menurut Anda mengenai penggunaan model Mixture of Experts secara lokal? Bagikan pendapat Anda mengenai manfaat pengembangan tersebut.
