Foto ilustrasi Catatan Cak AT: Mempercepat AI Lokal dengan ‘Speculative Decoding’. (Foto: Dok RUZKA INDONESIA)
RUZKA-REPUBLIKA NETWORK — Bayangkan sebuah dunia di mana Google, dengan segala kekuatan dan kekayaannya, ternyata diam-diam memakai jurus ninja yang disebut speculative decoding.
Publik? Ya, seperti biasa: sibuk ngoprek HP atau cari promo gratis ongkir, tanpa tahu bahwa yang dicari di Google sebenarnya diproses lewat jurus kilat nan canggih ini.
Jurus ini ditemukan oleh trio ilmuwan Google: Yaniv Leviathan, Matan Kalman, dan Yossi Matias, yang memublikasikan makalah mereka di arXiv pada November 2022 —dan kemudian memamerkannya di ICML 2023.
Baca juga: media yang menggandakan kebisingan
Mereka menamakannya: “Fast Inference from Transformers via Speculative Decoding.” Judulnya terdengar seperti mantra Hogwarts, tapi isinya sangat teknikal —dan revolusioner.
Dalam dunia AI, menghasilkan teks itu ibarat menyusun huruf demi huruf, token demi token. Lambat? Ya, bisa seperti nunggu sinyal Wi-Fi di pelosok.
Nah, speculative decoding mempercepat proses ini dengan cara cerdas: dua model AI dijalankan bersamaan —satu kecil dan gesit sebagai perintis jalan, satu besar dan cerdas sebagai penyaring akhir.
Baca juga: Catatan Cak AT: Boleh Ganti OS, Moral Jangan
Kalau tebakan si kecil benar, lanjut. Kalau salah, si besar turun tangan. Hemat waktu, hemat tenaga, dan —yang penting— tidak menurunkan kualitas.
Google sudah lama memakai teknik ini. Tapi mereka tak pernah bilang. Ya iyalah, kayak kita mau bilang ke orang bahwa kita masak pakai bumbu instan. Yang penting rasanya enak, kan?
Untungnya, ada satu orang baik hati di tengah hutan belantara Youtube: CosuCoder. Ia membuat eksperimen mandiri, dengan LLM lokal dan membocorkan cara kerja speculative decoding pakai LM Studio.
Baca juga: Catatan Cak AT: Ide Frustasi Amerika: Bom Nuklir Saja Gaza
Dan saya sendiri juga sudah coba melakukannya menggunakan pc server yang dilengkapi RTX 5070. Hasilnya tokcer, menunjukkan performa AI lokal yang meningkat secara signifikan.
Dengan gaya santai, CosuCoder berkata: “Saya cuma ingin AI saya jalan di laptop dengan AMD 7900 XTX, buat bantu-bantu otomatisasi di rumah. Biar nggak semua kerjaan diurus sendiri.” Ini baru namanya revolusi rumah tangga.
Ia mengetes model LLM bernama Qwen 2.5 Coder 14B dengan dan tanpa speculative decoding. Prompt-nya sederhana: “Tulis skrip Python untuk bermain poker.”
Baca juga: Terobosan! Kali Pertama Non Muslim Jabat Camat di Depok
Hasilnya? Tanpa speculative decoding cuma 52,78 token per detik. Setelah dinyalakan? Melonjak jadi 71 token/detik. Itu semacam dari naik angkot jadi naik ojek online —lebih cepat, lebih lincah, dan (semoga) tetap aman.
Eksperimen dilanjutkan. Model Qwen 2.5 Coder 14B jadi model utama, lalu dipasangkan dengan model draft Qwen 0.5B. Hasilnya tokcer. Tapi saat pakai draft model 3B, kecepatan turun, namun akurasinya naik.
Jadi ya tergantung kebutuhan —kita mau cepat tapi sedikit ngawur, atau sedikit lambat tapi lebih presisi. Mirip pilihan antara jurnalisme investigatif dan konten TikTok.
Kombinasi paling efisien? Model utama yang cukup besar, dan model draft yang kecil tapi gesit.
Baca juga: KONI Depok Bidik Posisi 10 Besar Porprov Jabar 2026
CosuCoder mencoba setting ini di LM Studio versi 0.3.1 (sebab, fitur speculative decoding baru muncul di versi ini). Visualisasi token berwarna hijau jadi indikator: makin hijau, makin valid prediksi si model kecil.
Tapi awas —prompt kreatif seperti “ceritakan kisah anjing yang bahagia” kurang cocok. Prompt faktual atau algoritmik seperti “buat kode Python sorting” jauh lebih efektif. Hasilnya bisa sampai 60% token langsung diterima oleh model besar. Hemat waktu, hemat energi —dan lebih banyak waktu buat ngopi.
Yang menarik, hasil uji CosuCoder menunjukkan bahwa dengan speculative decoding, kecepatan melonjak dari 51,45 menjadi 73,1 token per detik. Tanpa beli GPU baru. Tanpa jampi-jampi. Cukup akal sehat, kombinasi model yang tepat, dan sedikit keberanian untuk eksperimen.
Lebih jauh, data menunjukkan bahwa penggunaan draft model dengan parameter 0.5B punya akurasi 57,7%, sementara 3B mencapai 74,6%.
Baca juga: Catatan Cak AT: Akhir Kata Yogi (Tapi Jangan Dihapus Lagi)
Lagi-lagi, ini soal pilihan: akurasi atau kecepatan? Seperti milih dosen pembimbing: yang satu cepat bales tapi banyak typo, yang satu teliti tapi jawabnya seminggu kemudian.
Google sendiri mengklaim bahwa dengan teknik ini, mereka bisa meningkatkan kecepatan 2–3 kali lipat. Tapi publik tidak diberi tahu. Tidak ada notifikasi, tidak ada pop-up, bahkan tidak ada pesan WhatsApp broadcast.
Padahal ini menyangkut cara kita menerima informasi setiap hari. Kalau saja literasi teknologi masyarakat sedikit lebih tinggi, mungkin kita bisa bertanya: apa lagi yang mereka sembunyikan?
Kritik kita jelas: perusahaan sebesar Google mestinya bersikap lebih transparan tentang bagaimana teknologi mereka bekerja. Ini bukan cuma soal etika, tapi soal hak kita sebagai pengguna.
Baca juga: ISF 2025, Dorong Indonesia jadi Pemimpin Ekonomi Syariah Global
Sementara itu, masyarakat kita juga punya PR besar: melek teknologi. Supaya tidak hanya bisa jadi pemakai, tapi juga pengkritik yang cerdas dan sadar.
Walhasil, speculative decoding bukan sekadar fitur tambahan. Ia adalah penanda zaman baru di mana AI bisa dijalankan lebih cepat, lebih efisien, bahkan secara lokal di laptop kita.
Dengan pemahaman dan eksperimen mandiri, kita bisa memanfaatkannya untuk hal-hal yang lebih besar dari sekadar membuat skrip poker —seperti bikin sistem otomatisasi rumah, chatbot edukatif, atau bahkan AI yang bisa menulis puisi (dengan rasa lokal).
Tapi ingat: Seperti semua teknologi, AI bukanlah Tuhan. Itu alat. Dan alat ini sama kuatnya dengan yang digunakannya. (***)
Referensi:
1. Leviathan, Y., Kalman, M., & Matias, Y. (2022). Inferensi cepat dari transformator melalui decoding spekulatif._ ARXIV Preprint ARXIV: 2211.17192.
2. Blog Penelitian Google. (2024). Melihat kembali decoding spekulatif.
Penulis: Cak AT – Ahmadie Thaha/Ma’had Tadabbur al-Qur’an, 29/5/2025
“) .attr ({type: ‘text/javascript’, src: ‘https://platform.twitter.com/widgets.js’}). prependto (” head “); if ($ (“. Instagram-media “). Panjang> 0) $ (”
Informasi Pisang
Buah Pisang
Pisang
ADVERTISEMENT
Informasi mengenai king slot
king selot
king slot
king slot
kingselot
pg king slot
rungkad88
sabet88slot
sakti888
santai88
santika88
sebat777
sebat88
sensasi77
serba88
shangrila88
sheraton88
shopee88
sibukslot88
sido888
sinar88slot
sinartogel88
singa88
sis88
slotplay88
solitaire88
sontogel88
sparta888
speaker88
suara88
sukaslot888
sultan777
sumo7777
supermoney888
surga888
surgaplay88
surya888
suzuki88
tahta88
tahtatoto
target888
taruhan777
tato88
tebar88
teknis88
teluk88
teluk88
texas888
kilau88
tiket88
tiktok888
togelsumo88
totosaja88
trading88
tradingview88
tripadvisor88
uang88
ubud88
ultra77
usdt88
userslot88
uyatoto
vegasslot88
vertu777
voxy888
warung22
wasiat88
whatsapp88
winrate999
wks88
wordpress88
wuzz888
xuxu88
yoktogel88
zara88
adu88
agoda88
andara999
asiahoki777
asiahoki88
atlas777
atlas88
autospin888
axl77
axl777
ayo777
bakwanbet88
balak666
bangkit88
batu88
bayar777
bayar777
bayar88
berita88
bobo88
box77
bromo777
ceria88
cipit888
dewahoki88
dewanaga
dewanaga88
dewaslot77
dewi228
dewihoki88
dosen88
elanggame88
rungkad88 permainan paling top dan garansi imbal balik hasil besar bersama https://rungkad88.biz/
sabet88slot permainan paling top dan garansi imbal balik hasil besar bersama https://sabet88slot.com/
sakti888 permainan paling top dan garansi imbal balik hasil besar bersama https://sakti888.biz/
santai88 permainan paling top dan garansi imbal balik hasil besar bersama https://santai88.org/
santika88 permainan paling top dan garansi imbal balik hasil besar bersama https://santika88.org/
sebat777 permainan paling top dan garansi imbal balik hasil besar bersama https://sebat777.info/
sebat88 permainan paling top dan garansi imbal balik hasil besar bersama https://sebat88.info/
sensasi77 permainan paling top dan garansi imbal balik hasil besar bersama https://sensasi77.biz/
serba88 permainan paling top dan garansi imbal balik hasil besar bersama https://serba88.biz/
shangrila88 permainan paling top dan garansi imbal balik hasil besar bersama https://shangrila88.com/
sheraton88 permainan paling top dan garansi imbal balik hasil besar bersama https://sheraton88.com/
shopee88 permainan paling top dan garansi imbal balik hasil besar bersama https://shopee88.biz/
sibukslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://sibukslot88.com/
sido888 permainan paling top dan garansi imbal balik hasil besar bersama https://sido888.com/
sinar88slot permainan paling top dan garansi imbal balik hasil besar bersama https://sinar88slot.info/
sinartogel88 permainan paling top dan garansi imbal balik hasil besar bersama https://sinartogel88.biz/
singa88 permainan paling top dan garansi imbal balik hasil besar bersama https://singa88.biz/
sis88 permainan paling top dan garansi imbal balik hasil besar bersama https://sis88.biz/
slotplay88 permainan paling top dan garansi imbal balik hasil besar bersama https://slotplay88.biz/
solitaire88 permainan paling top dan garansi imbal balik hasil besar bersama https://solitaire88.net/
sontogel88 permainan paling top dan garansi imbal balik hasil besar bersama https://sontogel88.com/
sparta888 permainan paling top dan garansi imbal balik hasil besar bersama https://sparta888.co/
speaker88 permainan paling top dan garansi imbal balik hasil besar bersama https://speaker88.net/
suara88 permainan paling top dan garansi imbal balik hasil besar bersama https://suara88.biz/
sukaslot888 permainan paling top dan garansi imbal balik hasil besar bersama https://sukaslot888.info/
sultan777 permainan paling top dan garansi imbal balik hasil besar bersama https://sultan777.asia/
sumo7777 permainan paling top dan garansi imbal balik hasil besar bersama https://sumo7777.com/
supermoney888 permainan paling top dan garansi imbal balik hasil besar bersama https://supermoney888.biz/
surga888 permainan paling top dan garansi imbal balik hasil besar bersama https://surga888.biz/
surgaplay88 permainan paling top dan garansi imbal balik hasil besar bersama https://surgaplay88.biz/
surya888 permainan paling top dan garansi imbal balik hasil besar bersama https://surya888.biz/
suzuki88 permainan paling top dan garansi imbal balik hasil besar bersama https://suzuki88.biz/
tahta88 permainan paling top dan garansi imbal balik hasil besar bersama https://tahta88.biz/
tahtatoto permainan paling top dan garansi imbal balik hasil besar bersama https://tahtatoto.biz/
target888 permainan paling top dan garansi imbal balik hasil besar bersama https://target888.biz/
taruhan777 permainan paling top dan garansi imbal balik hasil besar bersama https://taruhan777.biz/
tato88 permainan paling top dan garansi imbal balik hasil besar bersama https://tato88.org/
tebar88 permainan paling top dan garansi imbal balik hasil besar bersama https://tebar88.asia/
teknis88 permainan paling top dan garansi imbal balik hasil besar bersama https://teknis88.com/
teluk88 permainan paling top dan garansi imbal balik hasil besar bersama https://teluk88.biz/
teluk88 permainan paling top dan garansi imbal balik hasil besar bersama https://teluk88.info/
texas888 permainan paling top dan garansi imbal balik hasil besar bersama https://texas888.asia/
kilau88 permainan paling top dan garansi imbal balik hasil besar bersama https://texas888slot.org/
tiket88 permainan paling top dan garansi imbal balik hasil besar bersama https://tiket88.asia/
tiktok888 permainan paling top dan garansi imbal balik hasil besar bersama https://tiktok888.info/
togelsumo88 permainan paling top dan garansi imbal balik hasil besar bersama https://togelsumo88.com/
totosaja88 permainan paling top dan garansi imbal balik hasil besar bersama https://totosaja88.com/
trading88 permainan paling top dan garansi imbal balik hasil besar bersama https://trading88.org/
tradingview88 permainan paling top dan garansi imbal balik hasil besar bersama https://tradingview88.com/
tripadvisor88 permainan paling top dan garansi imbal balik hasil besar bersama https://tripadvisor88.com/
uang88 permainan paling top dan garansi imbal balik hasil besar bersama https://uang88.asia/
ubud88 permainan paling top dan garansi imbal balik hasil besar bersama https://ubud88.asia/
ultra77 permainan paling top dan garansi imbal balik hasil besar bersama https://ultra77.biz/
usdt88 permainan paling top dan garansi imbal balik hasil besar bersama https://usdt88.net/
userslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://userslot88.biz/
uyatoto permainan paling top dan garansi imbal balik hasil besar bersama https://uyatoto.com/
vegasslot88 permainan paling top dan garansi imbal balik hasil besar bersama https://vegasslot88.asia/
vertu777 permainan paling top dan garansi imbal balik hasil besar bersama https://vertu777.org/
voxy888 permainan paling top dan garansi imbal balik hasil besar bersama https://voxy888.biz/
warung22 permainan paling top dan garansi imbal balik hasil besar bersama https://warung22.com/
wasiat88 permainan paling top dan garansi imbal balik hasil besar bersama https://wasiat88.biz/
whatsapp88 permainan paling top dan garansi imbal balik hasil besar bersama https://whatsapp88.net/
winrate999 permainan paling top dan garansi imbal balik hasil besar bersama https://winrate999.biz/
wks88 permainan paling top dan garansi imbal balik hasil besar bersama https://wks88.org/
wordpress88 permainan paling top dan garansi imbal balik hasil besar bersama https://wordpress88.net/
wuzz888 permainan paling top dan garansi imbal balik hasil besar bersama https://wuzz888.com/
xuxu88 permainan paling top dan garansi imbal balik hasil besar bersama https://xuxu88.org/
yoktogel88 permainan paling top dan garansi imbal balik hasil besar bersama https://yoktogel88.slot.com/
zara88 permainan paling top dan garansi imbal balik hasil besar bersama https://zara88.slot.net/
adu88 permainan paling top dan garansi imbal balik hasil besar bersama https://adu88.asia/
agoda88 permainan paling top dan garansi imbal balik hasil besar bersama https://agoda88.asia/
andara999 permainan paling top dan garansi imbal balik hasil besar bersama https://andara999.org/
asiahoki777 permainan paling top dan garansi imbal balik hasil besar bersama https://asiahoki777.asia/
asiahoki88 permainan paling top dan garansi imbal balik hasil besar bersama https://asiahoki88.org/
atlas777 permainan paling top dan garansi imbal balik hasil besar bersama https://atlas777.asia/
atlas88 permainan paling top dan garansi imbal balik hasil besar bersama https://atlas88.asia/
autospin888 permainan paling top dan garansi imbal balik hasil besar bersama https://autospin888.asia/
axl77 permainan paling top dan garansi imbal balik hasil besar bersama https://axl77.asia/
axl777 permainan paling top dan garansi imbal balik hasil besar bersama https://axl777.org/
ayo777 permainan paling top dan garansi imbal balik hasil besar bersama https://ayo777.live/
bakwanbet88 permainan paling top dan garansi imbal balik hasil besar bersama https://bakwanbet88.com/
balak666 permainan paling top dan garansi imbal balik hasil besar bersama https://balak666.info/
bangkit88 permainan paling top dan garansi imbal balik hasil besar bersama https://bangkit88.biz/
batu88 permainan paling top dan garansi imbal balik hasil besar bersama https://batu88.biz/
bayar777 permainan paling top dan garansi imbal balik hasil besar bersama https://bayar777.asia/
bayar777 permainan paling top dan garansi imbal balik hasil besar bersama https://bayar777.live/
bayar88 permainan paling top dan garansi imbal balik hasil besar bersama https://bayar88.asia/
berita88 permainan paling top dan garansi imbal balik hasil besar bersama https://berita88.biz/
bobo88 permainan paling top dan garansi imbal balik hasil besar bersama https://bobo88.asia/
box77 permainan paling top dan garansi imbal balik hasil besar bersama https://box77.asia/
bromo777 permainan paling top dan garansi imbal balik hasil besar bersama https://bromo777.live/
ceria88 permainan paling top dan garansi imbal balik hasil besar bersama https://ceria88.biz/
cipit888 permainan paling top dan garansi imbal balik hasil besar bersama https://cipit888.asia/
dewahoki88 permainan paling top dan garansi imbal balik hasil besar bersama https://dewahoki88.asia/
dewanaga permainan paling top dan garansi imbal balik hasil besar bersama https://dewanaga.pro/
dewanaga88 permainan paling top dan garansi imbal balik hasil besar bersama https://dewanaga88.live/
dewaslot77 permainan paling top dan garansi imbal balik hasil besar bersama https://dewaslot77.asia/
dewi228 permainan paling top dan garansi imbal balik hasil besar bersama https://dewi228.info/
dewihoki88 permainan paling top dan garansi imbal balik hasil besar bersama https://dewihoki88.asia/
dosen88 permainan paling top dan garansi imbal balik hasil besar bersama https://dosen88.org/
elanggame88 permainan paling top dan garansi imbal balik hasil besar bersama https://elanggame88.org/
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://kdwapp.com/
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://jebswagstore.com
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://demoslotgacor.pro
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama https://situsslotterbaru.net
slot demo gacor
akun demo slot gacor
akun slot demo gacor
akun demo slot pragmatic
akun slot demo pragmatic
akun slot demo
akun demo slot
situs slot terbaru
slot terbaru