Kupas Tuntas, gemasulawesi - DeepSeek muncul tiba-tiba dan menarik perhatian banyak orang.
Model AI baru ini berkembang melampaui perangkat seluler dan menuju Windows, karena sekarang didukung oleh Microsoft.
Belum lama ini, Microsoft menambahkan model DeepSeek R1 ke Azure AI Foundry, yang memungkinkan pengembang membangun dan menguji aplikasi berbasis cloud.
Dilansir dari GizChina.com, perusahaan tersebut mengungkapkan rencana untuk menghadirkan versi sulingan R1 ke PC Copilot plus.
Ini adalah perubahan yang menarik, karena Microsoft telah menjadi salah satu pendukung terbesar OpenAI.
Sekarang, perusahaan tersebut juga membuka pintu bagi Deepseek, pesaing besar untuk model AI saat ini.
Awalnya, model ini akan diluncurkan ke perangkat bertenaga Snapdragon X, diikuti oleh PC Intel Core Ultra 200V dan AMD Ryzen AI 9.
Rilis pertama, DeepSeek-R1-Distill-Qwen-1.5B (model dengan parameter 1,5 miliar), akan segera bergabung dengan versi 7B dan 14B yang lebih besar.
Pengguna dapat mengunduhnya dari Microsoft AI Toolkit.
Microsoft menyesuaikan model ini agar berjalan secara efisien pada perangkat dengan NPU.
Tugas yang membutuhkan banyak memori ditangani oleh CPU sementara operasi yang menuntut seperti blok transformator berjalan pada NPU.
Berkat pengoptimalan ini, Microsoft mencapai waktu respons token pertama yang cepat yaitu 130 ms dan kecepatan pemrosesan 16 token per detik untuk perintah singkat (di bawah 64 token).
Sebagai referensi, "token" mirip dengan vokal dan biasanya mencakup lebih dari satu karakter.
Meskipun memiliki hubungan yang erat dengan OpenAI, Microsoft jelas tidak membatasi dirinya pada satu penyedia AI.
Azure Playground-nya sudah mendukung model GPT (OpenAI), Llama (Meta), Mistral, dan sekarang DeepSeek.
Anda dapat menjalankan AI secara lokal, dan hanya perlu mengunduh AI Toolkit untuk VS Code.
Dari sana, anda bisa mendapatkan model (misalnya, "deepseek_r1_1_5" untuk versi 1.5B), dan setelah terinstal, klik Try in Playground untuk menguji seberapa baik kinerja versi R1 yang disuling ini.
"Penyulingan model," atau "distilasi pengetahuan," adalah proses mengecilkan model AI yang sangat besar (DeepSeek R1 memiliki 671 miliar parameter) sambil mempertahankan kecerdasan sebanyak mungkin.
Model yang lebih kecil (misalnya, parameter 1.5B) tidak sekuat versi lengkap, tetapi ukurannya yang diperkecil memungkinkannya berjalan pada perangkat keras konsumen biasa, bukan sistem AI yang mahal. (*/Armyanti)
