GTA777 – Sementara kecerdasan buatan berbasis cloud memang mengesankan, saya pribadi merasa lebih nyaman dengan tingkat keamanan tambahan yang hanya dapat diberikan oleh pemrosesan lokal secara offline. Terlebih lagi, mengingat laporan yang menyebutkan bahwa DeepSeek mengirimkan data pengguna kembali ke China, saya merasa perlu mencoba alternatif yang lebih aman. Sebelumnya, saya mengganti CoPilot dengan DeepSeek di laptop saya, dan itu membuat saya penasaran—bisakah saya menjalankan model bahasa besar secara offline di ponsel saya?
Saat ini, ponsel flagship diklaim memiliki daya pemrosesan yang luar biasa, kapasitas RAM yang besar, dan akselerator AI khusus yang hanya bisa disaingi oleh PC modern atau GPU mahal. Jadi, kenapa tidak mencoba?
DeepSeek Ternyata Bisa Dijalankan Secara Offline di Ponsel!
Setelah melakukan beberapa eksperimen, saya menemukan bahwa ternyata saya bisa menjalankan versi ringkas DeepSeek (dan beberapa model bahasa besar lainnya) secara lokal di ponsel saya tanpa harus terhubung ke internet. Tentu saja, responsnya tidak secepat atau seakurat model cloud versi lengkap, namun ponsel yang saya uji dapat menghasilkan jawaban dengan kecepatan membaca yang cukup cepat, menjadikannya sangat berguna. Model-model kecil ini masih cukup handal untuk membantu menyelesaikan masalah, menjelaskan topik kompleks, bahkan menghasilkan kode yang berfungsi, persis seperti model yang lebih besar.
Bagi saya, hasilnya sangat mengejutkan mengingat ini semua berjalan di perangkat yang dapat saya bawa ke mana-mana. Namun, saya tidak akan langsung merekomendasikan semua orang untuk mengikuti langkah saya, meskipun jika Anda tertarik dengan perkembangan AI, mencobanya dengan menjalankan model lokal di ponsel adalah ide yang menarik.
Menginstal LLM Offline di Ponsel: Tantangan yang Tidak Mudah
Namun, meskipun performa bukanlah masalah utama, pengalaman ini tidak semulus menggunakan model cloud seperti Gemini dari Google. Selama waktu yang saya habiskan untuk menggali dan bereksperimen, saya menyadari bahwa ponsel bukanlah lingkungan yang ramah bagi pemula yang ingin mencoba atau mengembangkan alat AI baru. Untuk menciptakan ekosistem aplikasi AI yang kompetitif, kita memerlukan lebih banyak investasi dari para pengembang untuk mendukung ini.
Ponsel Android Dapat Menjalankan Model LLM Dengan Baik, Tetapi…
Hasil performa yang saya peroleh sangat mengejutkan, bahkan pada ponsel dengan chipset Snapdragon 8 Elite yang saya uji. Ponsel ini mampu menjalankan model dengan tujuh hingga delapan miliar parameter dengan cukup baik hanya dengan menggunakan CPU, menghasilkan output dengan kecepatan 11 token per detik—lebih cepat dari kebanyakan orang yang bisa membaca. Anda bahkan bisa menjalankan model 14 miliar parameter seperti Phi-4 jika memiliki RAM yang cukup, meskipun outputnya menurun menjadi sekitar enam token per detik. Namun, menjalankan LLM (Model Bahasa Besar) adalah salah satu tantangan terbesar yang saya lakukan terhadap CPU ponsel modern, sehingga suhu ponsel menjadi cukup tinggi.
Menariknya, bahkan Pixel 7 Pro yang sudah cukup tua masih bisa menjalankan model tiga miliar parameter seperti Meta Llama3.2 dengan kecepatan lima token per detik. Namun, mencoba menjalankan DeepSeek yang lebih besar benar-benar memaksakan batas kemampuan ponsel lama. Sayangnya, saat ini belum ada akselerasi NPU atau GPU yang dapat digunakan untuk mempercepat proses ini pada ponsel manapun, yang tentunya akan sangat membantu ponsel lama.
Apa Gunanya Model LLM di Ponsel Tanpa Koneksi Internet?
Meski ponsel-ponsel modern memiliki performa yang cukup mengesankan, saya rasa kebanyakan orang akan kesulitan menemukan kegunaan yang signifikan untuk menjalankan model LLM di ponsel mereka. Model seperti DeepSeek, Llama, dan Phi sangat bermanfaat sebagai asisten di proyek PC layar besar, tetapi akan sulit untuk memaksimalkan kemampuan mereka di ponsel dengan layar kecil. Saat ini, model-model tersebut tidak bisa mengakses internet atau berinteraksi dengan fungsi eksternal seperti rutinitas Google Assistant, dan transfer dokumen untuk diringkas via baris perintah pun terasa sangat merepotkan. Oleh karena itu, brand ponsel lebih cenderung menanamkan alat AI dalam aplikasi yang lebih spesifik, seperti di aplikasi Galeri, untuk memudahkan pengguna.
Alternatif yang Lebih Mudah: Aplikasi PocketPal AI
Jika Anda tertarik untuk menjalankan AI lokal di ponsel Anda, PocketPal AI bisa menjadi solusi yang sangat mudah. Aplikasi ini memungkinkan Anda mengakses berbagai model seperti DeepSeek, Llama, Phi, dan banyak lagi melalui portal populer HuggingFace. Meskipun ada beberapa kekurangan, seperti kesalahan unduhan atau crash, PocketPal AI cukup solid dalam hal kinerja dan sangat mudah digunakan bagi mereka yang baru mulai bereksperimen.
Metode yang Lebih Rumit: Menggunakan Termux dan Ollama
Untuk yang lebih berpengalaman, saya mencoba metode kedua yang lebih rumit dengan menggunakan Termux dan menginstal Ollama, alat untuk menjalankan model LLM secara lokal. Meskipun tidak semulus aplikasi PocketPal AI, Ollama lebih andal dan memungkinkan lebih banyak pengaturan dan kontrol.
Apa Saja LLM yang Bisa Dijalankan di Ponsel?
Model-model seperti DeepSeek, Llama, Phi, dan Mistral semuanya dapat berjalan dengan baik di ponsel, tergantung pada ukuran RAM dan kemampuan pemrosesan ponsel Anda. Secara umum, model dengan tiga miliar parameter memerlukan hingga 2,5GB RAM, sementara model dengan tujuh hingga delapan miliar parameter memerlukan sekitar 5-7GB RAM. Untuk model 14b, Anda membutuhkan setidaknya 10GB RAM. Dengan kata lain, ponsel dengan 12GB RAM sudah cukup untuk model-model ukuran menengah, namun untuk model lebih besar, Anda perlu ponsel dengan 16GB RAM atau lebih.
Baca: Apple Semakin Mendekati Memproduksi iPhone Lipat
Kesimpulan
Menjalankan AI lokal di ponsel memang menjanjikan, tetapi masih ada banyak hal yang perlu diperbaiki agar pengalaman ini lebih praktis dan berguna. Saya berharap para pengembang lebih fokus untuk meningkatkan kemampuan ini, karena ada banyak potensi yang belum digali sepenuhnya. Jika Anda tertarik untuk mencoba, ada banyak cara yang bisa Anda coba, namun ingatlah bahwa tidak semua orang akan merasa ini adalah solusi yang praktis. Tetapi bagi mereka yang ingin merasakan pengalaman baru dalam menjalankan AI di ponsel, ini adalah eksperimen yang menarik.