مشروع الذكاء الاصطناعي في عطلة نهاية الأسبوع: تشغيل نماذج LLaMA وGemma AI على هاتف Android | بواسطة ديمتري إليوسيف

تشغيل LLaMA وGemma LLMs باستخدام C++ وPython

في الوقت الحاضر، يعد “الذكاء الاصطناعي المحمول” اتجاهًا سريع النمو. أصبحت الهواتف الذكية أكثر قوة، وأصبحت النماذج الكبيرة أكثر كفاءة. قد يرغب بعض العملاء في الانتظار حتى تضيف الشركات المصنعة للهواتف ميزات جديدة، ولكن هل يمكننا استخدام أحدث طرازات الذكاء الاصطناعي بمفردنا؟ في الواقع، نستطيع، والنتائج ممتعة. سأوضح في هذه المقالة كيفية تشغيل نماذج اللغات الكبيرة LLaMA وGemma على هاتف يعمل بنظام Android، وسنرى كيف يعمل ذلك. كالعادة في جميع اختباراتي، سيتم تشغيل جميع النماذج محليًا، ولن تكون هناك حاجة إلى واجهات برمجة تطبيقات سحابية أو مدفوعات.

دعونا ندخل في ذلك!

ترموكس

العنصر الأول في اختبارنا هو Termux، وهو عبارة عن محطة Linux كاملة تم تصميمها كتطبيق Android. إنه مجاني، ولا يتطلب الوصول إلى الجذر؛ يتم تشغيل جميع مكونات Linux حصريًا في مجلد Termux. يمكن تنزيل Termux من Google Play، ولكن في وقت كتابة هذا النص، كان هذا الإصدار قديمًا جدًا، ولم يعد الأمر “pkg update” في Termux يعمل بعد الآن. يتوفر إصدار أحدث كملف APK على موقع F-Droid؛ أنه يعمل بشكل جيد، ولم يكن لدي أي مشاكل معها.

عندما يتم تثبيت Termux على الهاتف، يمكننا تشغيله ورؤية واجهة سطر أوامر Linux القياسية:

من الناحية النظرية، يمكننا إدخال جميع الأوامر مباشرة على الهاتف، ولكن الكتابة على لوحة المفاتيح الصغيرة غير مريحة. الطريقة الأفضل هي تثبيت SSH؛ يمكن القيام بذلك باستخدام “pkg install”:

pkg update
pkg upgrade
pkg install openssh

بعد ذلك، يمكننا تشغيل البرنامج الخفي SSH في Termux عن طريق تشغيل ملف sshd يأمر. نحتاج أيضًا إلى الحصول على اسم المستخدم وتعيين كلمة مرور SSH:

sshd
whoami
#> u0_a461
passwd
#> Enter new password
...

الآن، يمكننا الاتصال بهاتف مع أي عميل SSH:

ssh -p 8022 u0_a461@192.168.100.101

هنا، 8022 هو منفذ Termux SSH الافتراضي، و”u0_a461″ هو اسم المستخدم الذي نحصل عليه من أمر “whoami”، و”192.168.100.101” هو عنوان IP…