Meta fait débarquer son modèle Llama sur les smartphones et c’est redoutable ! L’IA reste puissante, sans pour autant ponctionner la mémoire vive et monopoliser le processeur. Comment Meta est parvenu à cette prouesse qui laisse clairement Apple et Google sur le carreau ? Explications.

Faire fonctionner directement sur des smartphones peu puissants une IA, c’est le rêve des sociétés spécialisées dans leur développement. Et ce rêve, Meta annonce l’avoir réalisé en faisant tourner jusqu’à quatre fois plus vite ses modèles Llama 3.2 1B et 3B sur un téléphone. Mieux encore, les modèles utilisent moins de la moitié de la mémoire que les versions précédentes. (...)

Lors des tests réalisés sur des téléphones Android OnePlus 12, les modèles étaient 56 % plus petits et utilisaient 41 % de mémoire en moins tout en traitant le texte plus de deux fois plus vite. La seule limitation repose sur la génération de textes ne pouvant aller au-delà de 8 000 caractères. (...)

Faire tourner l’IA directement sur le smartphone

Mais ce n’est pas tout. Alors que Google et Apple adoptent une approche de l’IA sur mobile qui est imbriquée à leurs systèmes d’exploitation, Meta rend ses modèles compressés open source et en profite pour s’associer aux fabricants de puces Qualcomm et MediaTek. Avec l’open source, pas besoin pour les développeurs d’attendre des mises à jour d’Android ou d’iOS pour pouvoir créer des applications d’IA. Et en misant sur des partenariats avec Qualcomm et MediaTek, Meta optimise ses modèles pour ces processeurs largement utilisés. Cela lui permet de garantir que son IA saura fonctionner efficacement sur des téléphones de différentes gammes de prix, et pas seulement sur des appareils haut de gamme (...)