Nous allons découvrir comment installer une IA en local, plus précisément exécuter des LLM (Large Language Model) localement avec l’accélération GPU sous Windows 11, macOS ou Linux. Je vous parlais dans un précédent article de retouche et génération d’image, en local, avec Fooocus sur votre PC. On touche ici à la génération de texte, et c’est quand même plus abordable techniquement. Je voulais faire tourner un LLM sur mon PC pour me rendre compte des progrès effectués par l’IA générative depuis début 2023 et l’arrivée de Chat GPT pour le grand public.
On assiste depuis quelques mois à une montée en puissance des modèles linguistiques open source (LLM) dans le domaine de l’IA générative. Ces modèles, contrairement à leurs homologues propriétaires, sont accessibles au public et peuvent être librement utilisés, modifiés et distribués. Les bidouilleurs, chercheurs, développeurs et entreprises participent ainsi activement au développement de l’IA.
Les logiciels pour installer une IA en local (avec des LLM d’IA générative)
C’est quoi un LLM ?
Les LLM sont des modèles de langage entraînés sur des milliers de gigaoctets de données textuelles. À travers ce processus d’apprentissage, ils acquièrent une connaissance approfondie de la structure du langage et de la manière dont les mots s’assemblent pour créer un sens cohérent. Et lorsqu’on leur pose une question, ils répondent avec ce qui est le plus « logique ».
En termes simples, un LLM est comme un cerveau numérique spécialisé dans le langage. Il apprend les subtilités de la grammaire, du vocabulaire et même des nuances de style pour interagir avec nous de manière naturelle et cohérente.
LM Studio
Une fois l’app installée, on peut directement installer notre IA en local avec les modèles Hugging Face, en quelques secondes. Attention ça prend de la place et si vous êtes curieux, avec une bonne connexion, ça remplit vite l’espace disque !
J’utilise LM Studio au quotidien et l’apprécie pour ses options de personnalisation. Vous serez peut être gêné par l’absence de fonction permettant d’analyser les documents d’un dossier mais pour ma part, je ne me sers pas de cette fonction.
LM Studio contient un serveur API pour l’utiliser en conjonction avec d’autres softs, mais je ne m’en sers pas non plus.
Le gros point positif pour les bidouilleurs est que vous pouvez lancer plusieurs modèles de langage en même temps, pour comparer les résultats Avant de faire votre choix. Pratique !
Jan
Autre solution accessible, Jan.
GPT4all
Peut être le plus accessible et en même temps le plus évolutif puisqu’il permet la connexion à d’autres logiciels et à VSCode. Télécharger le client sur https://github.com/nomic-ai/gpt4all
On peut en outre lui fournir le contenu d’un dossier pour le faire bosser sur de la data, en local !
Nextchat, Ollama et Llama.cpp
Je ne couvrirai pas ce soft, très bien et codé en C++ mais qui est un peu pénible à l’installation. Il n’est pas très « grand public » et s’adresse plutôt aux « barbus » de l’informatique.
Ce ne sont que quelques lignes d’invite de commande et la création d’un serveur web, mais quand même ;)
A tester si vous êtes curieux.
Les Modèles de langage (LLM)
Maintenant que nous avons une appli de gestion de modèles de langage, il faut y intégrer un ou plusieurs modules, suivant l’usage souhaité.
Il existe des outils pour comparer les LLM, comme par exemple Kiu AI. L’intérêt est de comparer tous les LLM, y compris les payants avec les gratuits pour sélectionner celui qui vous convient le mieux. Le modèle choisi sera plus ou moins pertinent pour écrire du texte brut, résumer du contenu ou écrire du code informatique. Aucun modèle n’est bon dans tous les domaines.
Il est possible d’installer des modèles gratuits sur sa machine et s’appuyer sur la puissance processeur et/ou carte graphique pour sortir du texte ou du code.
Et franchement, le résultat est impressionnant, même si c’est plus lent qu’un Chat GPT ou autre solution dans le cloud. Mais le très gros avantage reste que vos données ne quittent pas le PC, ce qui devrait intéresser les entreprises et particuliers désireux de protéger leur travail.
Meta Llama 3
Si vous n’êtes pas anti Meta (Facebook etc.), ce LLM est très puissant dans sa version 3.1 actuellement. Le résultat final est un modèle de langage qui excelle dans une grande variété de tâches linguistiques complexes. Ici, j’ai testé la version 8B. Pas parfait, mais une bonne base de travail, le tout en français !
Bloom
BLOOM est un LLM open-source puissant. Avec 176 milliards de paramètres, il est capable de fournir des textes cohérents et précis dans 46 langues et 13 langages de programmation.
Je n’ai cependant pas réussi à le configurer correctement et il m’a donné des textes totalement à la ramasse, une sorte de bloubi boulga de wikipedia mélangeant tous les sujets, souvent incompréhensible…
Mon choix : Le LLM OpenHermes
OpenHermes 2.5 Mistral 7B: Ce modèle a été développé par Teknium et s’appuie sur des données provenant de GPT-4 ainsi que d’autres sources publiques. Il est puissant, même pour des utilisations non liées au code. Il génère de belles réponses et est très très rapide.
Le LLM Chronos Hermes
Chronos-Hermes: Cette combinaison unique de deux modèles LLM (Chronos et Hermes) offre un équilibre intéressant entre la description riche des récits générés par Chronos et la cohérence et la capacité à suivre les instructions de Nous-Hermes. Utile pour l’écriture créative et le role-playing.
On est loin de GPT 4o :
Falcon 180B (attention, necessite un PC machine de guerre)
Classé n°1 du classement de Hugging Face pour les grands modèles de langage open-source, ce LLM n’est pas à installer sur toutes les machines ! Il faut une puissance de calcul faramineuse pour pouvoir en faire quelque chose. Mais il est surpuissant et surpasse notamment LLaMA 2 et GPT-3.5.
Alors, quel LLM choisir ?
J’ai pour ma part opté pour LM Studio, dont je trouve l’interface claire et qui ne nécessite aucune connaissance lors de l’installation. C’est un simple exécutable « clé en main » qui permet d’avoir une IA installée en local sur votre machine. Pour le LLM, j’ai opté pour OpenHermes 2.5 Mistral 7B, pour sa rapidité et sa précision.
