Mistral AI a annoncé il y a quelques jours son tout nouveau modèle 8x7b dans un tweet, un modèle MoE présenté comme étant meilleur que GPT 3.5 dans de nombreuses tâches. Si vous souhaitez en avoir le coeur net, il est désormais possible de tester ce modèle assez facilement, sans avoir besoin de compétences techniques.

Dans cet article vous allez découvrir les différentes manières de tester les modèles de Mistral AI, que ce soit en passant par des services cloud ou en local.

Utiliser l’API officielle Mistral AI

Mistral AI a récemment annoncé La Plateforme, un service cloud permettant aux développeurs d’accéder et d’utiliser ses modèles d’IA via une API. Conçu dans un esprit similaire à celui d’OpenAI, La Plateforme est actuellement en phase bêta et accessible uniquement sur liste d’attente.

Elle offre plusieurs enpoints pour la génération de texte et l’intégration d’embeddings, avec différents niveaux de performances et de coûts.

Mistral AI propose également des bibliothèques client en Python et JavaScript, vous facilitant ainsi l’intégration des modèles dans vos applications

Utiliser les modèles via des services tiers

Une autre manière d’utiliser les modèles de Mistral AI est de passer par des cloud tiers comme Perplexity ou HuggingFace. Ces services cloud mettent à disposition de manière gratuite ou payante des interfaces ou des API pour utiliser les modèles open-source comme ceux de Mistral.

Sur Perplexity, vous allez vous tester gratuitement divers modèles en vous rendant dans la partie Labs.

Vous devrez simplement choisir le modèle Mistral de votre choix (le 7b ou le 8x7b) en bas à droite de la page. Vous pourrez alors commencer à chatter avec de dernier.

Sur HuggingFace, vous devrez vous rendre dans la partie « Space » pour pouvoir tester gratuitement un certain nombre de modèles. Pour pouvoir utiliser le Mistral 7B, c’est sur cette page que vous devrez vous rendre. Vous aurez alors accès à une interface intuitive dans laquelle vous pourrez entrer vos prompts.

Attention, en fonction de l’affluence sur le site vous devrez potentiellement attendre quelques dizaines de secondes pour que votre génération se fasse.

Utiliser les modèles en local

Si votre machine le permet, il est également possible de faire tourner des modèles open-source en local, et évidemment gratuitement. Pour cela, le logiciel que vous nous conseillons est LM Studio.

LM Studio est un logiciel open source, disponible sur Mac, Windows et Linux, qui vous permet de télécharger en quelques clics n’importe quel LLM hébergé sur HuggingFace, et de l’utiliser dans une interface similaire à celle de ChatGPT.

Voici les étapes à suivre pour utiliser en local les modèles de Mistral

  • Dans un premier temps, vous devrez télécharger LM Studio depuis leur site en choisissant la version qui correspond à votre OS. Après l’avoir téléchargé vous devrez l’installer.
  • Ensuite, vous devrez vous rendre dans l’application. En haut vous devriez voir une barre de recherche. Dans cette barre de recherche entrez simplement « Mistral ». LM Studio va alors rechercher les modèles qui correspondent dirrectement sur HuggingFace.
  • Ensuite, vous n’aurez qu’a télécharger le modèle depuis la partie à droite de votre écran.
  • Après le téléchargement, vous devrez vous rendre dans la section « Chat » de LM Studio. La partie chat reprend les codes de l’interface de ChatGPT, en y ajoutant de nombreux paramètres de personnalisation. Dans cette section vous pourrez alors discuter avec votre modèle.

Evidemment, LM Studio n’est pas compatible qu’avec Mistral. Vous pouvez tout à fait l’utiliser pour tester LLaMa2 ou d’autres LLM.

Attention, vous devrez disposer de suffisamment de RAM (16Go recommandée) et d’un GPU relativement performant pour faire tourner le modèle en local.

Conclusion

L’arrivée du nouveau modèle 8x7b de Mistral AI marque une étape importante dans le monde de l’intelligence artificielle. Que ce soit pour les développeurs ou les curieux, les options pour tester et intégrer ces modèles sont diverses et accessibles.

Chaque méthode présente ses propres avantages, que ce soit en termes de facilité d’accès, de personnalisation ou de contrôle. Néanmoins, il est important de noter les exigences matérielles, surtout pour l’exécution locale, où un matériel performant est essentiel.