Publié initialement à : LiteLLM – Pour discuter avec toutes les API LLM en utilisant la syntaxe OpenAI
LiteLLM est une bibliothèque Python qui simplifie l’interaction avec diverses API de modèles de langage (LLM) en utilisant le format de l’API OpenAI. Elle permet l’utilisation de fonctions telles que la génération de texte et la traduction. L’installation se fait via pip install litellm, et son utilisation nécessite de définir des variables d’environnement et de créer un objet LiteLLM. LiteLLM supporte également un proxy pour rediriger les requêtes vers le modèle souhaité et offre des fonctionnalités supplémentaires comme le streaming, la gestion des exceptions, et le suivi des coûts. Plus d’informations sont disponibles sur la page GitHub de LiteLLM.