Fournisseurs de modèles
Le catalogue compte 34 fournisseurs, dont vLLM, Ollama et une entrée sur mesure pour tout point d'accès compatible OpenAI. La clé d'API est scellée dans le coffre, et passer un agent chez un autre fournisseur change son modèle, pas ses instructions ni ses outils.
Un fournisseur se connecte une fois, au niveau de l'organisation, par un admin ou un propriétaire de l'organisation. Ses modèles sont ensuite disponibles pour tous les projets. Rikoo teste la clé, liste les modèles que le point d'accès sert réellement, et renseigne ce que son registre sait de chacun : fenêtre de contexte, modalités d'entrée, prix.
Connecter un fournisseur
- Dans LLM APIs, cliquez sur Ajouter un provider, choisissez le fournisseur dans le catalogue et collez sa clé d'API. Pour Azure, Cloudflare, vLLM, Ollama et l'entrée sur mesure, saisissez aussi le point d'accès.
- Cliquez sur Connecter le provider. Le serveur d'API scelle aussitôt la clé dans le coffre, et elle n'est plus jamais affichée, à personne.
- Le worker, seule partie de Rikoo qui parle aux fournisseurs, teste la clé et liste les modèles que le point d'accès sert. Les modèles que le catalogue connaît pour ce fournisseur arrivent éteints, et ceux que le point d'accès sert réellement sont allumés.
- Éteignez les modèles que vos équipes ne doivent pas utiliser. Un modèle éteint ne peut pas être choisi sur un agent.
vLLM et Ollama ont leur propre entrée : indiquez l'adresse de votre serveur. Tout autre point d'accès qui parle l'API d'OpenAI, une passerelle interne par exemple, passe par l'entrée OpenAI-compatible (custom). Son URL de base doit exposer /chat/completions et /models, et un modèle que le point d'accès ne liste pas peut être ajouté à la main avec Ajouter un modèle.
La garde anti-SSRF refuse par défaut les adresses de réseau privé. Pour joindre un serveur de modèles sur votre propre réseau, l'exploitant autorise sa plage d'adresses, voir Infrastructure.
Modèle principal et modèles de repli
Un agent nomme un modèle principal et, facultativement, des Modèles de repli essayés dans l'ordre. Quand un appel au modèle principal échoue, sur une limite de débit, une panne ou un délai dépassé par exemple, l'exécution continue sur le modèle de repli suivant plutôt que d'échouer. Les modèles de repli doivent venir d'un fournisseur différent : un second modèle chez le même fournisseur ne survit pas à la panne de ce fournisseur, donc le Studio ne le propose pas et l'API le refuse.
L'exécution enregistre quel modèle a répondu et si un modèle de repli a servi, et le coût est imputé au fournisseur qui a réellement répondu. Une réponse plus lente ou moins chère n'est jamais un mystère après coup.
Les prix et le registre
Les prix, les fenêtres de contexte, les dimensions d'embedding et les paramètres pris en charge viennent d'un registre figé dans chaque version publiée de Rikoo : 3 174 modèles, repris de la liste de prix que publie LiteLLM. Rikoo le lit dans ses propres fichiers et ne le télécharge jamais à l'exécution. Ce que Rikoo sait d'un modèle ne change donc qu'avec une mise à niveau, et une installation sans accès à Internet lit les mêmes chiffres qu'une installation connectée.
Un exploitant peut corriger les prix au jeton d'un modèle sur l'écran LLM APIs. Une découverte ultérieure conserve la correction.
Certains modèles sont facturés à l'unité plutôt qu'au jeton : une image, une seconde d'audio, un caractère de synthèse vocale. Le registre consigne l'unité, et le coût d'un appel est calculé dans cette unité. Quand aucun prix n'est connu, le coût est enregistré comme inconnu, et non comme nul.
Où vivent les identifiants ?
Dans le coffre. Le serveur d'API les scelle avec la clé publique de la paire de clés de scellement du coffre et ne peut pas les ouvrir. Seul le worker détient la clé privée : il ouvre un identifiant dans la pile d'un appel sortant, et chaque accès est écrit au journal d'audit sous la forme d'une entrée secret_accessed. Voir Coffre de secrets.
Un projet peut-il utiliser un fournisseur que l'organisation n'a pas connecté ?
Non. Les fournisseurs se connectent une fois, au niveau de l'organisation, et les projets y choisissent leurs modèles.