Proveedores de modelos
El catálogo reúne 34 proveedores, entre ellos vLLM, Ollama y una entrada personalizada para cualquier endpoint compatible con OpenAI. La clave de API queda sellada en la bóveda, y pasar un agente a otro proveedor cambia su modelo, no sus instrucciones ni sus herramientas.
Un proveedor se conecta una vez, a nivel de organización, por un administrador o un propietario de la organización. Sus modelos quedan luego disponibles para todos los proyectos. Rikoo prueba la clave, lista los modelos que el endpoint sirve realmente y completa lo que su registro sabe de cada uno: ventana de contexto, modalidades de entrada, precio.
Conectar un proveedor
- En LLM APIs, haga clic en Add a provider (añadir un proveedor), elija el proveedor en el catálogo y pegue su clave de API. Para Azure, Cloudflare, vLLM, Ollama y la entrada personalizada, indique también el endpoint.
- Haga clic en Connect the provider (conectar el proveedor). El servidor de API sella la clave en la bóveda de inmediato, y la clave no vuelve a mostrarse nunca, a nadie.
- El worker, la única parte de Rikoo que habla con los proveedores, prueba la clave y lista los modelos que sirve el endpoint. Los modelos que el catálogo conoce para ese proveedor llegan desactivados, y los que el endpoint sirve realmente se activan.
- Desactive los modelos que sus equipos no deban usar. Un modelo desactivado no puede elegirse en un agente.
vLLM y Ollama tienen su propia entrada: indique la dirección de su servidor. Cualquier otro endpoint que hable la API de OpenAI, por ejemplo una pasarela interna, pasa por la entrada OpenAI-compatible (custom). Su URL base debe exponer /chat/completions y /models, y un modelo que el endpoint no lista puede añadirse a mano con Add a model (añadir un modelo).
La protección anti-SSRF rechaza por defecto las direcciones de red privada. Para alcanzar un servidor de modelos de su propia red, el operador autoriza su rango de direcciones, consulte Infraestructura.
Modelo principal y modelo de respaldo
Un agente nombra un modelo principal y, opcionalmente, modelos de respaldo (Fallback models) que se prueban en orden. Cuando una llamada al modelo principal falla, por ejemplo por un límite de tasa, una caída o un tiempo agotado, la ejecución continúa en el siguiente modelo de respaldo en lugar de fallar. Los modelos de respaldo deben venir de un proveedor distinto: un segundo modelo del mismo proveedor no sobrevive a la caída de ese proveedor, así que el Studio no lo ofrece y la API lo rechaza.
La ejecución registra qué modelo respondió y si sirvió un modelo de respaldo, y el coste se imputa al proveedor que respondió realmente. Una respuesta más lenta o más barata nunca es un misterio a posteriori.
Los precios y el registro
Los precios, las ventanas de contexto, las dimensiones de embedding y los parámetros admitidos proceden de un registro fijado en cada versión publicada de Rikoo: 3174 modelos, tomados de la lista de precios que publica LiteLLM. Rikoo lo lee de sus propios archivos y nunca lo descarga en tiempo de ejecución. Lo que Rikoo sabe de un modelo solo cambia, por tanto, con una actualización, y una instalación sin acceso a Internet lee las mismas cifras que una conectada.
Un operador puede corregir los precios por token de un modelo en la pantalla LLM APIs. Un descubrimiento posterior conserva la corrección.
Algunos modelos se facturan por unidad y no por token: una imagen, un segundo de audio, un carácter de voz sintetizada. El registro anota la unidad, y el coste de una llamada se calcula en ella. Cuando no se conoce ningún precio, el coste se registra como desconocido, no como cero.
¿Dónde viven las credenciales?
En la bóveda. El servidor de API las sella con la clave pública del par de claves de sellado de la bóveda y no puede abrirlas. Solo el worker tiene la clave privada: abre una credencial en la pila de una llamada saliente, y cada acceso se escribe en el registro de auditoría como una entrada secret_accessed. Consulte Bóveda de secretos.
¿Puede un proyecto usar un proveedor que la organización no ha conectado?
No. Los proveedores se conectan una vez, a nivel de organización, y los proyectos eligen sus modelos en esa lista.