En cuanto una organización empieza a usar IA en serio, aparece el mismo patrón: una aplicación llama a OpenAI, otra a Anthropic, un script usa Gemini, y cada equipo guarda su propia clave en su propio .env. Funciona… hasta que deja de funcionar. No hay control de gasto, nadie sabe qué modelo usa cada cosa, y cambiar de proveedor significa tocar código en diez sitios. La solución a ese caos tiene nombre: un gateway de IA.
Por qué tu organización necesita un gateway
Un gateway (o LLM Gateway) es una única puerta de entrada entre tus aplicaciones y todos los modelos de IA que usas. Sin él, los problemas se acumulan:
- Claves repartidas por servicios y personas, imposibles de rotar o auditar.
- Sin control de costes: no sabes cuánto gasta cada aplicación, equipo o cliente.
- Dependencia de un proveedor (vendor lock-in): tu código habla el "idioma" de OpenAI, de Anthropic o de Azure, y migrar duele.
- Cambiar de modelo = tocar código en cada aplicación, con su riesgo y sus despliegues.
Un gateway resuelve todo esto en un solo punto: una API común, claves gestionadas, presupuestos, límites y trazabilidad. Tus aplicaciones dejan de hablar con cada proveedor y hablan solo con el gateway.
Qué es LiteLLM
LiteLLM es un gateway de IA de código abierto. Su idea central: ofrecer una única API compatible con OpenAI para llamar a más de 100 proveedores (OpenAI, Anthropic, Azure OpenAI, AWS Bedrock, Google Vertex/Gemini, modelos locales con Ollama, etc.) con el mismo formato de entrada y salida.
Se puede usar como librería, pero su forma más potente es el servidor proxy (el gateway), que añade:
- API unificada compatible con OpenAI: el mismo
chat/completionspara cualquier modelo. - Claves virtuales con presupuestos, límites de uso y seguimiento de gasto por clave, equipo o usuario.
- Enrutado inteligente: fallbacks automáticos entre modelos, reintentos y balanceo de carga.
- Observabilidad: registro y métricas, con integraciones de monitorización.
Qué te permite hacer sin esfuerzo adicional
Aquí está lo que de verdad cambia el día a día:
- Dar de alta un modelo nuevo es un cambio de configuración, no de código. Añades el modelo en el gateway y queda disponible para todas tus aplicaciones al instante.
- Cambiar de modelo o de proveedor sin depender de nadie y sin cambios masivos. Como todo es compatible con OpenAI, tus aplicaciones siguen llamando igual: cambias el modelo "por detrás" (de uno de pago a uno local, de un proveedor a otro) y nadie tiene que reescribir nada.
- Probar modelos en paralelo y mover tráfico de uno a otro con fallbacks si uno falla o se encarece.
- Gobernar el gasto desde el primer día: una clave por equipo o por proyecto, con su presupuesto y su límite.
El gateway, de un vistazo
Una sola puerta entre tus aplicaciones y todos los proveedores de modelos — cambias el modelo por detrás y tus aplicaciones siguen llamando igual:
Un ejemplo cercano: NoBo
En NoBo —nuestra plataforma de vigilancia de boletines oficiales— gestionamos todos los modelos de IA a través del gateway. Sin él, tendríamos que mantener una contraseña por cada modelo y no podríamos administrarlos de forma cómoda ni estable.
Con el gateway, añadir los modelos más punteros no toca ni una línea de configuración en la plataforma de NoBo: damos de alta el nuevo modelo en el gateway, lo registramos en NoBo y ya está disponible. Como el gateway guarda las credenciales de acceso a cada proveedor, además detecta qué modelos nuevos hay disponibles. Y todo se elige desde un desplegable dentro de la plataforma — sin tocar código y sin hacer ningún despliegue.
El asistente de esta misma web sigue el mismo patrón: cuando tu navegador no puede ejecutar la IA en local, las preguntas pasan por un gateway (router.fastex.es) y podemos cambiar el modelo que responde sin tocar el sitio.
Empieza con criterio
Un gateway no es "una pieza más": es lo que convierte el uso de IA en algo gobernable, barato de mantener y a prueba de futuro. LiteLLM es una base excelente para montarlo, y su documentación es un buen punto de partida.
En Fastex diseñamos y montamos esta capa para que tu organización use IA con cabeza: una sola puerta, control de costes y libertad para elegir el mejor modelo en cada momento. ¿Lo montamos juntos? Cuéntanos tu caso.