FREEAI

Qué es FREEAI

Un orquestador que pone siete proveedores de LLMs gratuitos detrás de un único endpoint compatible con OpenAI. Tu app sigue hablando OpenAI; el orquestador decide a qué proveedor mandar cada petición, respeta los rate-limits de cada uno de forma atómica, hace fallback automático si uno falla, y suma los cupos para que en la práctica tengas la fiabilidad de una API de pago al coste de una gratuita.

   tu app (OpenAI format)
            │
            ▼
   ┌────────────────────┐
   │ FREEAI orquestador │
   │  · routing         │
   │  · rate atómico    │
   │  · fallback chain  │
   │  · streaming SSE   │
   │  · estado Postgres │
   └────────────────────┘
            │
            ▼
   ┌────────────────────┐
   │ Cerebras · Groq    │
   │ Gemini · Mistral   │
   │ OpenRouter         │
   │ Cohere · HF        │
   └────────────────────┘

Qué incluye

• Routing multi-proveedor con adaptadores nativos para los siete servicios; todos exponen un contrato ProviderResponse y errores tipados.
• 8 estrategias built-in (auto, fastest, cheapest, best_quality, coding, reasoning, vision, long_context) más cualquier otra definida en runtime desde el panel.
• Rate limiting atómico vía función plpgsql en Postgres — la reserva del slot ocurre dentro de la base de datos, así que N pods concurrentes nunca exceden el límite del proveedor. Hay un test (test_concurrent_reservations_respect_limit) que lanza 50 sesiones contra un cap de 5 y verifica que pasan exactamente 5.
• Errores tipados y fallback inteligente — cada fallo upstream se clasifica como auth, rate_limited, client_error, server_error, network, parsing o unknown. Transitorios se reintentan en sitio; rate-limited cae al siguiente sin marcar el proveedor unhealthy; auth pone el proveedor en cuarentena 24h.
• Streaming SSE con fallback acotado: el cambio de proveedor solo es posible antes del primer byte enviado.
• Multimodal nativo — bloques image_url OpenAI-compatibles enrutados automáticamente a proveedores con visión (Gemini, OpenRouter), traduciendo el formato cuando hace falta.
• Embeddings con fallback — POST /v1/embeddings enruta a Mistral (1024 dim) o Gemini (768 dim) con la misma maquinaria de rate-limiting y analytics que chat.
• Auto-strategy heurístico — detecta idioma (EN/ES/FR/DE/PT) por frecuencia de stopwords y elige coding/reasoning/vision/long_context/fastest por señales en el prompt, sin llamada extra al LLM.
• Encryption at rest — las API keys de los proveedores se guardan cifradas con Fernet; la master key sale de variable o se autogenera en el primer arranque.
• Observabilidad integrada — structlog con request-id en contextvars, endpoint Prometheus /metrics y dashboard Grafana opcional bajo el perfil observability del docker-compose.
• Panel de analytics — KPIs, series temporales y desglose por proveedor / estrategia / outcome leyendo de la tabla usage_events.

Despliegue

docker compose up --build y listo: aplica el setup wizard, mete tus keys de proveedor, crea un cliente y ya tienes un endpoint OpenAI-compatible apuntable desde cualquier SDK. Para producción, docker-compose.prod.yml añade Caddy delante con auto-HTTPS y certificados Let's Encrypt sin tocar nginx ni certbot.