Een enkele AI Gateway staat voor een pool van werkende AI Servers. Applicaties verbinden met de gateway via één URL en één sleutel, precies alsof het één enkele AI Server is; achter de schermen verdeelt de gateway elke aanvraag over de workers, controleert de gezondheid van elke worker en verplaatst het verkeer van een falende worker naar een gezonde voordat de aanroeper het merkt [1]. Het is geen apart product. AI Gateway is AI Server die draait in zijn farm front-end modus, dus de OpenAI-compatibele /v1/* en Ollama-compatibele /api/* interfaces die een enkele server blootstelt, zijn precies wat de farm blootstelt [1].

Eén URL en één sleutel, een farm erachter

De gateway balanceert elk type verzoek dat het platform bedient: chat, embeddings, beeldgeneratie, visie en audio, inclusief de live-spraak WebSocket [1]. Verzoeken worden geplaatst volgens een strategie die u kiest — round-robin, minste latency, minste verbindingen, gewogen of sticky per cliënt. Modelbewuste routering stuurt een verzoek naar een worker die het gevraagde model al warm heeft, wat een koude-laadstraf voorkomt wanneer anders een koudere machine de oproep zou afhandelen [1].

Voeg een GPU-box toe en de capaciteit groeit; clients hoeven niets te veranderen. Neem een box offline voor onderhoud en het verkeer wordt soepel afgebouwd, zodat geen lopend verzoek verloren gaat. We beëindigen workers midden in het verkeer in onze eigen testset om die garantie te waarborgen: een worker die faalt wordt opnieuw geprobeerd op een gezonde, en de failover vindt plaats binnen de gateway voordat de client een fout ziet [1][3].

De vertrouwensgrens die een farm introduceert

Een farm verandert wie welke referentie bezit, en het ontwerp houdt die grens strak. De gateway-sleutel van de client bereikt nooit een worker. De gateway presenteert elke worker zijn eigen sleutel, zodat een gelekte gateway-sleutel niet rechtstreeks tegen een worker kan worden herhaald, en per-worker referenties blijven binnen de farm [2]. De identiteit van de aanroeper, dus welke app en welke installatie een verzoek heeft gedaan, wordt doorgegeven aan de worker. De content-vrije auditlog van elke worker registreert daarom de echte oorsprong in plaats van alles aan de gateway toe te schrijven [2].

Backpressure in plaats van time-outs

Wanneer elke worker verzadigd is, geeft de gateway een expliciete "probeer het straks opnieuw" terug in plaats van een verbinding open te houden tot deze time-outt [1]. Aanroepers krijgen een signaal waarop ze kunnen reageren. Twee uitrolcontroles draaien op dezelfde routeringslaag. Een canary release stuurt een consistente fractie van het verkeer naar nieuwe machines voordat ze volledige belasting dragen. Een zero-downtime upgrade bouwt een worker af, werkt deze bij en brengt hem terug in de pool, terwijl het eindpunt de hele tijd beschikbaar blijft [1].

Kubernetes zonder handmatige pool-bewerkingen

Op Kubernetes worden workers automatisch ontdekt naarmate ze opschalen, dus een autoscaling farm vereist geen handmatige aanpassingen aan de workerlijst van de gateway [2]. Het recept levert drie vormen vanuit één product: Docker Compose voor een single-box demo, Kubernetes manifests en een Helm chart voor het cluster. Het product, de API's en de licentie zijn identiek van een laptop tot een GPU-farm [2].

Wat een farm u kost om te exploiteren

Elke server, inclusief de gateway, heeft zijn eigen live dashboard en biedt native Prometheus-metrics voor de gezondheid van de vloot, latentie, gebruik en capaciteit [3]. Vlootzichtbaarheid is één dashboard, niet een monitoringstack die wordt samengesteld vóór het eerste verzoek. Netwerkverkeer blijft op elk knooppunt afgeschermd: een non-loopback bind faalt en sluit tenzij het knooppunt een Pro-licentie heeft en ten minste één API-sleutel, wat voorkomt dat een niet-geautoriseerde of niet-gesleutelde box zich stilletjes op het LAN blootstelt [1][4].

Een gateway farm is de topologie achter de beschikbaarheidspositie van het platform: het AI-eindpunt blijft actief wanneer een box dat niet doet, en dat zonder een vendor cloud in het verzoekpad. Het wordt gelicentieerd als onderdeel van Pro Commercial en niet als een apart product verkocht [4].