Samodzielny dowód
Użyj wbudowanego silnika aplikacji i domyślnego modelu, aby udowodnić jedno ograniczone obciążenie na rzeczywistym sprzęcie końcowym.
Każda aplikacja AI może działać niezależnie z wbudowanym silnikiem AI. Dodaj AI Server, gdy modele, moc obliczeniowa lub API muszą być współdzielone; dodaj AI Gateway tylko wtedy, gdy kilka serwerów potrzebuje jednego odpornego punktu wejścia.
Aplikacje AI zachowują wbudowany silnik i lokalną trasę nawet po połączeniu z platformą organizacji pokazanej poniżej.
Użyj wbudowanego silnika aplikacji i domyślnego modelu, aby udowodnić jedno ograniczone obciążenie na rzeczywistym sprzęcie końcowym.
Dodaj jeden centralny model, moc obliczeniową lub usługę API tylko wtedy, gdy wymaga tego biznesowy przypadek.
Dodaj członków, uprawnienia, rejestrację serwera, politykę i dowody audytu, gdy centralne zarządzanie ma znaczenie.
Umieść AI Gateway przed kilkoma serwerami pracującymi, gdy wymagana jest odporność, specjalizacja lub mierzona pojemność.
Opcje wdrożenia obejmują Windows, macOS, Linux, Docker i Kubernetes. Odpowiednia topologia zależy od obciążenia, sprzętu, tożsamości, dostępności i wymagań zgodności.
Podłącz kompatybilnych klientów do usług czatu, osadzania, obrazu, mowy i wizji.
Umieść modele i wnioskowanie na infrastrukturze kontrolowanej przez Twoją organizację.
Zarządzaj członkami, licencjami, rejestracją, polityką, audytem i dowodami użycia.
Przejdź od jednego węzła do farmy zarządzanej przez bramę w miarę wzrostu zapotrzebowania i dowodów.
Planer wdrożeń ocenia aplikacje osadzone, opcjonalne serwery, Gateway, administrację, sprzęt i ilości płatnych licencji — następnie wysyła do Sklepu tylko linie możliwe do zamówienia.