獨立驗證
使用應用程式內嵌引擎及預設模型,在真實終端硬件上驗證單一有界工作負載。
每個 AI 應用程式均可獨立啟動,內嵌 AI 引擎。當模型、運算或 API 需要共享時,加入 AI Server;只有當多台伺服器需要一個高可用前端時,才加入 AI Gateway。
即使連接至下方組織平台,AI 應用程式仍保留其內嵌引擎及本地路由。
使用應用程式內嵌引擎及預設模型,在真實終端硬件上驗證單一有界工作負載。
僅在業務需求時新增中央模型、運算或 API 服務。
當中央管治重要時,新增成員、權限、伺服器註冊、政策及審計證據。
當需要彈性、專門化或量度容量時,於多個伺服器工作者前置 AI Gateway。
部署選項包括 Windows、macOS、Linux、Docker 及 Kubernetes。合適的拓撲結構取決於工作負載、硬件、身份、可用性及合規需求。
連接兼容客戶端以使用聊天、嵌入、圖像、語音及視覺服務。
將模型及推理置於由貴組織控制的基建上。
管理成員、授權、註冊、政策、審計及使用證據。
隨需求及證據增長,從單一節點遷移至由 Gateway 管理的叢集。
部署規劃器會評估嵌入式應用、可選伺服器、Gateway、管理、硬件及付費授權數量,然後僅將可訂購項目送入商店。