多上游模型接入
自有供应模型
自有及自托管模型实例的接入——以 source 为 self 登记、原生协议直连、模型池准入与路由配置示例
自有供应模型指由平台自有或在客户部署实例内自托管的模型。这类上游由平台直接以原生协议对接,是模型池中可控性最高的一类供给。本页只写自有供应模型相对通用接入规则的差异;登记字段、分组路由、准入判定、探测与故障转移的通用规则不再重复。
适用场景
| 场景 | 说明 |
|---|---|
| 私有部署的模型实例 | 部署在客户控制环境内、与平台同处一个隔离边界的模型 |
| 自托管的专用模型 | 平台运维方自行托管、专供本平台路由的模型实例 |
| 强档供给 | 对智能水平要求高、需稳定承接复杂查询的模型,常以自有供应保证可控性与优先级 |
接入要点
自有供应模型登记时 source 取 self、type 取 native(原生协议直连)。与第三方兼容接入相比,自有供应模型无需协议转换,平台直接以模型的原生接口对接。
curl https://your-platform/api/v1/providers \
-H "Content-Type: application/json" \
-H "Cookie: <控制台会话凭证>" \
-d '{
"name": "自有强档模型",
"source": "self",
"type": "native",
"models": ["<模型中性名>"],
"group": "default",
"priority": 1,
"weight": 2
}'| 字段 | 自有供应取值 | 说明 |
|---|---|---|
source | self | 标记为自有供应,「模型接入」页归入自有供应模型分区 |
type | native | 原生协议直连,无需格式转换 |
priority | 通常取较高优先级(数值较小) | 自有供应可控性高,常作为同分组内首选承接层 |
自有供应不等于免准入。 即便是自有供应模型,也须通过模型池准入判定(智能水平指数达门槛)才会承接流量;未达门槛的自有模型可接入但不参与路由,可在模型池面板查看其判定状态。
准入与路由
接入后查看模型池准入判定,确认自有模型已纳入可路由池:
curl https://your-platform/api/v1/model-pool \
-H "Cookie: <控制台会话凭证>"{
"items": [
{
"model": "<模型中性名>",
"source": "self",
"intelligence_index": 0,
"admitted": true,
"tier": "strong"
}
]
}自有供应模型常被指派较高优先级,使其在同分组内作为首选承接层;当自有模型不可用时,路由中间件按优先级降级到第三方兼容上游中供给同一中性名的候选,实现自有与第三方互为备份。
探测与可用性
自有供应模型同样维护"已接入 · 可用"的探测状态:
curl https://your-platform/api/v1/providers/<上游标识>/probe \
-X POST \
-H "Cookie: <控制台会话凭证>"{
"provider_id": "<上游标识>",
"status": "available",
"probe_latency_ms": 0,
"probed_at": "<探测时间>"
}自有供应模型多与平台同处一个部署边界,探测耗时通常较低,可在「模型接入」页与第三方上游的探测耗时横向对比,辅助调整优先级与权重。
接入完成后,自有供应模型即以中性名进入数据平面统一查询入口与逐条调用记录,与第三方兼容模型在同一个模型池中协同调度。第三方兼容接入的差异见 OpenAI 兼容接入、Anthropic 兼容接入、Gemini 兼容接入。