ລາວLaoGPT
加入

智能路由

能过线的最便宜模型。

路由器，是 AI 平台和 AI 账单之间的差别。LaoGPT 对每个请求分类，对照家族中每个模型的真实能力为它打分，再把它交给能做对的最小模型——然后检查回答，没做对就升级。本页说明这个决定如何做出，以及你可以强制指定什么。

生成词元之前的四个决定

1

用哪个模型

改写用 Lite，多数任务用 Base，上下文放不下时用 Pro，有图片用 Vision，有音频用 Voice，需要人工审计推理链时用 Reason。

2

在哪里运行

设备能胜任就在设备上，不能就在境内；如果工作区锁定了请求会离开的区域，那就哪里都不运行。

3

花多少钱

路由器知道每个模型以基普计的价格，以及账户里剩下的余额。便宜的请求不会为了保险起见被送去贵的模型。

4

是否升级

第一个回答会对照请求检查。检查不通过就向上路由，并在响应中说明——你能看到发生了什么、花了多少。

它读取什么

八个信号，没有一个需要你描述自己的请求。八个信号都会显示在响应里，所以路由决定是你可以争辩的东西，而不是被动接受的结果。

task

任务类型

写作、摘要、翻译、抽取、分类、推理。自动推断，可以覆盖。

dialect

文字与语言变体

万象、北部或南部老挝语，夹杂泰语或英语的老挝语，或用拉丁字母输入的老挝语。

modality

模态

文本、图片、扫描 PDF、音频。请求中有图片，就排除所有只处理文本的模型。

tokens

上下文长度

用老挝语分词器实测，而不是按字符数估算——外国平台正是这样出错的。

pii

敏感度

老挝身份证号、户籍簿登记事项、病历、税号。在本地检测；在请求发往任何地方之前就锁定路线。

network

连接状况

离线、省流量或满速。路由器降的是模型，不是回答。

kip

预算

剩余的基普预付余额，以及账户设定的单次请求上限。

ttft

延迟要求

语音回答需要在一秒内出首个词元。夜间批处理不需要。

路由表

示意。实际的路由表由平台下发，并随着模型增加而变化——这正是不要在客户端里写死模型名的原因。

请求路由至原因
“用礼貌语体改写这段”LaoLLM-Lite · 设备端短，无需检索，无需网络
“总结这份 6 页的通知”LaoLLM-Base上下文放得下，需要引用
“这 400 页里哪些条款改了？”LaoLLM-Pro上下文超出 Base
[一张盖章表格的照片]LaoLLM-Vision → Base先看图，再对读到的内容推理
[语音，带南部口音]LaoLLM-Voice → Base识别语言变体、转写，并用听到的变体回答
“这项采购达到门槛了吗？”LaoLLM-Reason人必须能核查每一步
任何含身份证号的内容设备端，或拒绝工作区策略，在传输前强制执行

它有权拒绝的路线

其他路由层都只针对成本和延迟做优化。这一层多了第三个维度，而这正是机构真正要买的：工作区可以声明其请求永远不离开 la-vte-1，此时路由器会返回错误，而不是悄悄在别处找一个模型。拒绝就是功能。这也是唯一一种在遇到路由器之后还能成立的数据驻留。

409 route_forbidden · workspace pinned to la-vte-1

升级阶梯

升级是可见的，并按实际花费计费，而不是按最大模型的价格。如果路由器判断错了，你能看到它错了。

LaoLLM-Lite×1
LaoLLM-Base×4
LaoLLM-Pro×11
LaoLLM-Reason×26

只有上一步的回答没通过自身检查，才会走下一级。

而且你随时可以覆盖它

指定模型名，路由器就让开。指定策略，它就改为遵照策略。路由是默认选项，不是牢笼——而这个默认值，本就该是几乎没有人需要改动的那一个。

POST /v1/messages
{
  "model": "auto",                    // default: the router decides
  "route": {
    "region": "la-vte-1",             // refuse rather than leave
    "max_kip": 75,                    // per-request ceiling
    "prefer": "cheapest_passing"      // or "fastest" | "best"
  }
}

// The decision comes back with the answer, every time:
// { "routed_to": "LaoLLM-Base", "considered": ["Lite", "Base", "Pro"],
//   "reason": "context 4.1k > Lite 8k window at 0.62 confidence",
//   "escalated": false, "region": "la-vte-1", "usage": { "kip": 11.40 } }

参考资料

关于多模态模型的背景阅读，来自原始文档以及这一领域赖以建立的论文。外部链接，与 LaoGPT 无关联。

arXiv 2406.18665RouteLLM: Learning to Route LLMs with Preference Data

2024——在强模型与弱模型之间路由，以及能省多少。

arXiv 1701.06538Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

2017——在模型内部而非模型之前做路由；这一思想的前身。

CloudflareAI Gateway — Cloudflare documentation

在模型前面加一层路由与缓存的实用文档。

IBMWhat is a multimodal LLM? — IBM

对多模态大语言模型及其用途最清楚的简短定义。

首页 多模态

预发布计划

选择你的加入方式。

三类名额已开放。选择其一即会配置下方表单——你也可以在那里更改。