ລາວLaoGPT
Přihlásit se

Chytré směrování

Nejlevnější model, který laťku přeskočí.

Router je rozdíl mezi AI platformou a účtem za AI. LaoGPT klasifikuje každý požadavek, poměří ho s tím, co každý model v rodině skutečně umí, a pošle ho tomu nejmenšímu, který ho zvládne správně — pak odpověď zkontroluje, a pokud to nezvládl, eskaluje. Tato stránka ukazuje, jak se to rozhodnutí přijímá a co si můžete vynutit.

Čtyři rozhodnutí, než vznikne token

1

Který model

Lite na přeformulování, Base na většinu, Pro když se kontext nevejde, Vision když je obrázek, Voice když je zvuk, Reason když člověk musí auditovat řetězec.

2

Kde běží

V zařízení, pokud to zařízení zvládne, v zemi, pokud ne, a nikde, pokud pracovní prostor uzamkl region, který by požadavek opustil.

3

Kolik to stojí

Router zná cenu každého modelu v kipech i zůstatek, který na účtu zbývá. Levný požadavek se neposílá drahému modelu jen pro jistotu.

4

Zda eskalovat

První odpověď se zkontroluje proti požadavku. Neúspěšná kontrola směruje výš a řekne to v odpovědi — vidíte, že se to stalo a kolik to stálo.

Co čte

Osm signálů a žádný z nich nevyžaduje, abyste svůj požadavek popisovali. Všech osm je vidět v odpovědi, takže rozhodnutí o směrování je něco, s čím můžete polemizovat, ne něco, co se vám prostě stane.

task

Typ úlohy

Psát, shrnout, přeložit, vytěžit, klasifikovat, uvažovat. Odvozeno a lze přepsat.

dialect

Písmo a varieta

Vientianská, severní nebo jižní laoština, laoština smíchaná s thajštinou nebo angličtinou, nebo laoština psaná latinkou.

modality

Modalita

Text, obrázek, naskenované PDF, zvuk. Obrázek v požadavku vylučuje každý model, který zvládá jen text.

tokens

Délka kontextu

Měřeno laoským tokenizérem, ne odhadováno z počtu znaků — a právě tím se zahraniční platformy mýlí.

pii

Citlivost

Číslo laoského občanského průkazu, zápis v rodinné knize, záznam pacienta, daňové číslo. Rozpoznáno lokálně; uzamkne trasu dřív, než se požadavek kamkoli odešle.

network

Připojení

Offline, úspora dat nebo plné. Router snižuje model, ne odpověď.

kip

Rozpočet

Zbývající předplacený zůstatek v kipech a strop na jeden požadavek nastavený na účtu.

ttft

Požadavek na latenci

Hlasová odpověď potřebuje první token do jedné sekundy. Noční dávka ne.

Směrovací tabulka

Ilustrativní. Aktivní tabulka přichází z platformy a mění se s přidáváním modelů — a právě proto nemá smysl psát název modelu do vašeho klienta.

PožadavekSměrováno naProč
„Přepište to ve zdvořilém registru“LaoLLM-Lite · v zařízeníKrátké, bez vyhledávání, síť není potřeba
„Shrňte tento šestistránkový oběžník“LaoLLM-BaseVejde se do kontextu, potřebuje odkazy na zdroj
„Které klauzule se na těchto 400 stranách změnily?“LaoLLM-ProKontext přesahuje Base
[fotografie orazítkovaného formuláře]LaoLLM-Vision → BaseNejdřív obrázek, pak úvaha nad přečteným
[hlas, s jižním přízvukem]LaoLLM-Voice → BaseVarieta rozpoznána, řeč přepsána, odpověď v téže varietě, v jaké zazněla
„Splňuje tato zakázka práh?“LaoLLM-ReasonČlověk musí mít možnost zkontrolovat každý krok
Cokoli, co obsahuje číslo občanského průkazuV zařízení, nebo odmítnutoZásady pracovního prostoru, vynucené před přenosem

Trasa, kterou smí odmítnout

Každá jiná směrovací vrstva optimalizuje náklady a latenci. Tahle má třetí osu a právě tu si instituce skutečně kupuje: pracovní prostor může stanovit, že jeho požadavky nikdy neopustí la-vte-1, a router pak raději vrátí chybu, než aby potichu našel model jinde. Odmítnutí je funkce. Je to také jediná podoba umístění dat, která přežije setkání s routerem.

409 route_forbidden · workspace pinned to la-vte-1

Eskalační žebřík

Eskalace je viditelná a účtuje se podle toho, kolik stála, ne za cenu největšího modelu. Pokud se router mýlil, vidíte, že se mýlil.

LaoLLM-Lite×1
LaoLLM-Base×4
LaoLLM-Pro×11
LaoLLM-Reason×26

Každá příčka se použije jen tehdy, když předchozí odpověď neprojde vlastní kontrolou.

A vždy ho můžete přepsat

Zadejte název modelu a router ustoupí. Zadejte zásadu a router se místo toho bude řídit jí. Směrování je výchozí nastavení, ne klec — a výchozí nastavení má být takové, které skoro nikdo nebude muset měnit.

POST /v1/messages
{
  "model": "auto",                    // default: the router decides
  "route": {
    "region": "la-vte-1",             // refuse rather than leave
    "max_kip": 75,                    // per-request ceiling
    "prefer": "cheapest_passing"      // or "fastest" | "best"
  }
}

// The decision comes back with the answer, every time:
// { "routed_to": "LaoLLM-Base", "considered": ["Lite", "Base", "Pro"],
//   "reason": "context 4.1k > Lite 8k window at 0.62 confidence",
//   "escalated": false, "region": "la-vte-1", "usage": { "kip": 11.40 } }

Zdroje

Doplňkové čtení o multimodálních modelech, z primární dokumentace a článků, na kterých obor stojí. Externí odkazy, bez vazby na LaoGPT.

arXiv 2406.18665RouteLLM: Learning to Route LLMs with Preference Data

2024 — směrování mezi silným a slabým modelem a kolik to ušetří.

arXiv 1701.06538Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer

2017 — směrování uvnitř modelu místo před ním; předchůdce této myšlenky.

CloudflareAI Gateway — Cloudflare documentation

Praktická dokumentace k umístění směrovací a cache vrstvy před modely.

IBMWhat is a multimodal LLM? — IBM

Nejjasnější krátká definice multimodálního velkého jazykového modelu a toho, k čemu slouží.

Domů Multimodalita

Program předverze

Vyberte si, jak se přidáte.

Otevřené jsou tři skupiny. Výběr jedné nastaví formulář níže — tam jej můžete změnit.