Multimodal · färdplan Färdplan — ännu inte levererad
Det mesta av den laotiska som spelar roll skrivs inte på tangentbord. Den stämplas, fotograferas, handskrivs, skrivs ut och skannas igen, talas med regional accent eller som andraspråk eller läses upp för någon som inte kan läsa den. En modell som bara hanterar text når inget av det. Här är vad som förändras, varför just laotiska behöver det och ungefär när.
Vad en multimodal modell är
En textmodell läser tokens. En multimodal modell tar emot mer än en sorts indata — bilder, ljud, video, dokument — och resonerar om dem i samma kontext som texten. Den vanliga konstruktionen kopplar en kodare per modalitet till en språkmodell och tränar kopplingen, så att en bild blir något som språkmodellen kan uppmärksamma bredvid orden i prompten.
Termen som spelar roll i praktiken är vision-language-modellen: en språkmodell med en bildkodare, vilket är vad nästan varje förmåga av typen ”kan den läsa min skärmdump” egentligen är. IBM:s definition är den korta — en modell som kan bearbeta och resonera över flera modaliteter som text, bilder och ljud — och NVIDIA:s ordlista är den korta för den visuella halvan.
Idén är äldre än den nuvarande vågen. CLIP visade 2021 att bild och text kunde tränas in i ett gemensamt rum med hjälp av naturligt språk som övervakning; Flamingo visade att en fryst språkmodell kunde läras att uppmärksamma bilder med några få exempel; visuell instruktionsjustering gjorde resultatet till något man kan prata med. Allt som är i drift i dag härstammar från de tre.
Läs primärkällornaVarför laotiska behöver det här mer än engelska
Det är inte samma funktion på ett annat språk. Fyra saker gör dokumentseende för laotiska till ett eget tekniskt problem, och alla fyra är skäl till att en allmän modell presterar sämre på det.
Inga mellanslag mellan orden, så en igenkännare kan inte använda blanksteg för att hitta gränser. Vokaler och tontecken sitter ovanför, under och runt konsonanten, så en skanning som tappar ett av dem ändrar ordet i tysthet i stället för att förstöra det synligt — och det finns långt mindre laotisk text att lära sig av än för något större språk.
Den verkliga indatan är ett mobilfoto av en stämplad sida på ett skrivbord, snett, på ett kontor med ett enda lysrör. Benchmarks med rena skanningar säger ingenting om det.
Byregister, anteckningar från vårdcentraler, följesedlar, betygslistor från skolor, familjeboken. Laotisk handskrift binder ihop och förkortar på sätt som träning på tryckt text inte täcker.
Laotiska siffror ໐–໙ bredvid arabiska, gregorianska årtal på myndighetspapper och årtal i buddhistisk tideräkning, 543 år före, i tempelarkiv, och kip-belopp så stora att en felläst tusentalsavgränsare ändrar ett tal med en faktor tusen. Läs året fel så blir varje datum i dokumentet fel.
Fyra sinnen, tre modeller
Levereras som separata modeller i stället för en stor, eftersom routern då kan skicka ett foto till modellen som läser och en inspelning till modellen som hör — och ingen av dem betalar för den andras vikter.
Foton, skärmdumpar, diagram, hyllor, scener, formulär. Svarar på laotiska om det som finns i bilden, med den region det levererades från.
Dokumentspecialisten: stämplade, skannade, sneda, flerspaltiga, delvis handskrivna laotiska papper omvandlade till strukturerade fält som du kan lägga i en databas.
Laotisk taligenkänning och talsyntes i de regionala varianterna, inklusive det vanliga fallet med en fråga från någon vars modersmål inte är laotiska, besvarad på enkel laotiska.
Den som spelar roll: ett foto och en talad fråga i samma förfrågan, besvarade utifrån dina egna dokument. Det är den förmåga som de separata modellerna finns till för att göra billig.
Arton saker som inte gick förut
Var och en är ett jobb som någon i Laos gör i dag genom att skriva av det som ligger framför dem. Illustrativa — de beskriver avsedd förmåga, inte levererade funktioner.
Rikta kameran mot en ປຶ້ມສຳມະໂນຄົວ och få tillbaka varje fält som strukturerad data — namn, id-nummer, by, distrikt, provins — utan att en handläggare behöver skriva av ett enda av dem klockan fyra på eftermiddagen.
En skannad sida ur Official Gazette blir en sammanfattning där varje skyldighet kan spåras till den artikel den kommer från, och datumet för ikraftträdandet läses i stället för att gissas.
Fotografera sidan som en kommittésekreterare faktiskt skrev och få ett maskinskrivet protokoll på laotiska i officiellt register, med namnen konsekvent stavade och besluten numrerade.
Fotografera ett halvifyllt formulär från ett ministerium och få veta vilka rutor som saknas, vilken stämpel som fattas och vilken bilaga kontoret kommer att skicka hem dig för.
Ett foto av en apoteksetikett — ofta tryckt på ett annat språk än laotiska — blir en talad förklaring på enkel laotiska av dosen och tiderna, för en patient som läser långsamt eller inte kan läsa det språket alls.
Fotografera sjukhusets utskrivningssammanfattning och få ”vad du ska göra den här veckan” på det språk som talas hemma, med återbesöksdatumet inlagt i en påminnelse.
Visa skadan och få veta vad den liknar, vad den ofta förväxlas med och vilket jordbrukskontor i distriktet du ska ringa — med ett uttryckligt nej till att ordinera ett medel den inte kan vara säker på.
Fotografera säcken, säg skiftets storlek i hektar högt och få blandningsförhållandet tillbaka som ett talat svar, offline, stående ute på fältet.
Fotografera högen. Få en tabell med leverantör, skattenummer, datum, moms och summa, flaggad där ett kvitto inte är en giltig momsfaktura och inte klarar en revision.
En skärmdump av ett överföringskvitto från en bankapp eller nationell QR, matchad mot fakturan den betalar, med belopp och referens kontrollerade och avvikelsen namngiven i stället för att ignoreras i tysthet.
Fotografera hyllan och få en laotisk produktlista med fronter och luckor — jobbet som i dag är en person med skrivplatta som går längs en hyllgång två gånger.
Fotografera sidan och få en lektionsplanering kopplad till målen i den nationella läroplanen, med de två mål som sidan inte täcker uttryckligen namngivna.
Fotografera en elevs sida och få stavfel, vokalfel och fel på tontecken flaggade med den regel var och en bryter mot — så att rättningen lär ut i stället för att sätta poäng.
Fotografera menyn. Gästen får sitt eget språk och allergenerna; rätten behåller sitt laotiska namn, för ລາບ är inte ”köttsallad” och en restaurang ska inte behöva låtsas att den är det.
Fotografera en tempelinskription eller ett palmbladsmanuskript och få en translitterering, en läsning på enkel laotiska och en ärlig anteckning om vilka tecken som är för slitna för att kunna läsas.
Fotografera följesedeln vid lastkajen och låt de strukturerade fälten hamna i WMS — inklusive den handskrivna mängdrättelse som någon gjort med penna.
En stillbild från en CCTV-kamera blir en beskriven, tidsstämplad incidentanteckning på laotiska, i det register rapporten ska lämnas in i, för en människa att skriva under.
Rikta kameran och hör på laotiska vad som finns framför dig, i gånghastighet — den version av tekniken som inte alls är en produktivitetsfunktion.
Så ser det ut i API:et
Samma endpoint. En bild i innehållsarrayen, och routern sköter resten — vilket är hela anledningen till att routningen levererades först.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "ແບບຟອມນີ້ຍັງຂາດຊ່ອງໃດແດ່" }
]
}],
"lao": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "LaoLLM-Vision", "then": "LaoLLM-Base",
// "region": "la-vte-1", "usage": { "kip": 42.60 } }Färdplan
Fyra faser. Ingen av dem är ett datum: varje fas öppnar när dess utvärderingssvit är godkänd, och sviten bedöms av laotisktalande, inte av en topplista.
Tryckta och skannade laotiska dokument omvandlade till strukturerade fält. Laotiska siffror och båda kalendrarna hanteras vid läsningen, inte lappas i efterhand.
SpärrSneda mobilfoton, stämplar, sigill och laotisk handskrift. Det här är fasen som avgör om produkten är användbar utanför ett kontor.
SpärrTal in och tal ut, bedömt separat för varje regional variant och för dem som talar laotiska som andraspråk — eftersom ett genomsnitt över dem döljer exakt det misslyckande som spelar roll.
SpärrEn komprimerad seendemodell som körs på en Android-telefon i mellanklassen utan uppkoppling, för det arbete som sker där det saknas täckning.
SpärrKällor
Bakgrundsläsning om multimodala modeller, från primär dokumentation och de artiklar som området bygger på. Externa länkar, utan koppling till LaoGPT.
Den tydligaste korta definitionen av en multimodal stor språkmodell och vad den är till för.
NVIDIAWhat are vision-language models? — NVIDIA glossaryHur en bildkodare kopplas till en språkmodell för att ge den syn.
WikipediaVision-language model — WikipediaEn neutral översikt med en bred bibliografi, om du vill se områdets form innan detaljerna.
AnthropicVision — Claude API documentationArbetsdokumentation för att skicka bilder till en modell, och de praktiska gränserna för att göra det.
GoogleImage understanding — Gemini API documentationEtt API som är multimodalt från grunden, inklusive dokument och video som indata.
OpenAIImages and vision — OpenAI platform documentationDet andra flitigt använda API:et för bilder, för att jämföra hur förfrågningarna ser ut.
Hugging FaceImage-text-to-text — Hugging FaceDen öppna modellsidan: uppgiftsdefinition och modeller som du kan köra själv.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP, 2021 — bild och text tränade in i en gemensam representation. Artikeln som det moderna området utgår från.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — hur en fryst språkmodell lärs att uppmärksamma bilder.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA, och steget som gjorde vision-language-modeller konverserande.
Program för förhandsversionen
Tre grupper är öppna. Väljer du en ställs formuläret nedan in — du kan ändra det där.
Förhandsversion · anmälan öppen
Tre fält. Berätta vem du är och vart vi skriver, så mejlar vi när din inbjudan är klar.
Fungerar på 3G · ພາສາລາວ / English