Multimodal · veikart Veikart — ikke levert ennå
Det meste av det laotiske språket som betyr noe, blir ikke tastet inn. Det blir stemplet, fotografert, håndskrevet, skrevet ut og skannet på nytt, snakket med regional aksent eller som andrespråk, eller lest høyt for noen som ikke kan lese det. En modell som bare håndterer tekst, når ingenting av det. Her er hva som endrer seg, hvorfor akkurat laotisk trenger det, og omtrent når.
Hva en multimodal modell er
En tekstmodell leser tokens. En multimodal modell tar imot mer enn én type input — bilder, lyd, video, dokumenter — og resonnerer over dem i samme kontekst som teksten. Den vanlige konstruksjonen kobler en koder per modalitet til en språkmodell og trener koblingen, slik at et bilde blir noe språkmodellen kan rette oppmerksomheten mot ved siden av ordene i prompten.
Begrepet som betyr noe i praksis, er vision-language-modellen: en språkmodell med en bildekoder, som er det nesten enhver evne av typen «kan den lese skjermbildet mitt» egentlig er. IBMs definisjon er den korte — en modell som kan behandle og resonnere på tvers av flere modaliteter som tekst, bilder og lyd — og NVIDIAs ordliste er den korte for den visuelle halvdelen.
Ideen er eldre enn den nåværende bølgen. CLIP viste i 2021 at bilde og tekst kunne trenes inn i et felles rom med naturlig språk som veiledning; Flamingo viste at en frossen språkmodell kunne læres å rette oppmerksomheten mot bilder med få eksempler; visuell instruksjonstuning gjorde resultatet til noe man kan snakke med. Alt som er i drift i dag, stammer fra de tre.
Les primærkildeneHvorfor laotisk trenger dette mer enn engelsk
Dette er ikke den samme funksjonen på et annet språk. Fire ting gjør dokumentsyn for laotisk til et eget teknisk problem, og alle fire er grunner til at en generell modell presterer dårligere på det.
Ingen mellomrom mellom ordene, så en gjenkjenner kan ikke bruke blanktegn til å finne grensene. Vokaler og tonetegn sitter over, under og rundt konsonanten, så en skanning som mister ett av dem, endrer ordet i det stille i stedet for å ødelegge det synlig — og det finnes langt mindre laotisk tekst å lære av enn for noe stort språk.
Den reelle inputen er et mobilfoto av en stemplet side på et skrivebord, skjevt, på et kontor med ett lysrør. Benchmarker med rene skanninger sier ingenting om det.
Landsbyregistre, klinikknotater, følgesedler, karakterlister fra skoler, familieboken. Laotisk håndskrift binder sammen og forkorter på måter som trening på trykt tekst ikke dekker.
Laotiske sifre ໐–໙ ved siden av arabiske sifre, gregorianske årstall i offentlige dokumenter og buddhistiske årstall, 543 år foran, i templenes opptegnelser, og kip-beløp så store at et feillest tusenskilletegn endrer et tall med en faktor på tusen. Les året feil, og hver dato i dokumentet blir feil.
Fire sanser, tre modeller
Leveres som separate modeller i stedet for én stor, fordi ruteren da kan sende et foto til modellen som leser, og et opptak til modellen som hører — og ingen av dem betaler for den andres vekter.
Fotografier, skjermbilder, diagrammer, hyller, scener, skjemaer. Svarer på laotisk om det som er i bildet, med regionen svaret ble levert fra.
Dokumentspesialisten: stemplede, skannede, skjeve, flerspaltede, delvis håndskrevne laotiske papirer gjort om til strukturerte felt du kan legge inn i en database.
Laotisk talegjenkjenning og talesyntese på tvers av de regionale variantene, inkludert det vanlige tilfellet der et spørsmål stilles av noen som ikke har laotisk som morsmål, og besvares på enkel laotisk.
Den som betyr noe: et foto og et muntlig spørsmål i samme forespørsel, besvart ut fra dine egne dokumenter. Det er evnen de separate modellene finnes for å gjøre billig.
Atten ting som ikke gikk før
Hver av disse er en jobb noen i Laos gjør i dag ved å skrive av det som ligger foran dem. Illustrerende — de beskriver tiltenkt evne, ikke leverte funksjoner.
Rett kameraet mot en ປຶ້ມສຳມະໂນຄົວ og få hvert felt tilbake som strukturerte data — navn, ID-numre, landsby, distrikt, provins — uten at en saksbehandler taster inn ett eneste av dem på nytt klokken fire på ettermiddagen.
En skannet side fra Official Gazette blir til et sammendrag der hver plikt kan spores til paragrafen den kommer fra, og ikrafttredelsesdatoen leses i stedet for å bli gjettet.
Fotografer siden en utvalgssekretær faktisk skrev, og få et maskinskrevet referat på laotisk i offisielt register, med navnene stavet konsekvent og vedtakene nummerert.
Fotografer et halvt utfylt skjema fra et departement og få vite hvilke felt som mangler, hvilket stempel som mangler, og hvilket vedlegg kontoret kommer til å sende deg hjem for.
Et foto av en apoteketikett — ofte trykt på et annet språk enn laotisk — blir til en muntlig forklaring på enkel laotisk av dosen og tidspunktene, for en pasient som leser sakte eller ikke kan lese det språket i det hele tatt.
Fotografer utskrivningssammendraget fra sykehuset og få «hva du skal gjøre denne uken» på språket som snakkes hjemme, med datoen for kontrollen lagt inn i en påminnelse.
Vis skaden og få vite hva den ligner, hva den ofte forveksles med, og hvilket landbrukskontor i distriktet du bør ringe — med et uttrykkelig nei til å foreskrive et kjemisk middel den ikke kan være sikker på.
Fotografer sekken, si størrelsen på jordstykket høyt i hektar, og få blandingsforholdet tilbake som et muntlig svar, frakoblet, mens du står ute på jordet.
Fotografer bunken. Få en tabell med leverandør, skattenummer, dato, mva. og totalsum, markert der en kvittering ikke er en gyldig mva-faktura og ikke vil holde i en revisjon.
Et skjermbilde av en overføringskvittering fra en bankapp eller nasjonal QR, koblet til fakturaen den betaler, med beløp og referanse kontrollert og avviket påpekt i stedet for ignorert i det stille.
Fotografer hyllen og få en laotisk produktliste med fronter og hull — jobben som i dag gjøres av en person med skriveplate som går langs en hyllerekke to ganger.
Fotografer siden og få en undervisningsplan knyttet til målene i den nasjonale læreplanen, med de to målene siden ikke dekker, uttrykkelig navngitt.
Fotografer en elevs side og få stavefeil og feil i vokaler og tonetegn markert med regelen hver av dem bryter — slik at rettingen underviser i stedet for å gi poeng.
Fotografer menyen. Gjesten får sitt eget språk og allergenene; retten beholder sitt laotiske navn, for ລາບ er ikke «kjøttsalat», og en restaurant skal ikke måtte late som den er det.
Fotografer en tempelinskripsjon eller et palmebladmanuskript og få en translitterering, en lesning på enkel laotisk og en ærlig merknad om hvilke tegn som er for slitte til å kunne leses.
Fotografer følgeseddelen ved lasterampen og la de strukturerte feltene havne i WMS — inkludert den håndskrevne mengderettelsen noen har gjort med penn.
Et stillbilde fra et CCTV-kamera blir til et beskrevet, tidsstemplet hendelsesnotat på laotisk, i registeret rapporten skal leveres i, til signering av et menneske.
Rett kameraet og hør hva som er foran deg, på laotisk, i gangtempo — den versjonen av denne teknologien som slett ikke er en produktivitetsfunksjon.
Slik ser det ut i API-et
Samme endepunkt. Et bilde i content-arrayet, og ruteren tar seg av resten — noe som er hele grunnen til at rutingen ble levert først.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "ແບບຟອມນີ້ຍັງຂາດຊ່ອງໃດແດ່" }
]
}],
"lao": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "LaoLLM-Vision", "then": "LaoLLM-Base",
// "region": "la-vte-1", "usage": { "kip": 42.60 } }Veikart
Fire faser. Ingen av dem er datoer: hver fase åpner når testsamlingen for den er bestått, og testsamlingen vurderes av laotisktalende, ikke av en rangeringsliste.
Trykte og skannede laotiske dokumenter gjort om til strukturerte felt. Laotiske sifre og begge kalenderne håndteres ved innlesingen og lappes ikke på i etterkant.
SperreMobilbilder tatt på skrå, stempler, segl og laotisk håndskrift. Dette er fasen som avgjør om produktet er nyttig utenfor et kontor.
SperreTale inn og tale ut, vurdert separat for hver regional variant og for dem som snakker laotisk som andrespråk — fordi et gjennomsnitt på tvers av dem skjuler nøyaktig den feilen som betyr noe.
SperreEn komprimert synsmodell som kjører på en Android-telefon i mellomklassen uten tilkobling, for arbeidet som skjer der det ikke er dekning.
SperreKilder
Bakgrunnslesing om multimodale modeller, fra primærdokumentasjon og artiklene feltet bygger på. Eksterne lenker, uten tilknytning til LaoGPT.
Den klareste korte definisjonen av en multimodal stor språkmodell og hva den er til.
NVIDIAWhat are vision-language models? — NVIDIA glossaryHvordan en bildekoder kobles til en språkmodell for å gi den syn.
WikipediaVision-language model — WikipediaEn nøytral oversikt med en bred bibliografi, hvis du vil se feltets form før detaljene.
AnthropicVision — Claude API documentationArbeidsdokumentasjon for å sende bilder til en modell, og de praktiske grensene for å gjøre det.
GoogleImage understanding — Gemini API documentationEt API som er multimodalt fra grunnen av, inkludert dokumenter og video som input.
OpenAIImages and vision — OpenAI platform documentationDet andre mye brukte API-et for bilder, for å sammenligne hvordan forespørslene ser ut.
Hugging FaceImage-text-to-text — Hugging FaceDen åpne modellsiden: oppgavedefinisjon og modeller du kan kjøre selv.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP, 2021 — bilde og tekst trent inn i en felles representasjon. Artikkelen det moderne feltet tar utgangspunkt i.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — hvordan en frossen språkmodell læres å rette oppmerksomheten mot bilder.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA, og steget som gjorde vision-language-modeller samtalebaserte.
Program for førversjonen
Tre grupper er åpne. Velger du én, settes skjemaet nedenfor opp — du kan endre det der.
Førversjon · påmelding åpen
Tre felt. Fortell oss hvem du er og hvor vi skriver, så sender vi e-post når invitasjonen er klar.
Virker på 3G · ພາສາລາວ / English