Multimodal · køreplan Køreplan — endnu ikke leveret
Det meste laotisk, der betyder noget, bliver ikke tastet ind. Det bliver stemplet, fotograferet, håndskrevet, printet og scannet igen, talt med regional accent eller som andetsprog eller læst højt for en, der ikke kan læse det. En model, der kun håndterer tekst, når intet af det. Her er, hvad der ændrer sig, hvorfor netop laotisk har brug for det, og omtrent hvornår.
Hvad en multimodal model er
En tekstmodel læser tokens. En multimodal model tager mere end én slags input — billeder, lyd, video, dokumenter — og ræsonnerer over dem i samme kontekst som teksten. Den gængse konstruktion kobler en encoder pr. modalitet til en sprogmodel og træner koblingen, så et billede bliver noget, sprogmodellen kan være opmærksom på ved siden af ordene i prompten.
Det begreb, der betyder noget i praksis, er vision-language-modellen: en sprogmodel med en billed-encoder, hvilket er, hvad næsten enhver evne af typen »kan den læse mit skærmbillede« reelt er. IBM's definition er den korte — en model, der kan behandle og ræsonnere på tværs af flere modaliteter som tekst, billeder og lyd — og NVIDIA's ordliste er den korte for den visuelle halvdel.
Idéen er ældre end den nuværende bølge. CLIP viste i 2021, at billede og tekst kunne trænes ind i et fælles rum med naturligt sprog som supervision; Flamingo viste, at en frosset sprogmodel kunne læres at være opmærksom på billeder med få eksempler; visuel instruktionstuning gjorde resultatet til noget, man kan tale med. Alt, der er i drift i dag, nedstammer fra de tre.
Læs primærkilderneHvorfor laotisk har mere brug for det end engelsk
Det er ikke den samme funktion på et andet sprog. Fire ting gør dokumentsyn for laotisk til et særskilt teknisk problem, og alle fire er grunde til, at en generel model klarer det dårligere.
Ingen mellemrum mellem ordene, så en genkender kan ikke bruge blanktegn til at finde grænser. Vokaler og tonetegn sidder over, under og omkring konsonanten, så en scanning, der taber et af dem, ændrer i stilhed ordet i stedet for synligt at ødelægge det — og der findes langt mindre laotisk tekst at lære af end for noget større sprog.
Det reelle input er et mobilfoto af en stemplet side på et skrivebord, skævt, på et kontor med ét lysstofrør. Benchmarks med rene scanninger siger intet om det.
Landsbyregistre, notater fra klinikker, følgesedler, karakterlister fra skoler, familiebogen. Laotisk håndskrift binder sammen og forkorter på måder, som træning på trykt tekst ikke dækker.
Laotiske cifre ໐–໙ ved siden af arabiske, gregorianske årstal på offentlige dokumenter og årstal i buddhistisk tidsregning, 543 år foran, i templernes optegnelser, og kip-beløb så store, at en fejllæst tusindtalsseparator flytter et tal med en faktor tusind. Læs året forkert, og hver dato i dokumentet er forkert.
Fire sanser, tre modeller
Leveres som separate modeller i stedet for én stor, for så kan routeren sende et foto til den model, der læser, og en optagelse til den model, der hører — og ingen af dem betaler for den andens vægte.
Fotos, skærmbilleder, diagrammer, hylder, scener, formularer. Svarer på laotisk om det, der er i billedet, med den region, det blev leveret fra.
Dokumentspecialisten: stemplede, scannede, skæve, flerspaltede, delvist håndskrevne laotiske papirer omsat til strukturerede felter, du kan lægge i en database.
Laotisk talegenkendelse og talesyntese på tværs af de regionale varianter, inklusive det almindelige tilfælde med et spørgsmål fra en person, hvis modersmål ikke er laotisk, besvaret på enkelt laotisk.
Den, der betyder noget: et foto og et talt spørgsmål i samme forespørgsel, besvaret ud fra dine egne dokumenter. Det er den evne, de separate modeller findes for at gøre billig.
Atten ting, der ikke var mulige før
Hver af dem er et job, som nogen i Laos i dag udfører ved at skrive det af, der ligger foran dem. Til illustration — de beskriver den tilsigtede evne, ikke leverede funktioner.
Ret kameraet mod en ປຶ້ມສຳມະໂນຄົວ, og få hvert felt tilbage som strukturerede data — navne, ID-numre, landsby, distrikt, provins — uden at en sagsbehandler skal skrive et eneste af dem af klokken fire om eftermiddagen.
En scannet side fra Official Gazette bliver til et resumé, hvor hver forpligtelse kan spores til den artikel, den stammer fra, og ikrafttrædelsesdatoen læses i stedet for at blive gættet.
Fotografér den side, en udvalgssekretær faktisk skrev, og få et maskinskrevet referat på laotisk i officielt register, med navnene stavet ens og beslutningerne nummereret.
Fotografér en halvt udfyldt formular fra et ministerium, og få at vide, hvilke felter der mangler, hvilket stempel der mangler, og hvilket bilag kontoret vil sende dig hjem efter.
Et foto af en apoteksetiket — ofte trykt på et andet sprog end laotisk — bliver til en talt forklaring på enkelt laotisk af dosis og tidspunkter, til en patient, der læser langsomt eller slet ikke kan læse det sprog.
Fotografér hospitalets udskrivningsresumé, og få »hvad du skal gøre i denne uge« på det sprog, der tales derhjemme, med datoen for kontrolbesøget lagt ind i en påmindelse.
Vis skaden, og få at vide, hvad den ligner, hvad den ofte forveksles med, og hvilket landbrugskontor i distriktet du skal ringe til — med et udtrykkeligt nej til at ordinere et middel, den ikke kan være sikker på.
Fotografér sækken, sig markens størrelse i hektar højt, og få blandingsforholdet tilbage som et talt svar, offline, stående ude på marken.
Fotografér bunken. Få en tabel med leverandør, skattenummer, dato, moms og total, markeret dér, hvor en kvittering ikke er en gyldig momsfaktura og ikke vil holde til en revision.
Et skærmbillede af en overførselskvittering fra en bankapp eller national QR, matchet med den faktura, den betaler, med beløb og reference tjekket og afvigelsen navngivet i stedet for i stilhed at blive ignoreret.
Fotografér hylden, og få en laotisk produktliste med facings og huller — det job, der i dag er en person med et clipboard, som går gangen igennem to gange.
Fotografér siden, og få en lektionsplan knyttet til målene i den nationale læseplan, med de to mål, siden ikke dækker, udtrykkeligt navngivet.
Fotografér en elevs side, og få stavefejl, vokalfejl og fejl i tonetegn markeret med den regel, hver af dem bryder — så rettelsen lærer fra sig i stedet for at give point.
Fotografér menukortet. Gæsten får sit eget sprog og allergenerne; retten beholder sit laotiske navn, for ລາບ er ikke »kødsalat«, og en restaurant skal ikke være nødt til at lade som om.
Fotografér en tempelinskription eller et palmebladsmanuskript, og få en translitteration, en læsning på enkelt laotisk og en ærlig bemærkning om, hvilke tegn der er for slidte til at kunne læses.
Fotografér følgesedlen ved læsserampen, og lad de strukturerede felter lande i WMS — inklusive den håndskrevne mængderettelse, som nogen har lavet med kuglepen.
Et stillbillede fra et CCTV-kamera bliver til et beskrevet, tidsstemplet hændelsesnotat på laotisk, i det register, rapporten skal indgives i, til et menneske at underskrive.
Ret kameraet, og hør på laotisk, hvad der er foran dig, i gåtempo — den version af teknologien, der slet ikke er en produktivitetsfunktion.
Sådan ser det ud i API'et
Samme endpoint. Et billede i content-arrayet, og routeren klarer resten — hvilket er hele grunden til, at routingen blev leveret først.
POST /v1/messages
{
"model": "auto", // the router picks
"messages": [{
"role": "user",
"content": [
{ "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
{ "type": "text", "text": "ແບບຟອມນີ້ຍັງຂາດຊ່ອງໃດແດ່" }
]
}],
"lao": { "register": "official", "dialect": "auto" }
}
// 200 OK
// { "routed_to": "LaoLLM-Vision", "then": "LaoLLM-Base",
// "region": "la-vte-1", "usage": { "kip": 42.60 } }Køreplan
Fire faser. Ingen af dem er en dato: hver fase åbner, når dens evalueringssuite er bestået, og suiten bedømmes af laotisktalende, ikke af en rangliste.
Trykte og scannede laotiske dokumenter omsat til strukturerede felter. Laotiske cifre og begge kalendere håndteres ved aflæsningen, ikke lappet bagefter.
SpærringSkæve mobilfotos, stempler, segl og laotisk håndskrift. Det er fasen, der afgør, om produktet kan bruges uden for et kontor.
SpærringTale ind og tale ud, bedømt separat for hver regional variant og for dem, der taler laotisk som andetsprog — for et gennemsnit på tværs af dem skjuler præcis den fejl, der betyder noget.
SpærringEn komprimeret synsmodel, der kører på en Android-telefon i mellemklassen uden forbindelse, til det arbejde, der foregår dér, hvor der ingen dækning er.
SpærringKilder
Baggrundslæsning om multimodale modeller, fra primær dokumentation og de artikler, feltet bygger på. Eksterne links, uden tilknytning til LaoGPT.
Den klareste korte definition af en multimodal stor sprogmodel, og hvad den er til.
NVIDIAWhat are vision-language models? — NVIDIA glossaryHvordan en billed-encoder kobles til en sprogmodel for at give den syn.
WikipediaVision-language model — WikipediaEt neutralt overblik med en bred bibliografi, hvis du vil se feltets form før detaljerne.
AnthropicVision — Claude API documentationArbejdsdokumentation for at sende billeder til en model og de praktiske grænser for at gøre det.
GoogleImage understanding — Gemini API documentationEt API, der er multimodalt fra bunden, inklusive dokumenter og video som input.
OpenAIImages and vision — OpenAI platform documentationDet andet meget brugte API til billeder, til sammenligning af, hvordan forespørgslerne ser ud.
Hugging FaceImage-text-to-text — Hugging FaceDen åbne modelside: opgavedefinition og modeller, du selv kan køre.
arXiv 2103.00020Learning Transferable Visual Models From Natural Language SupervisionCLIP, 2021 — billede og tekst trænet ind i en fælles repræsentation. Artiklen, det moderne felt tager udgangspunkt i.
arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning2022 — hvordan en frosset sprogmodel læres at være opmærksom på billeder.
arXiv 2304.08485Visual Instruction Tuning2023 — LLaVA, og det skridt, der gjorde vision-language-modeller samtalebaserede.
Førudgivelsesprogram
Tre grupper er åbne. Vælger du én, sættes formularen nedenfor op — du kan ændre det der.
Førudgivelse · tilmelding åben nu
Tre felter. Fortæl os, hvem du er, og hvor vi skriver til, så sender vi en mail, når din invitation er klar.
Virker på 3G · ພາສາລາວ / English