ລາວLaoGPT
Đăng ký

Đa phương thức · lộ trình Lộ trình — chưa bàn giao

Một mô hình tiếng Lào mà bạn có thể cho xem mọi thứ.

Phần lớn tiếng Lào quan trọng không được gõ ra. Nó được đóng dấu, chụp ảnh, viết tay, in ra rồi quét lại, nói bằng giọng địa phương hoặc như một ngôn ngữ thứ hai, hay được đọc to cho người không tự đọc được. Một mô hình chỉ xử lý văn bản không chạm tới được bất kỳ phần nào trong số đó. Đây là những gì thay đổi, vì sao riêng tiếng Lào lại cần điều này, và khoảng khi nào.

Mô hình đa phương thức là gì

Mô hình văn bản đọc token. Mô hình đa phương thức nhận nhiều hơn một loại đầu vào — hình ảnh, âm thanh, video, tài liệu — và suy luận về chúng trong cùng ngữ cảnh với văn bản. Cấu trúc phổ biến gắn một bộ mã hóa cho mỗi phương thức vào mô hình ngôn ngữ và huấn luyện phần kết nối, để hình ảnh trở thành thứ mà mô hình ngôn ngữ có thể chú ý tới bên cạnh các từ trong prompt.

Thuật ngữ quan trọng trong thực tế là mô hình thị giác-ngôn ngữ: một mô hình ngôn ngữ có bộ mã hóa hình ảnh, và đó thực chất là gần như mọi khả năng kiểu “nó có đọc được ảnh chụp màn hình của tôi không”. Định nghĩa của IBM là bản ngắn gọn — một mô hình có thể xử lý và suy luận trên nhiều phương thức như văn bản, hình ảnh và âm thanh — và bảng thuật ngữ của NVIDIA là bản ngắn gọn cho nửa thị giác.

Ý tưởng này có trước làn sóng hiện nay. CLIP cho thấy năm 2021 rằng hình ảnh và văn bản có thể được huấn luyện vào một không gian chung, dùng ngôn ngữ tự nhiên làm tín hiệu giám sát; Flamingo cho thấy một mô hình ngôn ngữ đóng băng có thể được dạy chú ý tới hình ảnh chỉ với vài ví dụ; tinh chỉnh chỉ dẫn thị giác biến kết quả thành thứ có thể trò chuyện được. Mọi thứ đang vận hành hôm nay đều bắt nguồn từ ba công trình đó.

Đọc nguồn gốc

Vì sao tiếng Lào cần điều này hơn tiếng Anh

Đây không phải cùng một tính năng bằng một ngôn ngữ khác. Bốn điều khiến thị giác tài liệu cho tiếng Lào thành một bài toán kỹ thuật riêng, và cả bốn đều là lý do một mô hình đa dụng làm kém ở đây.

1

OCR tiếng Lào chưa được giải quyết

Không có dấu cách giữa các từ, nên bộ nhận dạng không thể dựa vào khoảng trống để tìm ranh giới. Nguyên âm và dấu thanh nằm phía trên, phía dưới và quanh phụ âm, nên một bản quét làm mất một dấu sẽ lặng lẽ đổi từ đó thành từ khác thay vì làm hỏng nó một cách dễ thấy — và văn bản tiếng Lào để học ít hơn rất nhiều so với bất kỳ ngôn ngữ lớn nào.

2

Giấy tờ được chụp ảnh, không phải quét

Đầu vào thực tế là ảnh điện thoại chụp một trang có đóng dấu trên bàn, bị lệch, trong một văn phòng chỉ có một bóng đèn huỳnh quang. Các phép đo chuẩn dùng bản quét sạch không nói lên điều gì về chuyện đó.

3

Chữ viết tay vẫn là giao diện

Sổ sách của bản, ghi chép của phòng khám, phiếu giao hàng, bảng điểm ở trường, sổ hộ khẩu. Chữ viết tay tiếng Lào nối nét và viết tắt theo những cách mà việc huấn luyện trên chữ in không bao quát được.

4

Con số không chỉ là con số

Chữ số Lào ໐–໙ nằm cạnh chữ số Ả Rập, năm dương lịch trên giấy tờ nhà nước và năm Phật lịch, đi trước 543 năm, trong sổ sách của chùa, cùng những khoản tiền kíp lớn đến mức đọc nhầm dấu phân cách hàng nghìn là con số lệch đi cả nghìn lần. Đọc sai năm thì mọi ngày tháng trong tài liệu đều sai.

Bốn giác quan, ba mô hình

Được cung cấp dưới dạng các mô hình riêng thay vì một mô hình lớn, vì khi đó bộ định tuyến có thể gửi ảnh tới mô hình biết đọc và bản ghi âm tới mô hình biết nghe — và không mô hình nào phải trả giá cho trọng số của mô hình kia.

hình ảnh · khung hình video

LaoLLM-Vision

Ảnh chụp, ảnh màn hình, biểu đồ, kệ hàng, cảnh vật, biểu mẫu. Trả lời bằng tiếng Lào về những gì có trong khung hình, kèm vùng đã phục vụ.

tài liệu · chữ viết tay

LaoLLM-Scribe

Chuyên gia tài liệu: giấy tờ tiếng Lào đóng dấu, đã quét, bị lệch, nhiều cột, viết tay một phần được chuyển thành các trường có cấu trúc để bạn đưa vào cơ sở dữ liệu.

âm thanh vào · âm thanh ra

LaoLLM-Voice

Nhận dạng và tổng hợp giọng nói tiếng Lào qua các phương ngữ, kể cả trường hợp phổ biến là câu hỏi từ người có tiếng mẹ đẻ không phải tiếng Lào, được trả lời bằng tiếng Lào dễ hiểu.

tất cả những điều trên, cùng lúc

Liên phương thức

Thứ thực sự quan trọng: một bức ảnh và một câu hỏi bằng lời trong cùng một yêu cầu, được trả lời dựa trên tài liệu của chính bạn. Đó là khả năng mà các mô hình riêng biệt tồn tại để làm cho rẻ đi.

Mười tám điều trước đây không làm được

Mỗi điều ở đây là một công việc mà hôm nay ai đó ở Lào vẫn làm bằng cách gõ lại những gì trước mặt. Minh họa — chúng mô tả khả năng dự kiến, không phải tính năng đã bàn giao.

Chính phủ và khu vực công

Chụp một trang sổ hộ khẩu

Hướng camera vào ປຶ້ມສຳມະໂນຄົວ và nhận lại mọi trường dưới dạng dữ liệu có cấu trúc — họ tên, số căn cước, bản, huyện, tỉnh — mà không trường nào phải để một cán bộ gõ lại lúc bốn giờ chiều.

Đọc thông báo trên Công báo của Lào từ ảnh chụp

Một trang Công báo đã quét trở thành bản tóm tắt trong đó mọi nghĩa vụ đều truy nguyên được tới điều khoản gốc, và ngày hiệu lực được đọc ra thay vì phải đoán.

Biến biên bản họp thôn viết tay thành văn bản

Chụp trang mà thư ký ủy ban thực sự đã viết và nhận về biên bản tiếng Lào đánh máy theo ngữ vực hành chính, với tên người được viết nhất quán và các nghị quyết được đánh số.

Kiểm tra biểu mẫu trước khi xếp hàng

Chụp một biểu mẫu của bộ mới điền một nửa và biết ô nào còn thiếu, con dấu nào chưa có, và tài liệu đính kèm nào sẽ khiến văn phòng bảo bạn về nhà.

Y tế

Giải thích nhãn thuốc thành lời

Ảnh chụp nhãn thuốc của nhà thuốc — thường in bằng một ngôn ngữ khác ngoài tiếng Lào — trở thành lời giải thích bằng giọng nói, bằng tiếng Lào dễ hiểu, về liều dùng và giờ uống, cho bệnh nhân đọc chậm hoặc hoàn toàn không đọc được ngôn ngữ đó.

Làm cho giấy ra viện trở nên hữu ích

Chụp giấy tóm tắt ra viện và nhận “việc cần làm tuần này” bằng ngôn ngữ nói ở nhà, với ngày tái khám được đặt thành lời nhắc.

Nông nghiệp

Chẩn đoán lá lúa từ ảnh chụp

Cho xem vết bệnh và biết nó giống bệnh gì, thường bị nhầm với gì và nên gọi phòng nông nghiệp huyện nào — kèm lời từ chối rõ ràng không kê loại hóa chất mà nó không chắc chắn.

Đọc bao phân bón và tính liều lượng

Chụp bao phân, nói to diện tích thửa ruộng bằng héc-ta, và nhận tỷ lệ pha dưới dạng câu trả lời bằng giọng nói, ngoại tuyến, ngay khi đang đứng giữa ruộng.

Thương mại và tài chính

Biến xấp biên lai thành bảng VAT

Chụp cả xấp. Nhận một bảng gồm người bán, mã số thuế, ngày, VAT và tổng tiền, có đánh dấu chỗ nào biên lai không phải hóa đơn VAT hợp lệ và sẽ không qua được kiểm toán.

Đối chiếu biên nhận thanh toán QR với hóa đơn

Ảnh chụp màn hình biên nhận chuyển khoản từ ứng dụng ngân hàng hoặc QR quốc gia, được khớp với hóa đơn mà nó thanh toán, số tiền và mã tham chiếu được kiểm tra, và chỗ chênh lệch được chỉ rõ thay vì bị lặng lẽ bỏ qua.

Đếm một kệ hàng

Chụp kệ hàng và nhận danh sách sản phẩm bằng tiếng Lào kèm số mặt trưng bày và chỗ trống — công việc mà hôm nay là một người cầm bìa kẹp đi dọc lối kệ hai lượt.

Giáo dục

Soạn bài giảng từ một trang sách giáo khoa

Chụp trang sách và nhận giáo án gắn với các mục tiêu của chương trình giáo dục quốc gia, với hai mục tiêu mà trang sách không đề cập được nêu rõ.

Chấm bài tập tiếng Lào viết tay

Chụp trang bài của học sinh và nhận các lỗi chính tả, lỗi nguyên âm và lỗi dấu thanh được đánh dấu kèm quy tắc mà mỗi lỗi vi phạm — để việc chấm bài là dạy học chứ không chỉ cho điểm.

Du lịch và dịch vụ

Dịch thực đơn mà không đánh mất món ăn

Chụp thực đơn. Thực khách nhận được ngôn ngữ của mình và thông tin chất gây dị ứng; món ăn giữ tên tiếng Lào, vì ລາບ không phải là “gỏi thịt”, và nhà hàng không nên phải giả vờ như vậy.

Đọc một bia ký

Chụp một bia ký trong chùa hoặc một bản chép tay trên lá buông và nhận bản chuyển tự, bản đọc bằng tiếng Lào dễ hiểu, cùng một ghi chú trung thực về những ký tự đã mòn đến mức không đọc được.

Công nghiệp và logistics

Đưa phiếu giao hàng vào hệ thống

Chụp phiếu giao hàng tại bến bốc dỡ và để các trường có cấu trúc đi thẳng vào WMS — kể cả chỗ ai đó đã sửa số lượng bằng bút bi.

Viết báo cáo sự cố từ khung hình

Một khung hình tĩnh từ CCTV trở thành ghi chú sự cố bằng tiếng Lào có mô tả và dấu thời gian, đúng ngữ vực mà báo cáo cần được nộp, để một người ký.

Hỗ trợ tiếp cận

Mô tả căn phòng

Hướng camera và nghe bằng tiếng Lào những gì đang ở trước mặt bạn, theo nhịp bước chân — phiên bản của công nghệ này hoàn toàn không phải một tính năng năng suất.

Trông như thế nào trong API

Cùng một điểm cuối. Một hình ảnh trong mảng content, và bộ định tuyến lo phần còn lại — đó là toàn bộ lý do định tuyến được bàn giao trước.

POST /v1/messages
{
  "model": "auto",                     // the router picks
  "messages": [{
    "role": "user",
    "content": [
      { "type": "image", "source": { "type": "base64", "media_type": "image/jpeg", "data": "…" } },
      { "type": "text",  "text": "ແບບຟອມນີ້ຍັງຂາດຊ່ອງໃດແດ່" }
    ]
  }],
  "lao": { "register": "official", "dialect": "auto" }
}

// 200 OK
// { "routed_to": "LaoLLM-Vision", "then": "LaoLLM-Base",
//   "region": "la-vte-1", "usage": { "kip": 42.60 } }

Lộ trình

Bốn giai đoạn. Không giai đoạn nào là một mốc ngày: mỗi giai đoạn mở ra khi bộ đánh giá của nó đạt, và bộ đánh giá được chấm bởi người nói tiếng Lào, không phải bởi một bảng xếp hạng.

  1. 1
    Giai đoạn 1 · Thị giác tài liệu

    Tài liệu tiếng Lào in và quét được chuyển thành các trường có cấu trúc. Chữ số Lào và cả hai loại lịch được xử lý ngay khi đọc, không vá lại về sau.

    Chốt
  2. 2
    Giai đoạn 2 · Ảnh chụp và chữ viết tay

    Ảnh điện thoại chụp nghiêng, con dấu, ấn triện và chữ viết tay tiếng Lào. Đây là giai đoạn quyết định sản phẩm có hữu ích bên ngoài văn phòng hay không.

    Chốt
  3. 3
    Giai đoạn 3 · Giọng nói, mọi phương ngữ

    Giọng nói vào và ra, chấm điểm riêng cho từng phương ngữ và cho những người nói tiếng Lào như ngôn ngữ thứ hai — vì điểm trung bình gộp che giấu đúng kiểu thất bại quan trọng.

    Chốt
  4. 4
    Giai đoạn 4 · Liên phương thức trên máy

    Một mô hình thị giác nén chạy ngoại tuyến trên điện thoại Android tầm trung, cho những công việc diễn ra ở nơi không có sóng.

    Chốt

Tài liệu tham khảo

Tài liệu đọc thêm về mô hình đa phương thức, từ tài liệu gốc và các bài báo làm nền tảng cho lĩnh vực này. Liên kết bên ngoài, không có quan hệ với LaoGPT.

IBMWhat is a multimodal LLM? — IBM

Định nghĩa ngắn gọn rõ ràng nhất về mô hình ngôn ngữ lớn đa phương thức và công dụng của nó.

NVIDIAWhat are vision-language models? — NVIDIA glossary

Cách một bộ mã hóa hình ảnh được gắn vào mô hình ngôn ngữ để cho nó thị giác.

WikipediaVision-language model — Wikipedia

Một tổng quan trung lập với danh mục tài liệu rộng, nếu bạn muốn thấy hình dạng của lĩnh vực trước khi đi vào chi tiết.

AnthropicVision — Claude API documentation

Tài liệu thực hành về việc gửi hình ảnh tới mô hình, và các giới hạn thực tế khi làm vậy.

GoogleImage understanding — Gemini API documentation

Một API đa phương thức từ gốc, bao gồm tài liệu và video làm đầu vào.

OpenAIImages and vision — OpenAI platform documentation

API hình ảnh phổ biến còn lại, để so sánh cấu trúc yêu cầu.

Hugging FaceImage-text-to-text — Hugging Face

Phía mô hình mở: định nghĩa tác vụ và các mô hình bạn có thể tự chạy.

arXiv 2103.00020Learning Transferable Visual Models From Natural Language Supervision

CLIP, 2021 — hình ảnh và văn bản được huấn luyện vào một biểu diễn chung. Bài báo khởi đầu của lĩnh vực hiện đại.

arXiv 2204.14198Flamingo: a Visual Language Model for Few-Shot Learning

2022 — cách dạy một mô hình ngôn ngữ đóng băng chú ý tới hình ảnh.

arXiv 2304.08485Visual Instruction Tuning

2023 — LLaVA, và bước tiến giúp mô hình thị giác-ngôn ngữ có thể trò chuyện.

Trang chủ Định tuyến thông minh

Chương trình tiền phát hành

Chọn cách bạn tham gia.

Ba nhóm đang mở. Chọn một nhóm sẽ thiết lập biểu mẫu bên dưới — bạn có thể đổi ở đó.