Năng lực văn bản dài của mô hình lớn được nâng cấp: từ 4000 đến 400000 token

Các mô hình lớn đang nâng cao khả năng xử lý văn bản dài với tốc độ đáng kinh ngạc. Văn bản dài dường như đã trở thành tiêu chuẩn mới của các nhà sản xuất mô hình lớn.

Theo thống kê, hiện nay đã có nhiều công ty mô hình lớn hàng đầu và các tổ chức nghiên cứu trong và ngoài nước coi việc mở rộng độ dài ngữ cảnh là hướng nâng cấp trọng điểm. Những công ty này hầu hết là những người được thị trường vốn yêu thích, đã nhận được khoản đầu tư khổng lồ.

Công ty mô hình lớn đang nỗ lực giải quyết công nghệ văn bản dài, việc mở rộng độ dài ngữ cảnh gấp 100 lần có nghĩa là gì?

Xem bề ngoài, điều này có nghĩa là độ dài văn bản có thể nhập vào đã tăng lên đáng kể, khả năng đọc của mô hình đã được cải thiện rõ rệt. Từ việc chỉ có thể đọc một bài viết ngắn, đến giờ có thể đọc toàn bộ một cuốn tiểu thuyết dài.

Xét về mặt sâu hơn, công nghệ văn bản dài đang thúc đẩy việc ứng dụng mô hình lớn trong các lĩnh vực chuyên môn như tài chính, pháp lý, nghiên cứu khoa học, v.v. Những lĩnh vực này có nhu cầu cấp thiết về khả năng xử lý tài liệu dài, tóm tắt, và hiểu biết đọc.

Tuy nhiên, độ dài của văn bản không phải lúc nào cũng tốt hơn. Nghiên cứu chỉ ra rằng, việc mô hình hỗ trợ đầu vào ngữ cảnh dài hơn không đồng nghĩa với việc hiệu suất tốt hơn, điều quan trọng là mô hình sử dụng nội dung ngữ cảnh như thế nào.

Hiện tại, việc khám phá độ dài văn bản trong và ngoài nước vẫn còn xa mới đạt đến giới hạn. 400.000 token có thể chỉ là một khởi đầu.

Tại sao phải "cuộn" văn bản dài?

Một người sáng lập công ty mô hình lớn cho biết, chính vì hạn chế về độ dài đầu vào mà đã gây ra nhiều khó khăn trong việc triển khai ứng dụng mô hình lớn. Đây cũng là lý do tại sao hiện nay nhiều công ty tập trung vào công nghệ văn bản dài.

Công nghệ văn bản dài có thể giải quyết một số vấn đề của mô hình lớn trong giai đoạn đầu, tăng cường một số tính năng, đồng thời cũng là công nghệ then chốt để thúc đẩy ứng dụng công nghiệp. Điều này đánh dấu sự phát triển của mô hình lớn tổng quát bước vào giai đoạn mới - từ LLM đến thời đại Long LLM.

Công nghệ văn bản dài sẽ mang lại nhiều tính năng nâng cấp cho mô hình lớn:

• Trích xuất, tóm tắt và phân tích thông tin quan trọng từ văn bản siêu dài
• Chuyển đổi trực tiếp văn bản thành mã, thực hiện việc tái hiện từ luận văn sang mã.
• Thực hiện vai trò trong các tình huống đối thoại dài, tạo ra cuộc trò chuyện cá nhân hóa

Các mô tả chức năng này cho thấy rằng robot hội thoại đang phát triển theo hướng chuyên nghiệp hóa, cá nhân hóa và sâu sắc, hứa hẹn sẽ trở thành một công cụ mới để thúc đẩy ứng dụng trong ngành.

Tuy nhiên, hiện tại vẫn còn có không gian để tối ưu hóa cuộc hội thoại dài. Ví dụ, một số sản phẩm không hỗ trợ kết nối mạng để lấy thông tin mới nhất, không thể tạm dừng để chỉnh sửa trong quá trình tạo, và ngay cả khi có tài liệu nền hỗ trợ, vẫn có thể xảy ra lỗi.

Nỗi khổ "Tam giác không thể" của văn bản dài

Công nghệ văn bản dài đang đối mặt với "tam giác không thể" về độ dài văn bản, sự chú ý và sức mạnh tính toán:

• Văn bản càng dài, càng khó để thu hút đủ sự chú ý
• Dưới sự hạn chế của sự chú ý, văn bản ngắn khó có thể giải mã thông tin phức tạp một cách đầy đủ.
• Xử lý văn bản dài cần rất nhiều sức mạnh tính toán, làm tăng chi phí

Điều này chủ yếu xuất phát từ cấu trúc Transformer mà hầu hết các mô hình sử dụng. Cơ chế tự chú ý bên trong khiến khối lượng tính toán tăng theo cấp số mũ với chiều dài ngữ cảnh.

Hiện tại có ba giải pháp chính:

1. Sử dụng các công cụ bên ngoài để hỗ trợ xử lý văn bản dài
2. Tối ưu hóa tính toán cơ chế tự chú ý
3. Sử dụng phương pháp tối ưu hóa mô hình

Hiện tại, "tam giác không thể" của văn bản dài vẫn chưa thể giải quyết hoàn toàn. Các nhà cung cấp mô hình lớn cần tìm ra điểm cân bằng giữa độ dài văn bản, sự chú ý và sức mạnh tính toán, vừa có thể xử lý đủ thông tin, vừa phải đảm bảo hiệu quả tính toán và hạn chế chi phí.