66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số. Nó dựa trên kiến trúc Transformer và được huấn luyện trên một tập dữ liệu đa dạng để hiểu và sinh ngôn ngữ tự nhiên ở nhiều ngôn ngữ, bao gồm tiếng Việt. Mức tham số cao cho phép mô hình nắm bắt các mẫu ngôn ngữ phức tạp, quan hệ đồng tham chiếu và khả năng suy luận đơn giản.
Cấu trúc cơ bản của 66B là các lớp Transformer với cơ chế tự attention, feed-forward và chuẩn hóa. Một văn bản được chia thành token và được nhúng trải qua nhiều tầng ẩn để sinh đầu ra phù hợp. Do kích thước lớn, hệ thống cần tối ưu như dùng kiến trúc parallel, mô-đun hóa đầu ra và chiến lược quản lý bộ nhớ để xử lý tối đa hóa hiệu suất trên phần cứng hiện có.
66B được huấn luyện trên một tập dữ liệu khổng lồ gồm văn bản từ web, sách và nguồn mở. Quá trình huấn luyện gồm các bước tiền xử lý, lọc dữ liệu và tối ưu hóa bằng các thuật toán tiên tiến như Adam hoặc hệ tối ưu hóa tương tự. Trong quá trình huấn luyện, tiêu chí đánh giá bao gồm perplexity và khả năng sinh văn bản tự nhiên, an toàn và không độc hại.
Với 66B, người dùng có thể thực hiện nhiều tác vụ NLP phức tạp như sinh văn bản, trả lời câu hỏi, dịch ngôn ngữ và tóm tắt văn bản. Tuy nhiên, hiệu suất còn phụ thuộc vào thời gian suy luận, chi phí tính toán và chất lượng dữ liệu. 66B thường được triển khai ở môi trường đám mây hoặc trên các máy chủ có GPU thích hợp nhằm cân bằng giữa độ trễ và hiệu suất.
66B nằm ở mức giữa các mô hình ngôn ngữ lớn. So với 7B hoặc 13B, 66B cho chất lượng sinh văn bản và khả năng suy luận tốt hơn, nhưng chi phí huấn luyện và vận hành cao hơn. So với các mô hình 70B hoặc lớn hơn, 66B có thể thiếu một số khả năng đặc thù, nhưng vẫn là một lựa chọn hợp lý cho nhiều ứng dụng thương mại và nghiên cứu.
66B mở ra nhiều cơ hội cho ứng dụng AI ngôn ngữ, nhưng cũng đặt ra thách thức về sự minh bạch, kiểm soát nội dung và công bằng trong dữ liệu huấn luyện. Việc tối ưu hóa chi phí, đảm bảo an toàn và tăng tính giải thích là những hướng đi quan trọng cho các phiên bản tiếp theo.