66B là một mô hình ngôn ngữ quy mô lớn được phát triển để xử lý ngôn ngữ tự nhiên, có khoảng 66 tỷ tham số. Mô hình này có khả năng sinh văn bản, trả lời câu hỏi, tóm tắt nội dung và thực hiện nhiều tác vụ ngôn ngữ với độ liên quan cao.
66B chủ yếu dựa trên kiến trúc transformer, gồm nhiều lớp self attention và feed forward. Kích thước lớn cho phép mô hình nắm bắt bối cảnh rộng và phụ thuộc dài hạn. Tuy nhiên cần dữ liệu huấn luyện đa dạng và năng lượng tính toán đáng kể để tối ưu hóa tham số và ổn định huấn luyện.
Đồng thời, các kỹ thuật như điều chỉnh sau khi huấn luyện, pretraining với dữ liệu sạch và quản lý sự thiên vị là phần quan trọng để đảm bảo chất lượng đầu ra và an toàn khi triển khai.
66B có thể hỗ trợ viết nội dung, dịch thuật, tóm tắt và phân tích ngữ nghĩa. Nó cũng có thể tham gia vào viết mã nguồn, hỗ trợ giáo dục và chăm sóc khách hàng tự động. Tuy nhiên kích thước lớn đặt ra thách thức về chi phí huấn luyện và suy diễn, độ méo dữ liệu và nguy cơ lạm dụng. Việc kiểm soát chất lượng, giảm tối ưu sai lệch và bảo mật dữ liệu là cần thiết khi áp dụng trong thực tế.