66b là tên gọi cho một mô hình ngôn ngữ có quy mô khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản, trả lời câu hỏi và thực hiện tác vụ phức tạp khác. Dựa trên kiến trúc transformer, 66b nhắm tới sự cân bằng giữa hiệu suất và tài nguyên tính toán.
66b sử dụng nhiều lớp transformer sâu, với cơ chế self-attention và feed-forward nhiều chiều. Mô hình có tối ưu cho tính đa ngôn ngữ và có thể dùng kỹ thuật tham số hóa động để tối ưu hoá hiệu suất trên nhiều thiết bị khác nhau.
Với 66b, người dùng có thể thực hiện sinh văn bản tự nhiên, tóm tắt nội dung, dịch ngôn ngữ, trả lời câu hỏi và hỗ trợ tư duy phản biện cho các tác vụ phức tạp. Hiệu suất phụ thuộc vào dữ liệu huấn luyện, cấu hình phần cứng và kỹ thuật tối ưu hoá inference.
Quá trình huấn luyện 66b được xây dựng trên tập dữ liệu đa ngôn ngữ và đa lĩnh vực, kết hợp dữ liệu có giấy phép và dữ liệu được cấp phép hợp lệ. Việc quản lý tài nguyên và kỹ thuật ràng buộc đạo đức được xem xét để đảm bảo an toàn và khả năng mở rộng.
Những nỗ lực tiếp theo tập trung vào cải thiện sự đáng tin cậy, kiểm soát đầu ra và khả năng thích nghi với yêu cầu doanh nghiệp. Mô hình 66b có thể được mở rộng sang các biến thể nhỏ hơn để phù hợp với thiết bị ở các cấp độ tính toán khác nhau và được tích hợp tốt với pipeline AI hiện có.