66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số. Nó được thiết kế để xử lý ngôn ngữ tự nhiên, sinh văn bản, tóm tắt và trả lời câu hỏi. Mô hình này dựa trên kiến trúc transformer, được huấn luyện trên tập dữ liệu đa ngôn ngữ và đa nguồn, cho phép hiểu và sinh ngữ cảnh phức tạp.
Kiến trúc của 66B chủ yếu dựa trên các lớp transformer với self-attention nhiều đầu, kết nối residual và chuẩn hóa lớp. Số tham số cao cho phép mô hình nắm bắt mối quan hệ dài hạn trong văn bản. Việc huấn luyện dựa trên tập dữ liệu khổng lồ, gồm văn bản web, sách và tài liệu kỹ thuật, với chiến lược học máy hiện đại và tối ưu hóa cho hiệu suất trên phần cứng hiện đại.
66B có thể được ứng dụng trong chatbots, hỗ trợ viết văn bản tự động, tóm tắt tài liệu, trả lời câu hỏi và hỗ trợ lập trình. Tuy nhiên, mô hình đối mặt với thách thức về an toàn, thiên vị, tiêu thụ năng lượng và chi phí suy luận. Quản trị dữ liệu, giám sát nội dung và cơ chế kiểm soát rủi ro là điều cần thiết khi triển khai.
66B mang lại cân bằng giữa hiệu năng và chi phí so với các mô hình nhỏ hơn như 7B hay 13B và các mô hình khổng lồ như 175B. Với tối ưu hóa tham số và vận hành, 66B có thể đạt hiệu quả tốt trên nhiều tác vụ ngôn ngữ mà không yêu cầu hạ tầng đắt đỏ như các mô hình lớn nhất.
