66B hay 66 tỷ tham số là một mô hình ngôn ngữ lớn được huấn luyện trên lượng dữ liệu văn bản khổng lồ. Nó được thiết kế để hiểu và sinh ngôn ngữ, thực hiện dịch thuật, tổng hợp văn bản và trả lời câu hỏi ở nhiều ngữ cảnh.
Mô hình dựa trên kiến trúc transformer, với nhiều lớp tự chú ý và cơ chế ghép thông tin theo thời gian. Quá trình huấn luyện dùng tối ưu Adam và chia sẻ khối dữ liệu văn bản từ nhiều nguồn để học cách dự đoán từ tiếp theo dựa trên ngữ cảnh.
66B cho khả năng sinh văn bản mạch lạc ở nhiều thể loại: trả lời câu hỏi, tóm tắt văn bản, hỗ trợ lập trình, dịch thuật và phân tích cảm xúc. Tuy nhiên, nó yêu cầu quản lý rủi ro về sự đúng đắn và thiên vị dữ liệu huấn luyện.
So với các mô hình có kích thước tham số tương tự hoặc lớn hơn, 66B thường cân bằng giữa hiệu suất và chi phí tính toán. Nó cho kết quả tốt trong nhiều tác vụ tổng quát, nhưng có thể gặp thách thức về độ tin cậy và độ định hướng ngữ cảnh ở một số trường hợp.
Phát triển 66B đi cùng các vấn đề đạo đức như tính riêng tư, hợp tác dữ liệu và quản trị sự thiên vị. Cộng đồng nghiên cứu nhắm tới cải thiện độ minh bạch, kiểm soát đầu ra và cung cấp công cụ đánh giá an toàn khi áp dụng trong thực tế.
