66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số. Nó được thiết kế để xử lý ngôn ngữ tự nhiên, trả lời câu hỏi, sinh văn bản và hỗ trợ các tác vụ liên quan đến hiểu biết ngôn ngữ. So với các mô hình trước đây, 66B mang lại hiệu suất tốt hơn ở nhiều tác vụ nhờ dữ liệu huấn luyện đa dạng và kiến trúc tối ưu cho khả năng tổng quát hóa.
66B sở hữu số lượng tham số rất lớn, dựa trên biến thể Transformer với nhiều lớp chú ý và cơ chế tối ưu cho sự đồng bộ. Đào tạo diễn ra trên tập dữ liệu ngôn ngữ rộng, đa ngôn ngữ và đa chủ đề, kết hợp kỹ thuật tiền xử lý, làm mịn dữ liệu và tối ưu siêu tham số để cân bằng giữa khả năng sáng tạo và độ tin cậy. Hiệu quả được nâng cao nhờ phân tán tính toán và các kỹ thuật tiền huấn luyện như masked hoặc causal language modeling, phụ thuộc vào cấu hình.
66B có thể được dùng cho trả lời câu hỏi, tổng hợp văn bản, sáng tác nội dung, hỗ trợ lập trình và nhiều tác vụ giao tiếp. Tuy nhiên, nó đi kèm với giới hạn như khả năng sai lệch, nguy cơ trích dẫn thông tin sai và chi phí vận hành cao. Đánh giá nguồn tin và kiểm soát chất lượng là cần thiết khi triển khai mô hình trong sản phẩm thực tế. Người dùng nên kết hợp kiểm tra nguồn và hướng dẫn an toàn khi tương tác với mô hình.
