66B, hay 66 tỷ tham số, là một loại mô hình ngôn ngữ dựa trên kiến trúc transformer được huấn luyện trên một lượng dữ liệu khổng lồ. Với quy mô tham số lớn, 66B cho phép mô hình nắm bắt ngữ nghĩa, cú pháp và ngữ cảnh ở mức độ sâu, từ đó sinh văn bản tự nhiên và trả lời câu hỏi một cách linh hoạt.
Thông dụng nhất cho một mô hình 66B là kiến trúc transformer nhiều lớp với cơ chế self-attention. Số lượng tham số lớn đi kèm với kích thước từ vựng mở rộng, các mạng feed-forward mạnh mẽ và chiến lược tối ưu hoá nhằm cải thiện khả năng khái quát và học từ dữ liệu.
Ở nhiều tác vụ NLP, 66B có thể thực hiện tổng hợp văn bản, trả lời câu hỏi, tóm tắt và dịch với chất lượng đáng kể so với các mô hình nhỏ hơn. Tuy nhiên, hiệu suất còn phụ thuộc vào dữ liệu huấn luyện, chi phí tính toán và cơ chế điều tiết để tránh tạo nội dung có hại.
Việc triển khai các mô hình tham số lớn đòi hỏi cân nhắc về đạo đức, bảo mật và an toàn. Cần có biện pháp hạn chế rủi ro như kiểm duyệt nội dung, phát hiện xu hướng thiên vị và đảm bảo quyền riêng tư khi xử lý dữ liệu nhạy cảm. Bên cạnh đó, chi phí vận hành và tác động môi trường cũng nên được xem xét.