66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được xây dựng để xử lý và sinh ngôn ngữ tự nhiên ở mức độ cao. Nó có khả năng hiểu câu hỏi, sinh văn bản, tóm tắt tài liệu và tham gia vào cuộc hội thoại với mức độ nhất định của tính nhất quán và sáng tạo. Với kích thước tham số lớn, mô hình có khả năng bắt được mối quan hệ ngữ nghĩa phức tạp và rút ra thông tin từ dữ liệu huấn luyện đa dạng.
Kiến trúc chủ yếu dựa trên mạng transformer, với cơ chế tự chú ý cho từng lớp. 66B có nhiều lớp, đầu tự chú ý có kích thước lớn và các cơ chế tối ưu hóa để tăng tốc độ suy luận. Tuy kích thước lớn mang lại chất lượng đầu ra, nó cũng đòi hỏi tài nguyên tính toán khi huấn luyện và vận hành. Việc tối ưu hóa tham số và định tuyến tài nguyên là yếu tố then chốt để triển khai trên phần cứng giới hạn.
Để huấn luyện 66B, tập dữ liệu khổng lồ được tổng hợp từ nhiều nguồn như văn bản web, sách, mã nguồn và các tài liệu chuyên ngành. Quá trình huấn luyện bao gồm dự đoán phần tiếp theo của đoạn văn và điều chỉnh tham số thông qua tối ưu hóa. Quá trình này đi kèm với các thách thức về đạo đức, độ tin cậy và sự thiên vị dữ liệu, do đó nhiều nhóm xem xét các biện pháp lọc, đánh giá và giám sát an toàn.
Mô hình 66B có thể hỗ trợ trả lời câu hỏi, viết văn bản, tóm tắt, dịch ngôn ngữ và tham gia vào các hệ thống trợ lý ảo. Tuy nhiên, nó cũng có giới hạn về khả năng hiểu ngữ cảnh sâu, giữ mạch cuộc hội thoại và sinh nội dung có tính sai lệch hoặc độc hại. Chi phí tính toán cao, yêu cầu phần cứng mạnh và nguy cơ tiềm ẩn về an toàn là những yếu tố cần cân nhắc khi tích hợp 66B vào sản phẩm thương mại.
