Sau giai đoạn đốt tiền cho các mô hình lớn, đang hình thành làn sóng AI mã nguồn mở dồn lực vào bốn bài toán thực dụng: chi phí huấn luyện, tốc độ xử lý, bộ nhớ/ngữ cảnh và cách AI tích hợp vào quy trình làm việc thật. Các động thái từ Google, Microsoft, Xiaomi đến Sapient hay các nhóm nghiên cứu đại học, đang muốn giải bài toán hiệu quả kinh tế của trí tuệ nhân tạo.
Mô hình 1 tỉ tham số giá 1.500 USD
Việc huấn luyện một mô hình ngôn ngữ lớn từ đầu lâu nay được coi là cuộc chơi tốn kém, với chi phí thường tính bằng triệu đô la Mỹ. Sapient đưa ra HRM‑Text, mô hình 1 tỉ tham số được huấn luyện từ đầu với chi phí khoảng 1.500 USD.
Thay vì sử dụng kiến trúc Transformer quen thuộc, HRM‑Text được xây dựng trên mô hình Hồi quy Phân cấp, tập trung sử dụng dữ liệu hiệu quả hơn. Thay vì nạp toàn bộ văn bản trên internet, mô hình được huấn luyện độc quyền trên các cặp hướng dẫn – phản hồi, mô phỏng gần hơn với những tác vụ thực tế trong doanh nghiệp. Kết quả thử nghiệm cho thấy HRM‑Text có thể cạnh tranh với nhiều mô hình mã nguồn mở lớn hơn đáng kể trên các bài kiểm tra chuẩn ngành.
Dù chỉ có 1 tỉ tham số, con số khiêm tốn so với nhiều mô hình ngôn ngữ phổ biến khác, HRM‑Text được thiết kế mang tính chuyên biệt, tập trung vào các tác vụ dạng hướng dẫn – phản hồi nên đạt hiệu quả tốt trong phạm vi này. Đây không hẳn là bài toán rẻ thắng đắt tiền, mà là tiến tới xóa nhòa ranh giới giữa việc sở hữu một mô hình riêng và việc dùng giao diện lập trình. Khi chi phí đầu tư ban đầu để thử một nền tảng mới giảm mạnh, lợi thế bắt đầu nghiêng về phía những đội ngũ biết tối ưu kiến trúc và dữ liệu, chứ không chỉ những người có ngân sách lớn.
