LifeVal của OpenAI thiếu cách chấm, agent nhỏ của AWS thiếu hóa đơn

Hai trang đăng cùng ngày 2/11 đưa ra những con số rất dễ khiến người ta gật đầu. OpenAI cho điểm từ 90,4% đến 100% ở năm việc đời thường, từ chọn trường mẫu giáo đến lập kế hoạch ăn cho người thân mới chẩn đoán tiểu đường. AWS cho một mô hình 4 tỷ tham số (tham số là các con số bên trong mô hình, càng nhiều thì mô hình càng lớn) làm việc mua sắm ngang mô hình lớn đã dạy nó. Cả hai con số do chính bên bán đo, và mỗi bên để ngoài đúng phần bạn cần khi quyết định: trang của OpenAI không mô tả cách chấm điểm, bài của AWS không công bố chi phí cho mỗi việc xong.

LifeVal của OpenAI: điểm cao trên việc đời thường, cách chấm thì chưa thấy

Ngày 2/11, OpenAI đăng LifeVal, một bộ bài thử (tập các việc cố định để chấm mô hình) đo AI làm những việc thường ngày: tìm nơi gửi trẻ, làm thủ tục dịch vụ công, lập ngân sách, chuẩn bị đi học, đặt đồ ăn. OpenAI nói họ chọn việc dựa trên hai khảo sát cách người ta dùng thời gian, American Time Use Survey và Multinational Time Use Study, cộng một khảo sát mới với 3.995 người trả lời, rồi dùng bộ bài này để theo dõi tiến bộ của mô hình trong một năm qua.

Trang nêu năm ví dụ kèm điểm: chọn trường mẫu giáo sau khi chuyển nhà 93,1%, điều phối tình nguyện viên trước lũ 98,0%, tìm nhà theo ngân sách và quãng đường đưa đón 100%, dựng cách xem trận bóng từ xa cùng bà 96,3%, kế hoạch ăn cho phụ huynh mới chẩn đoán tiểu đường 90,4%. Hãng viết rằng các mô hình mới nhất chấm rất cao trên nhiều tác vụ LifeVal.

Với người đi làm ở Việt Nam, con số này chưa trả lời được câu “nó có làm được việc của tôi không”. Trang giới thiệu không mô tả ai hoặc cái gì chấm điểm, và 100% ở việc tìm nhà nghĩa là gì: đủ mọi điều kiện, hay chỉ có một căn nhà được chọn. Nó cũng chỉ nói “các mô hình mới nhất” chứ không nêu tên mô hình. Ví dụ tìm nhà thì gắn với một hạt ở Mỹ, kèm tính thuế chuyển nhượng và thêm chứng thư vào giỏ hồ sơ của hạt; một trong hai khảo sát nền là của Mỹ, và trang không nói tác vụ nào áp dụng cho dịch vụ ở Việt Nam.

Việc cho tuần này là tự làm phiên bản nhỏ của LifeVal. Chọn một việc bạn lặp lại, chẳng hạn so ba báo giá hoặc lọc ba trường cho con, và viết ra 4–5 điều kiện phải đúng trước khi hỏi AI. Sau đó đối chiếu từng điều kiện với nguồn chính thức rồi ghi lại: đúng mấy điều kiện, mấy chỗ AI phải hỏi lại bạn, bạn mất bao lâu để sửa. Cách này cho bạn một con số thật về việc của bạn thay vì 93,1% của người khác.

AWS chưng cất agent: mô hình nhỏ ngang mô hình lớn, còn hóa đơn thì chưa có

Cùng ngày, AWS đăng bài hướng dẫn kỹ thuật về knowledge distillation (chưng cất tri thức: cho mô hình lớn làm bài rồi dạy mô hình nhỏ bắt chước câu trả lời), cụ thể là bản chỉ dùng văn bản của mô hình lớn, gọi là SeqKD. Ví dụ là một agent (phần mềm AI tự gọi công cụ nhiều bước) mua sắm. Mô hình lớn GLM-5.3 chạy trên Amazon Bedrock (dịch vụ của AWS để gọi các mô hình có sẵn) đóng vai agent để sinh các lượt làm việc; bộ chấm của ShoppingBench (bộ bài thử mua sắm) chỉ giữ lại những lượt giải đúng, rồi dùng chúng huấn luyện mô hình nhỏ Qwen3.5-4B trên Amazon SageMaker AI (dịch vụ của AWS để huấn luyện và chạy mô hình).

Trên 324 bài giữ lại, tức không dùng khi huấn luyện, tỷ lệ thành công trung bình (ASR) của mô hình nhỏ đã chưng cất là 0,541, so với 0,297 khi chưa huấn luyện. Mô hình lớn làm thầy đạt 0,511 khi lấy mẫu ngẫu nhiên và 0,540 khi chạy theo cách chắc nhất; một mô hình frontier (nhóm mô hình mạnh nhất hiện nay) cỡ vừa đạt 0,546. AWS tự kết luận mô hình 4B lấy lại gần hết chất lượng của thầy, trong phạm vi dao động giữa các lần chạy. Giữ cả phần lập luận của thầy, không chỉ lệnh gọi công cụ, thêm khoảng 13 điểm. Cái giá là bộ thử IFEval (đo khả năng làm theo chỉ dẫn có thể kiểm, như “trả lời đúng ba gạch đầu dòng”) giảm từ 0,819 xuống 0,741 theo chuẩn nghiêm ngặt của câu lệnh, và từ 0,872 xuống 0,813 theo chuẩn nghiêm ngặt của từng chỉ dẫn.

Phần quan trọng nhất cho người ra quyết định nằm ở cuối bài. AWS viết rằng họ không công bố chi phí hay độ trễ cho mỗi việc, vì nó phụ thuộc lưu lượng của bạn. Mô hình lớn gọi qua API (cổng để chương trình gọi dịch vụ) tính tiền theo từng token (đơn vị chữ mà mô hình xử lý) ở mỗi bước, còn mô hình tự dựng chạy trên máy chủ tính tiền theo giờ dù phục vụ một việc hay hàng nghìn việc. Nghĩa là với lưu lượng thấp, mô hình nhỏ chưa chắc rẻ hơn. AWS cũng cảnh báo cách này chỉ hiệu quả khi việc nằm trong tầm của mô hình nhỏ: khi khoảng cách quá lớn, mô hình chép đúng hình thức mà không giải được việc.

Nếu nhóm của bạn đang trả tiền cho một agent chạy trên mô hình lớn, đừng duyệt việc đổi sang mô hình nhỏ chỉ vì một tỷ lệ thành công. Việc cho tuần này: gom 30–50 việc thật đã có đáp án, chạy cả hai mô hình trên đó, và ghi chi phí mỗi việc xong theo lưu lượng thực của bạn. Con số 0,541 của AWS chỉ nói về bài thử mua sắm của họ.

Cùng một câu hỏi cho cả hai

Hai phép thử trên là gợi ý của bài, chưa được chạy thử.

Hãy hỏi bên đưa điểm số một câu: phần nào của phép đo chưa được công bố. Với LifeVal đó là cách chấm, với bài của AWS đó là hóa đơn. Câu trả lời thường nằm ngay trong việc nhỏ bạn tự thử vào chiều nay.

Nguồn tham khảo

1. OpenAI, “LifeVal” (2/11/2026) — trang giới thiệu của chính OpenAI; bài này chỉ đọc trang giới thiệu.
2. Zappia, Agarwal, Dashti, Oguike, “Build efficient agents with knowledge distillation on Amazon SageMaker AI”, AWS Machine Learning Blog (2/11/2026) — bài kỹ thuật của AWS.