Bài arXiv về huấn luyện viên răng miệng AI sàng năm giám khảo AI trước khi nhờ chuyên gia chấm

Nhóm của bạn huấn luyện thêm hai mô hình ngôn ngữ nhỏ cho một trợ lý hỏi đáp, rồi nhờ năm AI khác chấm các câu trả lời. Mô hình A dẫn đầu ở phần lớn ô điểm. Trước khi chọn A, một bản thảo mới trên arXiv về huấn luyện viên vệ sinh răng miệng bằng AI chỉ ra ba thứ cần sàng: đầu ra có bị cắt cụt không, các giám khảo AI có chấm giống nhau không, và cảnh báo “bịa” có giám khảo nào khác xác nhận không.

Nhóm tác giả làm gì

Bản thảo tên “Screening LLM Judges Without Ground Truth” (Sàng giám khảo AI khi không có đáp án chuẩn), do William DeShong và sáu đồng tác giả đăng. “LLM judge” là mô hình ngôn ngữ lớn được dùng làm giám khảo chấm câu trả lời của mô hình khác; “ground truth” là đáp án chuẩn do người có chuyên môn xác nhận. Nhóm viết rằng chấm bằng chuyên gia vừa chậm vừa tốn, còn giám khảo AI không đáng tin nếu thiếu đáp án chuẩn. Họ đề xuất một quy trình nhiều chặng chạy trước khi chuyên gia vào việc, mỗi chặng có quy tắc quyết định rõ: kiểm tra đầu ra thô của giám khảo, so mức giống nhau với các giám khảo chạy trên máy chủ của hãng, kiểm tra thiên lệch, và xem quyết định có đứng vững khi đổi cách xét hay không.

Để minh họa, nhóm dựng một huấn luyện viên vệ sinh răng miệng bằng AI. Dữ liệu huấn luyện và dữ liệu tham chiếu đều là dữ liệu tổng hợp, chưa qua kiểm định lâm sàng, nên theo nhóm, ví dụ này chỉ cho thấy quy trình vận hành, không chứng minh hiệu quả lâm sàng của mô hình. Hai mô hình nhỏ là Granite-4.1-8B và Qwen3-8B (tám tỷ tham số), mỗi mô hình huấn luyện ở ba cỡ dữ liệu, được năm giám khảo chấm theo bảy tiêu chí: ba giám khảo chạy trên máy cục bộ, hai chạy trên máy chủ của hãng. Năm giám khảo nhân bảy tiêu chí là 35 ô điểm.

Ba điều quy trình làm lộ ra

Giám khảo cục bộ có thể ngang giám khảo của hãng. Hai giám khảo cục bộ là Qwen3.8-27B và Gemma-4-31B-it không khác với mức đồng thuận giữa hai giám khảo của hãng ở sáu trên bảy tiêu chí, tính bằng tương quan thứ hạng (đo xem hai giám khảo có xếp các câu trả lời theo cùng thứ tự không). Qwen3.8-27B giống các giám khảo của hãng nhất. Không giám khảo nào đạt tiêu chí của nhóm cho việc thiên vị mô hình cùng họ hoặc cùng nguồn dữ liệu huấn luyện.

Hai mô hình không tách nhau, dù một bên thắng nhiều ô. Theo quy tắc của quy trình, phép so sánh không tách được hai mô hình ở tiêu chí nào. Granite-4.1-8B dẫn ở 29 trên 35 ô, nhưng nhóm chỉ gọi đó là “nghiêng về” Granite, vì một phần phụ thuộc vào các đầu ra bị cắt cụt của Qwen3-8B.

Điểm số che mất lỗi. Quy trình chỉ ra đầu ra bị cắt cụt và các cảnh báo “bịa” (hallucination flag) từ một giám khảo của hãng mà không giám khảo nào khác xác nhận. Nếu chỉ nhìn điểm tổng, hai vấn đề này không hiện ra.

Chưa có chuyên gia vệ sinh răng miệng nào chấm các câu trả lời. Chặng cuối, đối chiếu với phán đoán chuyên gia, được nhóm đề xuất nhưng chưa thực hiện, nên kết quả chỉ là sơ bộ.

Ba việc làm được trước khi tin bảng điểm do AI chấm

Ba việc dưới đây là gợi ý của bài, rút từ các chặng nhóm tác giả mô tả, chưa thử trên hệ thống nào.

1. Mở các câu trả lời bị chấm thấp nhất của từng mô hình và tìm câu dừng giữa chừng. Nếu có, chạy lại với giới hạn độ dài lớn hơn rồi mới so điểm, vì một mô hình có thể thua do bị cắt chứ không do chất lượng. Làm xong, số câu dừng giữa chừng phải về 0.
2. Cho ít nhất hai giám khảo khác họ chấm cùng bộ câu trả lời, rồi xếp hạng các câu theo từng giám khảo và so hai bảng xếp hạng. Nếu hai bảng lệch nhau nhiều ở một tiêu chí, đừng dùng điểm của tiêu chí đó để chọn mô hình.
3. Đưa cho người có chuyên môn hai loại việc: mọi cảnh báo “bịa” chỉ một giám khảo nêu, và mẫu nhỏ các câu mà hai mô hình có điểm sát nhau. Nếu người chấm khác giám khảo AI ở mẫu đó, ngừng dùng điểm AI cho tiêu chí ấy và chấm tiếp bằng người.

Nguồn tham khảo

1. arXiv, “Screening LLM Judges Without Ground Truth: A Preliminary Evaluation of an AI Dental Hygiene Coach” (arXiv:2610.24335) — trang tóm tắt của bản thảo, mô tả quy trình sàng giám khảo, thiết kế thử nghiệm với năm giám khảo và hai mô hình, các kết quả sơ bộ và việc chưa có chuyên gia chấm.

Tiếp trên bàn Việc hôm nay: Tài khoản AI công vụ sắp tới tay cán bộ, chữ ký vẫn của họ