Cloudflare ra Clef để trả xác suất thay vì sinh văn bản, benchmark nhanh chưa đủ để giao quyền quyết định
Clef và Clef-flash trả xác suất cho các lựa chọn định sẵn thay vì sinh câu trả lời tự do. Cloudflare công bố độ trễ thấp và mở weights, nhưng các số benchmark vẫn cần được kiểm lại trên dữ liệu thực tế của từng hệ thống.
Xong bài này bạn làm được Người đọc tránh suy từ benchmark của nhà cung cấp thành bảo đảm production và có thể xác định bài toán nào phù hợp để thử một decision model trước khi gắn nó vào hành động tự động.
Cloudflare ngày 1/10 công bố Clef và Clef-flash, hai mô hình mà hãng gọi là decision model — có thể hiểu là mô hình ra quyết định trong một tập lựa chọn đã định sẵn. Thay vì yêu cầu mô hình sinh một đoạn văn rồi viết thêm mã để phân tích câu trả lời, ứng dụng đưa vào trạng thái hiện tại cùng các câu hỏi có kiểu dữ liệu rõ ràng; model trả về xác suất cho từng lựa chọn.
Ví dụ, một hệ thống hỗ trợ khách hàng có thể hỏi đồng thời “yêu cầu này có khẩn cấp không?” và “nhóm nào nên xử lý?”. Kết quả không phải một đoạn giải thích dài mà là xác suất cho các phương án đã cho. Cách làm này phù hợp với những điểm trong quy trình cần phân loại, định tuyến hoặc chấm theo một bộ tiêu chí cố định. Nó không thay thế mọi việc mà mô hình ngôn ngữ lớn (LLM) đang làm tốt, đặc biệt các nhiệm vụ cần tạo nội dung mở hoặc suy luận không thể đóng khung trước bằng vài lựa chọn.
Cloudflare thực sự công bố gì
Clef có khoảng 27 tỷ tham số, còn Clef-flash khoảng 9 tỷ. Hai model có cửa sổ ngữ cảnh 64K, được đưa lên Workers AI và Cloudflare mở weights trên Hugging Face theo giấy phép Apache 2.0. Hãng cũng cho biết API tương thích với System One của Jev, nên một tích hợp Jev hiện có có thể thử chuyển endpoint và model thay vì thiết kế lại toàn bộ giao diện gọi.
Trong 43 lượt benchmark mà Cloudflare chạy, hãng báo median latency của Clef là khoảng 209,3 ms, Clef-flash 38,8 ms, còn Jev 524,1 ms. Trên 10 benchmark quyết định được liệt kê trong changelog, một model Clef đứng đầu 7 bài. Một số kết quả nổi bật gồm BFCL case-exact 98,47 cho Clef và 98,76 cho Clef-flash; BANKING77 macro-F1 94,20 cho Clef.
Những con số này hữu ích để biết Cloudflare đang tối ưu sản phẩm theo hướng nào, nhưng chưa phải bằng chứng rằng Clef sẽ nhanh hoặc chính xác hơn trong mọi hệ thống. Bộ benchmark, cách chạy, hạ tầng và dữ liệu đều nằm trong đánh giá do chính Cloudflare công bố. Ngay trong bảng của hãng cũng có bài mà model khác đạt điểm cao hơn: chẳng hạn Jev dẫn ở When2Call và BRIGHT, còn DiffusionGemma Jev cao hơn ở PhishNChips.
Điểm đáng thử nằm ở đầu ra bị giới hạn
Một LLM sinh văn bản có thể trả lời rất linh hoạt, nhưng tính linh hoạt đó đôi khi trở thành chi phí khi phần mềm chỉ cần một quyết định có cấu trúc. Với Clef, lập trình viên định nghĩa trước câu hỏi và các phương án hợp lệ. Model trả xác suất, còn ứng dụng quyết định phải làm gì với xác suất đó.
Cloudflare đưa ra các ví dụ như định tuyến ticket hỗ trợ, phân loại website, chấm nội dung theo rubric và đặt một lớp kiểm tra trước khi agent gọi công cụ. Đây là các ví dụ sản phẩm của nhà cung cấp, không phải chứng minh rằng hệ thống có thể tự động bỏ qua người kiểm tra trong mọi trường hợp. Một xác suất cao vẫn có thể sai; hậu quả của sai lầm phụ thuộc vào hành động phía sau model.
Vì vậy, câu hỏi quan trọng trước khi triển khai không phải chỉ là “model đạt bao nhiêu điểm benchmark?”, mà là nếu model chọn sai thì hệ thống sẽ làm gì. Sai khi định tuyến một ticket sang nhầm nhóm khác với sai khi cho phép chuyển tiền, xóa dữ liệu hoặc chặn một tài khoản.
Ba kiểm tra trước khi đưa vào luồng thật
Trước hết, hãy lấy một tập dữ liệu đại diện cho chính luồng công việc của bạn và đo lại cả độ chính xác lẫn độ trễ. Đừng dùng điểm BFCL hay BANKING77 để suy ra chất lượng trên ticket, giao dịch hoặc chính sách nội bộ nếu dữ liệu thực tế khác xa benchmark.
Tiếp theo, đặt ngưỡng cho vùng không chắc chắn. Nếu hai lựa chọn có xác suất gần nhau hoặc lựa chọn cao nhất chưa vượt ngưỡng đã kiểm chứng, hệ thống nên chuyển sang người hoặc một bước kiểm tra khác thay vì tự động hành động. Ngưỡng này cần được chọn từ dữ liệu thực tế, không phải một con số mặc định áp cho mọi bài toán.
Cuối cùng, tách quyết định khỏi quyền hành động. Một model có thể đề xuất “block”, “route” hoặc “escalate”, nhưng mã ứng dụng vẫn phải quyết định hành động nào được phép chạy tự động, hành động nào cần phê duyệt và log nào phải giữ lại để điều tra khi có lỗi.
Clef đáng chú ý vì đưa một kiểu model chuyên cho quyết định có cấu trúc vào hạ tầng Workers AI và đồng thời mở weights để nhóm kỹ thuật có thể thử bên ngoài dịch vụ hosted. Phần còn phải chứng minh nằm ở chính workload của người dùng: model có đủ chính xác, đủ nhanh và đủ ổn định tại ranh giới quyết định mà hệ thống của bạn cần hay không.