Trong thư AI soạn sau họp, một câu có thể đã biến đề xuất thành cam kết
So từng động từ trong thư theo dõi do AI soạn với ghi chú họp gốc để tìm câu biến đề xuất thành cam kết, rồi sửa trước khi gửi.
Xong bài này bạn làm được Tránh gửi cho cả nhóm một danh sách việc có deadline, owner hoặc quyết định do AI suy đoán thay vì lấy từ ghi chú thật.
Thư theo dõi sau họp do AI soạn thường đọc rất trơn. Dưới đây là một thư như vậy, đặt cạnh ghi chú gốc. Trong năm dòng của thư, có một dòng nói nhiều hơn cuộc họp đã nói.
Cuộc họp, nhóm và tên người đều là bịa để minh họa. Bài không dùng ghi chú thật và không đo một mô hình AI nào.
Ghi chú gốc (họp nhóm nhân sự, 21/9):
- Nhóm thống nhất tổ chức buổi đón nhân viên mới sáng thứ Hai 28/9.
- Hạnh sẽ hỏi lễ tân xem phòng họp tầng 3 còn trống sáng hôm đó không.
- Tùng đề xuất mua 12 bộ quà chào mừng. Ngân sách chưa được duyệt.
- Phúc sẽ kiểm kho xem còn hai máy tính cho hai bạn mới không.
- Ngày tập huấn an toàn lao động chưa chọn.Thư theo dõi do AI soạn:
Chào cả nhóm, theo cuộc họp 21/9, chúng ta chốt như sau:
1. Buổi đón nhân viên mới diễn ra sáng thứ Hai 28/9.
2. Hạnh hỏi lễ tân về phòng họp tầng 3.
3. Tùng mua 12 bộ quà chào mừng.
4. Phúc kiểm kho máy tính.
5. Ngày tập huấn an toàn lao động sẽ báo sau.Đọc từng động từ, không đọc cả thư
Thử tự tìm trước khi xem tiếp: dòng nào đã nói nhiều hơn ghi chú?
Cách tìm là bỏ qua cảm giác “thư này nghe hợp lý” và so động từ của từng dòng với động từ trong ghi chú. Dòng 1 nói “diễn ra”, ghi chú nói “thống nhất tổ chức”: khớp. Dòng 2 và 4 nói “hỏi” và “kiểm”, ghi chú nói “sẽ hỏi” và “sẽ kiểm”: khớp, vì cả hai đều mới là việc cần làm, chưa là kết quả. Dòng 5 nói “báo sau”, ghi chú nói “chưa chọn”: khớp.
Dòng 3 thì không. Ghi chú ghi “đề xuất mua” kèm “ngân sách chưa được duyệt”. Thư ghi “mua”, và mở đầu thư còn viết “chúng ta chốt”. Một người đọc thư sẽ hiểu 12 bộ quà đã được duyệt. Đó là chỗ đề xuất bị nâng thành cam kết.
NIST, trong tài liệu AI 600-1 về rủi ro của AI tạo sinh, gọi nhóm lỗi này là confabulation: nội dung sai nhưng được trình bày chắc chắn. Trong thư họp, lỗi hiếm khi là cả câu vô lý. Thường chỉ là một động từ mạnh hơn nguồn.
Ghi lại đúng một chỗ
Với mỗi thư, ghi chỗ đã tìm ra thành một dòng ba phần:
Câu trong thư: 3. Tùng mua 12 bộ quà chào mừng.
Câu trong ghi chú: Tùng đề xuất mua 12 bộ quà chào mừng. Ngân sách chưa được duyệt.
Sửa thành: Tùng đề xuất mua 12 bộ quà; chờ duyệt ngân sách.Sửa đúng câu đó rồi đổi lời mở “chúng ta chốt” thành “tóm tắt cuộc họp”, vì chữ “chốt” còn lại sẽ kéo cả năm dòng lên mức chắc chắn. Chỉ khi đó thư mới sẵn sàng gửi. Nếu bạn tìm ra hơn một chỗ, ghi từng chỗ một dòng như trên, và đừng gộp lại.
Nhờ AI soi thêm, nhưng tự kiểm câu trích
Bạn có thể đưa cả hai đoạn cho AI kèm yêu cầu sau:
So từng dòng của thư với ghi chú. Với mỗi dòng, chép nguyên văn câu trong ghi chú làm căn cứ.
Nếu không có câu nào làm căn cứ, ghi "không tìm thấy". Chỉ ra dòng nào dùng động từ mạnh hơn ghi chú.
Không sửa ghi chú.AI soi nhanh hơn bạn khi thư dài. Nhưng đừng tin câu trích chỉ vì nó trông đúng. Dùng chức năng tìm chữ (Ctrl+F) tìm câu đó trong ghi chú gốc. Nếu không có, coi dòng ấy là chưa kiểm.
Khi nào phép này chưa đủ
Nếu bạn làm theo mà AI vẫn báo dòng 3 “khớp”, hoặc câu trích nó đưa ra không có trong ghi chú, đừng đổi câu lệnh liên tục. Đây là dấu hiệu cần người dự họp xác nhận lại. Cũng vậy khi ghi chú tự mâu thuẫn, hoặc quyết định thật diễn ra ngoài phần bạn có.
Nếu cuộc họp có dữ liệu nhạy cảm, hãy dùng tài khoản và công cụ mà tổ chức cho phép, hoặc bỏ phần nhạy cảm trước khi đưa cho chatbot.
Đọc thêm dễ hiểu
- OpenAI — Best practices for prompt engineering with the OpenAI API: hướng dẫn viết yêu cầu rõ việc cần làm, bối cảnh và dạng kết quả mong muốn; dùng để hỗ trợ phần soạn yêu cầu nhờ AI soi lại.
Tài liệu gốc để đối chiếu
- NIST — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1): tài liệu gốc mô tả các rủi ro của AI tạo sinh, trong đó có confabulation; dùng để đối chiếu lý do không xem một thư viết trơn là bằng chứng đúng.