NVIDIA PAIR chia request Local AI qua nhiều máy, nhưng không cộng VRAM
PAIR đứng giữa ứng dụng và các máy chạy Ollama hoặc LM Studio để phân phối request. Nó hữu ích khi có nhiều tác vụ độc lập, nhưng không biến hai GPU nhỏ thành một GPU lớn.
PAIR không cộng VRAM của nhiều máy lại với nhau. Nếu bạn có hai máy 8 GB, đừng kỳ vọng nó biến chúng thành một máy 16 GB để chạy model lớn hơn.
Điều NVIDIA Personal AI Router làm đơn giản hơn và, trong đúng trường hợp, khá hữu ích: nó nhận nhiều request inference độc lập rồi chuyển từng request tới một máy phù hợp trong mạng nội bộ. Ứng dụng phía trên vẫn có thể dùng giao diện quen thuộc của Ollama hoặc LM Studio.
Hãy nghĩ PAIR như một router cho workload, không phải một hệ thống gộp bộ nhớ GPU.
PAIR hữu ích khi bottleneck là hàng đợi
Một chatbot Local AI cho một người thường không cần đến PAIR. Vấn đề bắt đầu xuất hiện khi có nhiều phiên chạy song song, hoặc một agent sinh ra nhiều worker/sub-agent cùng gọi model.
Trong trường hợp đó, một GPU có thể không thiếu VRAM nhưng vẫn bị nghẽn vì request xếp hàng. Nếu trong nhà hoặc văn phòng có thêm laptop RTX, desktop, workstation hoặc máy tương thích đang rảnh, PAIR có thể gửi một số request sang các node khác.
NVIDIA minh họa một workload gồm năm sub-agent và cho biết ba thiết bị hoàn thành công việc nhanh hơn một máy đơn. Con số đó nên được đọc đúng ngữ cảnh: nó cho thấy lợi ích khi workload có thể chia thành nhiều request độc lập, không phải cam kết mọi ứng dụng sẽ nhanh hơn theo cùng tỷ lệ.
Mỗi request vẫn phải vừa trên một node
Đây là giới hạn quan trọng nhất để quyết định có nên thử hay không.
PAIR không chia một request đang chạy thành nhiều phần, không shard một model lớn qua nhiều máy và không tạo vùng VRAM chung. Mỗi request được giao cho một node đủ khả năng xử lý nó.
Nếu model của bạn không vừa trên bất kỳ máy nào, PAIR không giải quyết được vấn đề. Nếu model đã vừa nhưng bạn có quá nhiều request chờ, đó mới là bài toán phù hợp.
Một thử nghiệm trong nhà nên đơn giản đến mức nào?
Bạn không cần bắt đầu bằng một cụm phức tạp. Hai máy trong cùng mạng tin cậy là đủ để kiểm tra ý tưởng.
Cài inference engine và model cần dùng trên cả hai node, ghép các máy theo hướng dẫn của PAIR, rồi trỏ một ứng dụng tương thích vào endpoint cục bộ của router. Sau đó đo ba thứ: thời gian chờ, request thực tế được đưa tới node nào và trải nghiệm khi một node bận hoặc tạm thời không sẵn sàng.
Nếu bạn không thấy hàng đợi giảm hoặc workload của mình hiếm khi chạy song song, PAIR có thể chỉ làm hệ thống phức tạp hơn mà không đem lại lợi ích rõ ràng.
Giữ nó trong phạm vi mạng bạn kiểm soát
Tài liệu của dự án mô tả cơ chế ghép cặp và kết nối mã hóa giữa những máy đã tin cậy. Dù vậy, PAIR vẫn là phần mềm beta và nó tạo thêm một lớp giao tiếp giữa các node.
Với thử nghiệm cá nhân, lựa chọn hợp lý là giữ các máy trong mạng nội bộ tin cậy, không tự ý mở endpoint ra Internet và chỉ dùng những thiết bị bạn kiểm soát.
PAIR đáng thử khi bạn đã có nhiều máy và bottleneck thật sự là nhiều request độc lập. Nếu chỉ cần một chatbot Local AI cho một người, một máy cấu hình đúng thường đơn giản hơn.