GeForce RTX 5090 của NVIDIA thống trị hiệu suất suy luận trên các mô hình AI R1 của DeepSeek, vượt xa RX 7900 XTX của AMD!

GeForce RTX 5090 mới nhất của NVIDIA có hiệu suất suy luận trên DeepSeek R1 nhanh hơn nhiều so với RX 7900 XTX của AMD, nhờ vào Tensor Core thế hệ thứ năm mới.

GeForce RTX 5090 của NVIDIA có khả năng truy cập các mô hình lý luận của DeepSeek với GPU RTX mới của NVIDIA hiện khá dễ dàng, với hiệu suất cao cấp
Có vẻ như GPU dành cho người tiêu dùng có thể là một trong những cách tốt nhất để chạy các mô hình LLM cao cấp trên các máy cục bộ, vì cả NVIDIA và AMD đều quyết tâm cung cấp các môi trường phù hợp cho việc thực hiện này. Gần đây, chúng ta đã thấy AMD trình diễn sức mạnh của GPU hàng đầu RDNA 3 trên mô hình DeepSeek R1 LLM và giờ đây, Team Green đã phản hồi bằng cách trình diễn các điểm chuẩn suy luận chạy trên GPU RTX Blackwell mới nhất của họ và các con số thực sự cho thấy GeForce RTX 5090 đã thống trị.

Trong nhiều mẫu DeepSeek R1, GeForce RTX 5090 cho thấy sự dẫn đầu rõ ràng so với Radeon RX 7900 XTX và thậm chí cả đối thủ thế hệ trước. GPU đã chạy được tới 200 token mỗi giây trong Distill Qwen 7b và Distill Llama 8b, đánh dấu gần gấp đôi so với những gì RX 7900 XTX của AMD đạt được. Điều này cho thấy hiệu suất AI vượt trội trên GPU của NVIDIA sẽ như thế nào và với sự hỗ trợ "RTX on AI" rộng rãi, chúng ta sẽ thấy AI biên trên PC của người tiêu dùng thường xuyên hơn nhiều.

Đối với những ai muốn chạy DeepSeek R1 trên GPU RTX của NVIDIA, công ty đã xuất bản một blog chuyên dụng để hướng dẫn người dùng và điều thú vị là nó đơn giản như chạy bất kỳ chatbot nào trên internet.

"Để giúp các nhà phát triển thử nghiệm an toàn với các khả năng này và xây dựng các tác nhân chuyên biệt của riêng họ, mô hình DeepSeek-R1 với 671 tỷ tham số hiện có sẵn dưới dạng bản xem trước dịch vụ vi mô NVIDIA NIM trên build.nvidia.com . Dịch vụ vi mô DeepSeek-R1 NIM có thể cung cấp tới 3.872 mã thông báo mỗi giây trên một hệ thống NVIDIA HGX H200 duy nhất.

Các nhà phát triển có thể kiểm tra và thử nghiệm giao diện lập trình ứng dụng (API), dự kiến ​​sẽ sớm có sẵn dưới dạng dịch vụ vi mô NIM có thể tải xuống, một phần của nền tảng phần mềm NVIDIA AI Enterprise .

Dịch vụ vi mô DeepSeek-R1 NIM đơn giản hóa việc triển khai với sự hỗ trợ cho các API tiêu chuẩn của ngành. Các doanh nghiệp có thể tối đa hóa bảo mật và quyền riêng tư dữ liệu bằng cách chạy dịch vụ vi mô NIM trên cơ sở hạ tầng điện toán tăng tốc ưa thích của họ."

- NVIDIA

Với NIM của NVIDIA, các nhà phát triển và người đam mê có thể dễ dàng dùng thử mô hình AI trên bản dựng cục bộ của họ và điều này thực sự có nghĩa là không chỉ dữ liệu của bạn được bảo vệ mà việc chạy cục bộ cũng có thể cải thiện hiệu suất, với điều kiện là khả năng phần cứng hỗ trợ.

THAM KHẢO TOP VGA GIÁ TỐT HIỆU SUẤT ĐỈNH CỦA NVIDIA TẠI HOÀNG LONG COMPUTER: 

[Products:5020,4953,3930,4938,4507,4274,4939]