Cái gọi là "Hot Chip" của NVIDIA thực chất là "Nền tảng nóng"

 

NVIDIA đang tập trung vào các dự án kỹ thuật cấp hệ thống và cấp trung tâm dữ liệu nhằm tạo ra các hệ thống và nền tảng tiên tiến có khả năng xử lý các thách thức AI phức tạp.

 

Đầu tháng này, NVIDIA đã gặp phải tin xấu hiếm hoi khi có báo cáo rằng bộ tăng tốc GPU "Blackwell" rất được mong đợi của công ty có thể bị trì hoãn tới ba tháng do lỗi thiết kế. Tuy nhiên, một phát ngôn viên của NVIDIA tuyên bố rằng mọi thứ đang diễn ra theo đúng kế hoạch. Một số nhà cung cấp cho biết không có gì thay đổi, trong khi những nhà cung cấp khác lưu ý một số sự chậm trễ thông thường.

 

Những người trong ngành kỳ vọng rằng khi NVIDIA báo cáo kết quả tài chính quý 2 năm tài chính 2025 vào thứ Tư tuần tới, người dùng sẽ có thêm thông tin chi tiết về tình hình của Blackwell.

 

Có thông tin cho rằng chip Blackwell-B100, B200 và GB200-sẽ là điểm nhấn của hội nghị Hot Chips năm nay, được tổ chức vào tuần tới tại Đại học Stanford ở California. NVIDIA sẽ giới thiệu kiến ​​trúc của mình, nêu chi tiết một số cải tiến mới, phác thảo việc sử dụng AI trong thiết kế chip và thảo luận về nghiên cứu làm mát bằng chất lỏng trong các trung tâm dữ liệu được sử dụng để chạy các khối lượng công việc AI đang phát triển này. Theo Giám đốc Sản phẩm Điện toán Tăng tốc của NVIDIA, Dave Salvator, công ty cũng sẽ giới thiệu các chip Blackwell đang hoạt động tại một trong các trung tâm dữ liệu của mình.

 

▲ Chip Blackwell

 

Phần lớn những gì NVIDIA đang thảo luận về Blackwell đã được biết đến, chẳng hạn như GPU Blackwell Ultra sẽ được ra mắt vào năm tới và GPU Rubin thế hệ tiếp theo và CPU Vera sẽ bắt đầu được tung ra vào năm 2026. Tuy nhiên, Salvator nhấn mạnh rằng khi nói về Blackwell, điều quan trọng là phải xem nó như một nền tảng chứ không phải là một con chip duy nhất. Salvator đã nêu quan điểm này trong một cuộc họp báo dành cho các nhà báo và nhà phân tích tuần này như một phần của quá trình chuẩn bị cho Hot Chips.

 

"Khi bạn nghĩ về NVIDIA và các nền tảng mà chúng tôi đang xây dựng, GPU, mạng và thậm chí cả CPU của chúng tôi chỉ là khởi đầu", ông nói. "Chúng tôi đang thực hiện kỹ thuật cấp hệ thống và cấp trung tâm dữ liệu để xây dựng các hệ thống và nền tảng này có thể thực sự đi ra ngoài và giải quyết những thách thức AI tạo sinh thực sự khó khăn đó. Chúng tôi đã thấy quy mô của các mô hình tăng lên theo thời gian và hầu hết các ứng dụng AI tạo sinh cần chạy theo thời gian thực, với nhu cầu suy luận tăng đáng kể trong vài năm qua. Suy luận mô hình ngôn ngữ lớn theo thời gian thực đòi hỏi nhiều GPU và trong tương lai gần, nó sẽ yêu cầu nhiều nút máy chủ".

 

 

Điều này không chỉ bao gồm GPU Blackwell và CPU Grace mà còn bao gồm chip NVLink Switch, DPU Bluefield-3, NIC ConnextX-7 và ConnectX-8, bộ chuyển mạch Ethernet Spectrum-4 và bộ chuyển mạch Quantum-3 InfiniBand. Salvator cũng cung cấp những thông tin chi tiết khác nhau cho NVLink Switch (bên dưới), compute, Spectrum-X800 và Quantum-X800.

 

NVIDIA đã giới thiệu kiến ​​trúc Blackwell rất được mong đợi tại hội nghị GTC 2024 vào tháng 3 năm nay, với các nhà cung cấp siêu quy mô và OEM nhanh chóng ký hợp đồng. Công ty đang nhắm đến lĩnh vực AI tạo sinh đang phát triển nhanh chóng, nơi các mô hình ngôn ngữ lớn (LLM) đang trở nên đồ sộ hơn nữa. Llama 3.1 của Meta, ra mắt vào tháng 6, là minh chứng cho xu hướng này, với một mô hình có 4,05 nghìn tỷ tham số. Salvator lưu ý rằng khi LLM phát triển lớn hơn, nhu cầu suy luận thời gian thực vẫn tiếp diễn, đòi hỏi nhiều tính toán hơn và độ trễ thấp hơn, đòi hỏi phải có phương pháp tiếp cận nền tảng.

 

'Giống như hầu hết các LLM khác, các dịch vụ được cung cấp bởi mô hình này dự kiến ​​sẽ chạy theo thời gian thực. Để đạt được điều này, bạn cần nhiều GPU. Thách thức là làm thế nào để đạt được sự cân bằng lớn giữa hiệu suất cao của GPU, mức sử dụng cao của GPU và cung cấp trải nghiệm người dùng tốt cho người dùng cuối sử dụng các dịch vụ do AI điều khiển này", ông cho biết.

 

 

Nhu cầu về tốc độ

 

Với Blackwell, NVIDIA đã tăng gấp đôi băng thông của mỗi bộ chuyển mạch, tăng từ 900 GB/giây lên 1,8 TB/giây. Công nghệ Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) của công ty mang nhiều tính toán hơn vào các hệ thống thực sự nằm trong các bộ chuyển mạch. Nó cho phép chúng tôi chuyển một số tác vụ khỏi GPU để giúp tăng tốc hiệu suất và cũng giúp làm mịn lưu lượng mạng qua kết cấu NVLink. Đây là những cải tiến mà chúng tôi tiếp tục thúc đẩy ở cấp độ nền tảng.

 

GB200 NVL72 đa nút là một khung máy làm mát bằng chất lỏng kết nối 72 GPU Blackwell và 36 CPU Grace trong một thiết kế dạng rack-scale. NVIDIA tuyên bố rằng nó cung cấp hiệu suất suy luận cao hơn cho các LLM nghìn tỷ tham số như GPT-MoE-1.8T, hoạt động hiệu quả như một GPU duy nhất. Hiệu suất của nó gấp 30 lần so với hệ thống HGX H100, với tốc độ đào tạo nhanh hơn gấp bốn lần so với H100.

 

NVIDIA cũng đã bổ sung hỗ trợ gốc cho FP4, sử dụng Hệ thống quantization Quasar của công ty, cung cấp độ chính xác tương tự như FP16 trong khi giảm 75% mức sử dụng băng thông. Hệ thống quantization Quasar là phần mềm tận dụng Transformer Engine của Blackwell để đảm bảo độ chính xác. Salvator đã chứng minh điều này bằng cách so sánh các hình ảnh AI tạo ra bằng FP4 và FP16, với sự khác biệt ít hoặc không đáng kể giữa hai hình ảnh.

 

Khi sử dụng FP4, các mô hình có thể sử dụng ít bộ nhớ hơn và hoạt động thậm chí còn tốt hơn FP8 trong GPU Hopper.

 

 

Hệ thống làm mát bằng chất lỏng

 

Về mặt làm mát bằng chất lỏng, NVIDIA sẽ giới thiệu phương pháp làm mát trực tiếp chip bằng nước ấm, có thể giảm 28% mức tiêu thụ điện năng của trung tâm dữ liệu.

 

Salvator cho biết, "Điều thú vị về phương pháp này là một số lợi ích của nó, bao gồm hiệu quả làm mát tăng lên, chi phí vận hành thấp hơn, tuổi thọ máy chủ kéo dài và khả năng tái sử dụng nhiệt thu được cho các mục đích sử dụng khác. Nó chắc chắn giúp cải thiện hiệu quả làm mát. Một trong những cách đạt được điều này, như tên gọi của nó, là hệ thống này thực sự không sử dụng máy làm lạnh. Nếu bạn nghĩ về cách tủ lạnh hoạt động, nó hoạt động khá tốt. Nhưng nó cũng cần điện. Bằng cách áp dụng giải pháp nước ấm này, chúng tôi không phải sử dụng máy làm lạnh, giúp chúng tôi tiết kiệm một số năng lượng và giảm chi phí vận hành."

 

Một chủ đề khác là cách NVIDIA tận dụng AI để thiết kế chip AI của mình bằng Verilog, một ngôn ngữ mô tả phần cứng đã được sử dụng trong bốn mươi năm để mô tả mạch trong mã. NVIDIA đang thúc đẩy nỗ lực này thông qua một tác nhân Verilog tự động có tên là VerilogCoder.

 

 

Ông cho biết, "Các nhà nghiên cứu của chúng tôi đã phát triển một mô hình ngôn ngữ lớn có thể đẩy nhanh quá trình tạo mã Verilog mô tả hệ thống của chúng tôi. Chúng tôi sẽ sử dụng nó trong các thế hệ sản phẩm trong tương lai để giúp xây dựng các mã này. Nó có thể làm được nhiều việc. Nó có thể giúp tăng tốc quá trình thiết kế và xác minh. Nó có thể đẩy nhanh các hoạt động thủ công của thiết kế và tự động hóa về cơ bản nhiều tác vụ."