Ứng dụng máy chủ làm mát bằng chất lỏng trong trung tâm dữ liệu

 

Trong những năm gần đây, các ngành công nghiệp đang tích cực thúc đẩy chuyển đổi kỹ thuật số và nền kinh tế kỹ thuật số của Trung Quốc đang phát triển nhanh chóng, với sức mạnh tính toán tạo động lực mới cho phát triển kinh tế và xã hội. Để đáp ứng nhu cầu ngày càng tăng về sức mạnh tính toán, quy mô trung tâm dữ liệu đã phát triển nhanh chóng trên cả nước. Đến cuối năm 2023, tổng số giá đỡ được sử dụng trên khắp các trung tâm dữ liệu của Trung Quốc đã vượt quá 8,1 triệu giá đỡ tiêu chuẩn và tổng công suất tính toán đạt 230 EFLOPS, đứng thứ hai trên toàn cầu. Với việc mở rộng sức mạnh tính toán, mức tiêu thụ điện của các trung tâm dữ liệu cũng tăng nhanh.

 

Theo "Sách trắng Phát triển Công nghiệp Trung tâm Dữ liệu Trung Quốc (2023)", dự kiến ​​đến năm 2025, mức tiêu thụ điện quốc gia của các trung tâm dữ liệu sẽ đạt 1,2×10¹¹ kW·h và tổng lượng khí thải carbon sẽ vào khoảng 100 triệu tấn, chiếm khoảng 1,23% tổng dân số cả nước. Để thực hiện "đỉnh carbon và trung hòa carbon", chính phủ đã ban hành một loạt chính sách nhằm thúc đẩy tiết kiệm năng lượng và giảm tiêu thụ trong các trung tâm dữ liệu, với yêu cầu PUE (Hiệu quả sử dụng năng lượng) nhanh chóng tăng lên dưới 1,3 và thậm chí 1,25. Các công nghệ làm mát truyền thống trong trung tâm dữ liệu đang dần không thể đáp ứng được những nhu cầu mới này.

 

Đồng thời, khi mật độ năng lượng tính toán của các chip đơn tiếp tục tăng lên, việc làm mát không khí dần trở thành nút cổ chai và sự xuất hiện của các thiết bị công suất cao như máy chủ AI đã làm trầm trọng thêm vấn đề thiếu không gian tủ. Dưới áp lực kép của chính sách carbon quốc gia và mật độ sức mạnh tính toán chip ngày càng tăng, việc giới thiệu công nghệ làm mát bằng chất lỏng ngày càng trở nên cấp thiết.

 

 

I Ưu điểm của công nghệ làm mát bằng chất lỏng

 

So với làm mát bằng không khí truyền thống, làm mát bằng chất lỏng có thể cải thiện đáng kể hiệu quả làm mát và độ tin cậy vận hành, với khả năng thích ứng tốt với môi trường và giảm chiếm dụng đất.

 

1. Giảm mức tiêu thụ năng lượng của thiết bị và hỗ trợ bảo tồn năng lượng và giảm lượng carbon

Trong kỷ nguyên kinh tế số, nhu cầu về sức mạnh tính toán ngày càng tăng nhanh, cùng với việc ứng dụng 5G rộng rãi, thúc đẩy sự phát triển của cơ sở hạ tầng thông tin. Điều này đã làm tăng đáng kể mức tiêu thụ điện và lượng khí thải carbon của các trung tâm dữ liệu. Làm mát bằng chất lỏng có thể giảm PUE của trung tâm dữ liệu xuống khoảng 1,1–1,2, giảm mức tiêu thụ năng lượng và lượng khí thải carbon một cách hiệu quả. Ví dụ: đối với giá đỡ làm mát bằng chất lỏng 100 20kW, việc giảm PUE từ 1,45 xuống 1,15 có thể tiết kiệm hơn 10⁷ kW·h điện hàng năm, tiết kiệm hơn 7 triệu nhân dân tệ chi phí điện và giảm lượng khí thải carbon xuống 6,{{ 14}} tấn. Ngoài ra, môi trường làm mát bằng chất lỏng có thể giảm hoặc loại bỏ quạt, giúp giảm hơn nữa mức tiêu thụ năng lượng của máy chủ.

 

2. Kéo dài tuổi thọ thiết bị và giảm áp lực bảo trì

Theo quy tắc 10 độ cho chip, tuổi thọ của linh kiện giảm khoảng 50% khi nhiệt độ tăng thêm 10 độ. Làm mát bằng chất lỏng có thể hạ nhiệt độ điểm nối CPU xuống hơn 10 độ một cách hiệu quả (nhiệt độ điểm nối là nhiệt độ hoạt động thực tế của chất bán dẫn trong các thiết bị điện tử), kéo dài tuổi thọ của máy chủ. So với làm mát không khí truyền thống, làm mát bằng chất lỏng ngâm có thể loại bỏ quạt, giảm tiếng ồn và bụi, đồng thời có tỷ lệ hỏng hóc do nhiệt thấp hơn. Dữ liệu cho thấy tỷ lệ hỏng hóc của ổ cứng trong môi trường làm mát ngâm thấp hơn khoảng 50% so với môi trường làm mát bằng không khí. Việc giảm tỷ lệ lỗi máy chủ và kéo dài tuổi thọ của máy chủ có thể cải thiện đáng kể sự ổn định trong hoạt động kinh doanh và giảm áp lực bảo trì.

 

3. Khả năng thích ứng với môi trường tốt và tỷ lệ triển khai giá đỡ cao

Giá đỡ làm mát bằng không khí truyền thống có yêu cầu cao về môi trường và bị ảnh hưởng đáng kể bởi các yếu tố môi trường bên ngoài. Giá đỡ làm mát bằng chất lỏng có yêu cầu về môi trường thấp và có thể duy trì PUE ổn định ở những khu vực có chênh lệch nhiệt độ lớn. Giá đỡ làm mát bằng chất lỏng có mật độ triển khai cao, gấp khoảng 3–4 lần so với giá đỡ làm mát bằng không khí truyền thống, tiết kiệm khoảng 75% không gian trung tâm dữ liệu với cùng sức mạnh tính toán. Các trung tâm dữ liệu làm mát bằng chất lỏng có thể loại bỏ việc điều hòa không khí và giảm nhu cầu sử dụng các thiết bị làm lạnh, giúp tiết kiệm không gian hơn nữa.

 

 

II Lộ trình công nghệ làm mát bằng chất lỏng

 

Máy chủ làm mát bằng không khí sử dụng không khí làm phương tiện truyền nhiệt, trong khi máy chủ làm mát bằng chất lỏng sử dụng chất lỏng như nước hoặc chất lỏng có chứa fluor. Do sự khác biệt về mật độ, nhiệt dung riêng và độ dẫn nhiệt, khả năng làm mát của chất lỏng ở cùng một tốc độ dòng chảy có thể cao hơn không khí tới 3.500 lần. Việc làm mát bằng chất lỏng hiệu quả cao có thể làm tăng đáng kể mật độ triển khai máy chủ, giảm sự chiếm dụng không gian phòng và giá đỡ.

 

Công nghệ làm mát bằng chất lỏng có thể được chia thành làm mát bằng chất lỏng không tiếp xúc và làm mát bằng chất lỏng tiếp xúc dựa trên cách chất làm mát tương tác với các nguồn nhiệt.

 

1. Làm mát bằng chất lỏng không tiếp xúc

Làm mát bằng chất lỏng không tiếp xúc chủ yếu đề cập đến làm mát bằng chất lỏng bằng tấm lạnh, trong đó chất lỏng chảy qua các tấm lạnh để tản nhiệt từ các bộ phận như CPU/GPU/VRD/DIMM, các bộ phận làm mát của máy chủ. Chất lỏng làm mát bằng chất lỏng dạng tấm lạnh không tiếp xúc trực tiếp với nguồn nhiệt.

 

Với công suất nhiệt riêng và độ dẫn nhiệt cao hơn, làm mát bằng chất lỏng tấm lạnh có thể giảm mức tiêu thụ năng lượng từ 60%–90% so với làm mát không khí truyền thống và giảm PUE của trung tâm dữ liệu xuống khoảng 1,2. Máy chủ làm mát bằng chất lỏng dạng tấm lạnh sử dụng cách triển khai giá truyền thống, giúp việc trang bị thêm các trung tâm dữ liệu hiện có tương đối dễ dàng và tiết kiệm chi phí. Tuy nhiên, vì làm mát bằng chất lỏng chỉ được áp dụng cho một số bộ phận có nhiệt độ cao nhất định nên vẫn cần một số quạt và cần có điều hòa không khí để làm mát các bộ phận không làm mát bằng chất lỏng khác trong máy chủ.

 

Làm mát bằng chất lỏng ống dẫn nhiệt cũng thuộc loại làm mát bằng chất lỏng không tiếp xúc, truyền nhiệt từ các bộ phận như CPU ​​ra khỏi máy chủ thông qua các ống dẫn nhiệt, sau đó sẽ tiêu tan bằng nước tuần hoàn. Nó chủ yếu sử dụng nước, chất làm lạnh và chất lỏng có chứa cồn, mặc dù ứng dụng hiện tại của nó còn hạn chế.

 

2. Liên hệ làm mát bằng chất lỏng

 

2.1 Làm mát bằng chất lỏng ngâm

Trong làm mát bằng chất lỏng ngâm, toàn bộ máy chủ được ngâm trong chất làm mát, chất làm mát tiếp xúc trực tiếp với máy chủ. Dòng tuần hoàn hoặc sự ngưng tụ bay hơi của chất làm mát sẽ loại bỏ nhiệt. Các chất lỏng không dẫn điện, không ăn mòn như dầu khoáng, dầu silicon hoặc chất lỏng fluoride thường được sử dụng.

 

Trong làm mát bằng chất lỏng ngâm, tất cả các bộ phận tạo nhiệt sẽ tản nhiệt thông qua làm mát bằng chất lỏng, cho phép loại bỏ hoàn toàn quạt và loại bỏ nhu cầu điều hòa không khí trong trung tâm dữ liệu. So với làm mát bằng chất lỏng tấm lạnh, làm mát bằng chất lỏng ngâm giúp truyền nhiệt tốt hơn, tiết kiệm năng lượng và giảm tiếng ồn, có khả năng giảm PUE xuống 1,1 hoặc thấp hơn. Tuy nhiên, làm mát ngâm thường yêu cầu triển khai kiểu hộp, với mật độ triển khai thấp hơn so với làm mát bằng chất lỏng tấm lạnh và việc trang bị thêm cơ sở hạ tầng hỗ trợ phức tạp và tốn kém hơn. Các máy chủ làm mát bằng chất lỏng ngâm cũng chỉ hỗ trợ ổ SSD và ổ chứa đầy khí heli, đồng thời các đầu nối quang và cáp cần phải được bịt kín hoặc tùy chỉnh để chống ăn mòn.

 

Dựa trên việc chất làm mát có trải qua sự thay đổi pha hay không, làm mát bằng chất lỏng ngâm có thể được chia thành làm mát bằng ngâm một pha và làm mát bằng pha thay đổi. Trong làm mát ngâm một pha, chất lỏng không thay đổi pha, loại bỏ nhiệt khi nhiệt độ tăng lên và vẫn ở dạng lỏng trong suốt chu trình làm mát. Trong làm mát ngâm thay đổi pha, chất lỏng bay hơi khi đun nóng, mang theo nhiệt ở trạng thái khí và được làm lạnh trở lại dạng lỏng bằng thiết bị ngưng tụ, tại đó chất lỏng chảy trở lại buồng bằng trọng lực, hoàn thành chu trình làm mát.

 

2.2 Làm mát bằng chất lỏng phun

Làm mát bằng chất lỏng phun bao gồm việc phun chất làm mát từ đỉnh khung máy chủ thông qua mô-đun phun, với nhiệt được truyền qua sự đối lưu giữa chất làm mát và tản nhiệt, làm mát tất cả các bộ phận tạo nhiệt của máy chủ. Nhiệt sau đó được tiêu tán thông qua một bộ trao đổi nhiệt. Các chất lỏng không dẫn điện, không ăn mòn như dầu khoáng và chất lỏng chứa fluor thường được sử dụng làm chất làm mát.

 

Giống như làm mát ngâm, làm mát bằng chất lỏng phun có thể loại bỏ hoàn toàn quạt máy chủ, loại bỏ nhu cầu điều hòa không khí trong trung tâm dữ liệu, với PUE giảm xuống còn khoảng 1,1. Không giống như làm mát bằng ngâm, các máy chủ làm mát bằng chất lỏng phun thường sử dụng cách triển khai kiểu lưỡi cắt, yêu cầu sửa đổi giá đỡ và khung máy chủ. Làm mát bằng chất lỏng phun có mức tiêu thụ chất làm mát và chi phí bảo trì thấp hơn.

 

3. So sánh các công nghệ làm mát bằng chất lỏng

Tham khảo Bảng 1 để so sánh các công nghệ làm mát bằng chất lỏng khác nhau.

 

▲ Công nghệ làm mát bằng chất lỏng

 

Xem xét các yếu tố như chi phí đầu tư ban đầu, khả năng bảo trì, hiệu quả PUE và mức độ phát triển của ngành, làm mát bằng chất lỏng tấm lạnh và làm mát bằng chất lỏng ngâm một pha có lợi thế hơn các công nghệ làm mát bằng chất lỏng khác, trở thành giải pháp chủ đạo trong ngành. Làm mát bằng chất lỏng tấm lạnh cho phép chuyển đổi suôn sẻ từ các mô hình làm mát bằng không khí truyền thống và được áp dụng rộng rãi hơn trong các trung tâm dữ liệu. Phân tích sau đây sẽ chủ yếu tập trung vào làm mát bằng chất lỏng tấm lạnh.

 

 

III Các thành phần chính của làm mát bằng chất lỏng tấm lạnh

 

Các thành phần chính của hệ thống làm mát bằng chất lỏng dạng tấm lạnh tương tác chặt chẽ với thiết bị CNTT chủ yếu ở mặt thứ cấp, bao gồm chất làm mát, đầu nối nhanh và Bộ phân phối làm mát (CDU).

 

1. Nước làm mát

Các lựa chọn chất làm mát hiện nay trong ngành bao gồm dung dịch ethylene glycol, dung dịch propylene glycol và nước khử ion. Dung dịch ethylene glycol và propylene glycol là các sản phẩm tiêu chuẩn công nghiệp và sẵn có, trong đó ethylene glycol tiết kiệm chi phí hơn. Nước khử ion có đặc tính truyền nhiệt tốt, không độc hại và an toàn, nhưng cần xem xét khả năng chống đóng băng ở mức 0 độ.

 

Chất làm mát cần được bổ sung chất ức chế ăn mòn và chất diệt khuẩn để ngăn chặn sự phát triển của vi khuẩn có thể gây tắc nghẽn hoặc rò rỉ. Nên sử dụng nồng độ 20%–30%, vì nồng độ quá cao có thể ảnh hưởng đến khả năng tản nhiệt, trong khi nồng độ quá thấp có thể làm giảm khả năng ngăn chặn sự đóng băng và ức chế sự phát triển của vi sinh vật của chất làm mát.

 

2. Kết nối nhanh

Đầu nối nhanh liên kết mô-đun tấm lạnh trong máy chủ làm mát bằng chất lỏng với ống góp trong giá làm mát bằng chất lỏng. Có hai loại đầu nối nhanh: đầu nối nhanh thủ công và đầu nối nhanh mù. Đầu nối thủ công đòi hỏi kỹ năng cao hơn từ nhân viên bảo trì, việc cắm và rút phích cắm phụ thuộc vào thao tác thủ công của nhân viên trung tâm dữ liệu, giúp việc tách máy chủ khỏi giá đỡ dễ dàng hơn. Đầu nối người mùkhông có yêu cầu vận hành cụ thể và tự động kết nối trong quá trình lắp máy chủ vào giá làm mát bằng chất lỏng. Đầu nối nhanh phải có khả năng chống ăn mòn mạnh và mất chất lỏng ở mức tối thiểu khi ngắt kết nối để tránh tràn chất làm mát.

 

3. Bộ phân phối làm mát (CDU)

CDU là một hệ thống được sử dụng để phân phối chất làm mát giữa các máy chủ được làm mát bằng chất lỏng, cung cấp khả năng phân phối dòng thứ cấp, kiểm soát áp suất, cách ly vật lý và các tính năng chống ngưng tụ. Nó cũng có thể cách ly mặt sơ cấp và mặt thứ cấp để đáp ứng các yêu cầu chất lượng nước khác nhau. Dựa trên hình thức và vị trí triển khai, CDU có thể được phân loại thành CDU tập trung và phân tán.

 

Một CDU tập trung thường được kết nối với nhiều tủ máy chủ, cung cấp khả năng làm mát cho nhiều tủ máy chủ cùng một lúc. Nhiều cụm CDU có thể đạt được độ dự phòng N+M, mang lại độ tin cậy cao và phù hợp cho việc triển khai quy mô lớn các tủ máy chủ làm mát bằng chất lỏng. CDU phân tán, không yêu cầu đường ống thứ cấp, chỉ cung cấp khả năng làm mát cho các máy chủ trong tủ riêng của nó và không thể cung cấp khả năng dự phòng giữa các tủ, do đó có độ tin cậy thấp hơn so với CDU tập trung. Có thể tìm thấy sự so sánh giữa CDU tập trung và phân tán trong Bảng 2.

 

▲ So sánh giữa CDU tập trung và CDU phân tán

 

 

IV Yêu cầu kỹ thuật đối với máy chủ và tủ làm mát bằng chất lỏng dạng tấm lạnh

 

1. Yêu cầu kỹ thuật máy chủ

Việc thiết kế máy chủ làm mát bằng chất lỏng dạng tấm lạnh phải đáp ứng các yêu cầu kỹ thuật nêu trong Bảng 3.

 

▲ Yêu cầu thiết kế máy chủ làm mát bằng chất lỏng dạng tấm lạnh

 

Ngoài việc đáp ứng các yêu cầu khác nhau được liệt kê trong bảng, thiết kế máy chủ làm mát bằng chất lỏng dạng tấm nguội cũng phải tuân thủ các yêu cầu thiết kế dành cho máy chủ làm mát bằng không khí truyền thống, bao gồm các thành phần như CPU, bộ nhớ, ổ cứng và bo mạch chủ.

 

2. Yêu cầu kỹ thuật tủ

Trong các tình huống làm mát bằng chất lỏng, khả năng kết nối giữa máy chủ và tủ ở mức cao. Thiết kế tủ làm mát bằng chất lỏng phải đáp ứng các yêu cầu kỹ thuật nêu trong Bảng 4.

 

▲ Tủ làm mát bằng chất lỏng

 

Ngoài việc đáp ứng các yêu cầu nêu trong bảng, thiết kế tủ làm mát bằng chất lỏng cũng phải tuân thủ các yêu cầu thiết kế đối với tủ làm mát bằng không khí truyền thống như vận chuyển và lắp đặt, đi dây bên trong tủ và phân vùng chức năng.

 

 

V Những thay đổi do việc giới thiệu hệ thống làm mát bằng chất lỏng trong trung tâm dữ liệu

 

Khi các máy chủ làm mát bằng chất lỏng được đưa vào các trung tâm dữ liệu, sẽ có những thay đổi về cơ sở hạ tầng hỗ trợ, vận hành và bảo trì cũng như mô hình phân phối.

 

1. Hỗ trợ cơ sở hạ tầng

Sự ra đời của các máy chủ làm mát bằng chất lỏng làm tăng mật độ triển khai, đặt ra yêu cầu cao hơn về khả năng chịu tải của trung tâm dữ liệu. Ngoài ra, những thay đổi còn xảy ra ở các lĩnh vực như chiều cao của sàn nâng, nguồn điện và không gian bảo trì. Những thay đổi về cơ sở hạ tầng hỗ trợ được nêu trong Bảng 5.

 

▲ Hỗ trợ thay đổi cơ sở hạ tầng

 

2. Vận hành và bảo trì

Hiện nay, máy chủ làm mát bằng chất lỏng hầu hết được triển khai tùy chỉnh, khác với máy chủ làm mát bằng không khí truyền thống về khả năng tương thích thành phần, phương pháp triển khai và công cụ bảo trì. Sự khác biệt cụ thể được thể hiện trong Bảng 6.

 

▲ Thay đổi về vận hành và bảo trì

 

3. Mô hình giao hàng

Làm mát bằng chất lỏng trong trung tâm dữ liệu liên quan đến giao diện giữa hệ thống làm mát chính, hệ thống làm mát thứ cấp, CDU, tủ làm mát bằng chất lỏng và máy chủ làm mát bằng chất lỏng. Mức độ tiêu chuẩn hóa thấp và khả năng tương thích giữa các nhà sản xuất khác nhau còn hạn chế. Dựa trên nội dung phân phối, hiện có ba mô hình phân phối dành cho máy chủ làm mát bằng chất lỏng, như trong Bảng 7.

 

 

▲ Mô hình giao hàng

 

Khi đưa hệ thống làm mát bằng chất lỏng vào trung tâm dữ liệu, phải xem xét các yếu tố như mức độ trưởng thành của ngành, tính dễ bảo trì và tiến độ xây dựng. Trong giai đoạn đầu, Mô hình 2 hoặc Mô hình 3 có thể được xem xét để tích lũy kinh nghiệm thi công và bảo trì. Theo thời gian, việc tiêu chuẩn hóa giao diện giữa hệ thống chính, hệ thống phụ, CDU, tủ làm mát bằng chất lỏng và máy chủ làm mát bằng chất lỏng có thể dần dần được thúc đẩy, tiến tới Mô hình 1.

 

 

VI Kết luận

 

Việc đưa máy chủ làm mát bằng chất lỏng vào trung tâm dữ liệu có thể làm giảm đáng kể giá trị PUE, cải thiện tính ổn định trong vận hành thiết bị và tính khả dụng của doanh nghiệp, tăng mật độ lắp đặt máy chủ, giảm mức sử dụng đất trong trung tâm dữ liệu và đạt được mức tiết kiệm năng lượng và giảm lượng carbon. Ngoài ra, mật độ năng lượng ngày càng tăng của chip và sự ra đời dần dần của các thiết bị công suất cao như máy chủ AI thậm chí còn mang đến cơ hội lớn hơn cho việc áp dụng làm mát bằng chất lỏng, vốn đang dần trở thành một giải pháp làm mát quan trọng cho các trung tâm dữ liệu.

 

Tuy nhiên, tiêu chuẩn hóa tản nhiệt bằng chất lỏng tương đối thấp, do các nhà sản xuất khác nhau hoạt động độc lập. Khả năng kết nối giữa máy chủ làm mát bằng chất lỏng và tủ làm mát bằng chất lỏng đặc biệt cao, do đó việc tiêu chuẩn hóa tiếp theo các giao diện liên quan là cần thiết. Theo thời gian, điều quan trọng là đạt được sự kết hợp mù quáng giữa các giao diện nước, nguồn và mạng, giúp làm mát bằng chất lỏng không chỉ hoạt động hiệu quả mà còn thân thiện với người dùng, thực hiện đầy đủ vai trò của nó trong các mục tiêu carbon kép.