Hôm nay chúng ta sẽ xem xét Dell EMC PowerEdge R750xa. Đây là một hệ thống 2U được tăng tốc mà Dell hy vọng sẽ nằm giữa PowerEdge R750 bên dưới và Dell EMC PowerEdge XE8545 ở trên. Là hệ thống Intel Xeon Scalable thế hệ thứ 3, có tên mã là Ice Lake, chúng tôi có các tính năng mới để tăng tốc điện toán trong nền tảng này. Trong bài đánh giá của mình, chúng ta sẽ xem xét các tính năng mới đó và một số góc độ thiết kế độc đáo mà Dell EMC đã thực hiện.
Đây là một hệ thống khó khăn để xem xét. Hầu hết người đọc STH sẽ biết tôi thực sự thích các thiết kế PowerEdge. PowerEdge R750xa sẽ là một hệ thống hoàn toàn tuyệt vời nếu chúng tôi không xem xét rất nhiều máy chủ GPU tại STH. Vì chúng tôi đã xem xét rất nhiều máy chủ GPU của Dell và các công ty khác nên việc yêu hệ thống này trở nên khó khăn hơn nhiều. Trong bài đánh giá này, chúng tôi sẽ chỉ ra lý do tại sao.
Tổng quan về phần cứng Dell EMC PowerEdge R750xa
Chúng tôi sẽ chia bài đánh giá này thành các phần tổng quan về phần cứng bên ngoài và bên trong như chúng tôi đã làm với nhiều bài đánh giá gần đây của mình.
Tổng quan về phần cứng bên ngoài Dell EMC PowerEdge R750xa
PowerEdge R750xa đang thay thế hiệu quả PowerEdge C4140 và có một sự thay đổi rõ ràng ngay lập tức: sự thay thế này là 2U thay vì 1U. Chiều cao thêm đó cho phép nhiều thành phần hơn và làm mát nhiều hơn. Điều đó cũng có nghĩa là độ sâu chỉ vào khoảng 837,2-872,8mm, hoặc trong khoảng 33″ đến 34,5″. Mặc dù nó vẫn là một máy chủ khá sâu, nhưng nó dễ lắp vào giá đỡ hơn nhiều so với người tiền nhiệm của nó. Ngoài ra, Dell nói với chúng tôi rằng đối với hầu hết khách hàng của mình, mật độ giá đỡ không phải là vấn đề vì các hệ thống tăng tốc này sử dụng rất nhiều năng lượng.
Một điều cần lưu ý nhanh là mặt trước của hệ thống có cổng USB, VGA và dịch vụ trên tai giá trong khi phần còn lại của hệ thống dành riêng cho luồng không khí GPU và đĩa.
Ở mặt trước của hệ thống, chúng tôi có các khay SATA, SAS và NVMe 2.5”. Người ta có thể thấy bốn ổ đĩa SAS, cũng như bốn ổ đĩa NVMe tại đây.
Một điều hơi thú vị là thẻ PERC được gắn vào phía sau của các khoang ổ đĩa thay vì nằm ở phía sau khung máy. Hướng dẫn chung của chúng tôi hiện nay là bỏ qua bộ điều khiển SAS và chỉ sử dụng NVMe cho SSD.
Những lỗ thông hơi lớn này ở đó để cung cấp luồng không khí mát mẻ cho các máy gia tốc nóng đằng sau chúng.
Ở mặt sau của hệ thống, có lẽ chúng tôi nhận được nhiều tính năng hơn. Vì đây là một hệ thống tăng tốc, chúng tôi có hai nguồn điện 2,4 kW. Dell sử dụng PSU ở hai bên để chạy cáp ngắn hơn nếu giá có PDU A+B ở hai bên của giá.
Dell EMC PowerEdge R750xa Phía sau
Với thế hệ này, Dell đã chuyển sang cấu hình I/O phía sau nhiều mô-đun hơn, vì vậy I/O tốc độ thấp hơn có PCB riêng cho iDRAC NIC, cổng USB và VGA.
Bảng IO Dell EMC PowerEdge R750xa
Kết nối mạng được xử lý thông qua một khe OCP NIC 3.0. Vì đây là hệ thống Intel, chứ không phải hệ thống AMD, nên chúng tôi có nhiều làn PCIe hạn chế hơn ở mức 128 trong máy chủ ổ cắm kép thay vì 160. Tác động của điều này là với SAS/NVMe phía trước và bốn GPU PCIe Gen4 x16, chúng tôi chỉ có khe cắm OCP NIC 3.0 cũng như riser x16 cấu hình thấp ở cả hai bên. Như bạn có thể thấy từ ảnh chụp này, Dell có thiết kế không cần công cụ để truy cập riser, nhưng chắc chắn chúng tôi mất nhiều thời gian hơn so với riser máy chủ GPU 2U trung bình để truy cập do cần phải loại bỏ bao nhiêu mô-đun trong quá trình này.
Khe cắm Dell EMC PowerEdge R750xa OCP NIC 3.0 và Khe cắm X16
Có lẽ tính năng thú vị nhất là tùy chọn Dell BOSS. Điều này có hai ổ SSD M.2 trên bo mạch bộ điều hợp và chúng được đặt ở phía sau khung máy. Trong tương lai, chúng tôi hy vọng rằng đây sẽ là các SSD E1.S vì đây là một ứng dụng cụ thể mà hệ số dạng EDSFF đang giải quyết trong các máy siêu chia tỷ lệ, vì vậy chúng tôi hy vọng trong vài năm tới Dell sẽ mang nó đến với khách hàng của mình.
Đây chỉ là một cái nhìn khác về người vận chuyển:
Ổ đĩa khởi động BOSS mới của Dell EMC PowerEdge R750xa
Một điều thực sự tốt trong hệ thống này, so với một số điều mà chúng tôi xem xét, là Dell có nhãn hiệu tuyệt vời trên toàn hệ thống.
Tiếp theo, chúng ta hãy xem phần tổng quan về phần cứng bên trong.
Tổng quan về phần cứng bên trong Dell EMC PowerEdge R750xa
Bên trong hệ thống, chúng tôi bắt đầu với GPU và bộ lưu trữ, sau đó có phân vùng quạt, tiếp theo là CPU và bộ nhớ, cuối cùng là I/O phía sau và nguồn điện.
Cấu hình của Dell đặt các tấm I/O ở phía trước khung máy để có luồng không khí lạnh nhất có thể. Bằng cách đặt chúng trên các bộ tăng tốc mà không thực sự gắn vào tấm I/O ở phía trước hệ thống, chúng hầu hết sẽ được sử dụng cho các máy gia tốc không có đầu như NVIDIA A100. Một số hệ thống gắn GPU vào mặt trước hoặc mặt sau của khung máy để FPGA cao cấp và các bộ tăng tốc khác có thể sử dụng cổng kết cấu trên bo mạch. Tuy nhiên, cảm giác của chúng tôi là GPU NVIDIA sẽ trở thành sản phẩm bán chạy nhất trong hệ thống này nên hầu hết khách hàng sẽ không bận tâm đến thiết kế này.
Một trong những tính năng thực sự hay trong cấu hình của Dell, khác với một số PowerEdge C4140 và một số hệ thống cạnh tranh, là bằng cách xếp chồng các GPU, Dell có thể sử dụng cầu nối NVLink giữa các cặp GPU.
Dell không chỉ có thể hỗ trợ các thẻ NVIDIA A100 PCIe cao cấp hơn mà còn cho phép các cặp A100 trên cùng một CPU sử dụng NVLink để liên lạc thay vì PCIe. C4140 với các GPU SXM và PowerEdge XE8545 cho phép tất cả các GPU giao tiếp qua NVLink bỏ qua một nút cổ chai lớn trong lưu lượng từ CPU đến CPU (ví dụ: UPI/Vinfinity Fabric). XE8545 cũng hỗ trợ nhiều làn PCIe hơn, nhiều lõi hơn và TDP/cao hơn hiệu suất của NVIDIA A100. Mặc dù cả hai đều có bốn chiếc A100 được liệt kê trong bảng thông số kỹ thuật, nhưng XE8545 là giải pháp cao cấp hơn trong một thời gian dài.
Có lẽ thách thức lớn nhất trong thiết kế của Dell là việc thay thế GPU không phải là một quá trình nhanh chóng. Mặc dù có vẻ như người ta chỉ cần nhấn nút mở khóa và sau đó bật GPU ra, nhưng thay vào đó, Dell có một quy trình chín bước bao trùm gần như toàn bộ khung máy được in trên nhãn của mỗi nhà cung cấp GPU.
Mỗi GPU được cố định vào một riser hai GPU. Sau đó, các kết nối nguồn và dữ liệu được cung cấp cho từng GPU.
Thiết kế của Dell sử dụng một kênh truy cập cáp ở giữa phân vùng quạt cũng như định tuyến cáp sang một bên của khung máy. Không có chỗ để bảo dưỡng GPU tại chỗ và ngắt kết nối cáp một cách dễ dàng, người ta buộc phải thực hiện công việc quan trọng trong quy trình 9 bước để tháo bộ nâng GPU, cộng với bất kỳ bước thay thế nào và quy trình 9 bước khác để lắp mọi thứ lại với nhau. Số lượng lớn các thành phần và dây cáp khiến đây là một trong những lần cài đặt lại dễ xảy ra tình trạng không căn chỉnh phù hợp với bất kỳ máy chủ nào mà chúng tôi đã thử nghiệm từ Dell.
Một phần của thách thức là các bước về cơ bản là:
- Ngắt kết nối cáp GPU khỏi phía bo mạch chủ ở phía sau khung máy. Điều đó cũng thường có nghĩa là các kết nối SAS/NVMe cũng vậy.
- Tháo các kết nối GPU, SAS/NVMe khi cần từ tấm che quạt
- Tháo tấm che quạt khỏi CPU và bộ nhớ
- Mở cửa truy cập cáp
- Xóa các kết nối GPU, SAS/NVMe khỏi kênh truy cập cáp
- Tháo toàn bộ phân vùng quạt
- Tháo các dây cáp khỏi các móc buộc các dây cáp từ các kênh đi ở hai đầu của vách ngăn quạt sau khi đã tháo
- Loại bỏ các kết nối từ mặt trước của bo mạch chủ
- Nhấn nút và sử dụng chốt để tự tháo riser
Sau khi hoàn thành tất cả những điều này, vẫn còn nhiều bước nữa để tháo rời riser và tiếp cận GPU. Ngoài ra, vì tấm che quạt phải được tháo ra, các kết nối cho các GPU khác và ổ đĩa cần phải được tháo rời. Khi kết hợp những thứ này lại với nhau, sẽ có nhiều khả năng xảy ra hư hỏng tài sản thế chấp hoặc chỉ bỏ lỡ các kết nối lại do thiết kế này.
Đây là một cảm giác rất lạ. Dell đã nỗ lực rất nhiều để làm cho tất cả những thứ này ăn khớp với nhau. Toàn bộ hệ thống thậm chí còn được mã hóa màu đen hoặc xám để có thể dễ dàng theo dõi các kết nối CPU-GPU thông qua hệ thống. Đồng thời, sau khi thử nghiệm rất nhiều hệ thống GPU từ các nhà cung cấp khác nhau, có một khoảng cách lớn về mức độ dễ dàng bảo dưỡng bộ tăng tốc/bộ tăng tốc GPU trong R750xa so với các hệ thống cạnh tranh. Khách hàng của Dell có thể không biết điều gì tốt hơn khi ngồi trong hệ sinh thái Dell, nhưng với kiến thức nền tảng rộng hơn về các hệ thống này, tình trạng bộ tăng GPU của R750xa thực sự là một cơn ác mộng đối với dịch vụ.
Mặt khác, những người hâm mộ rất tuyệt vời. Ngoại trừ việc truy cập cáp qua giữa phân vùng quạt, mọi thứ đều rất dễ bảo trì. Toàn bộ phân vùng có thể tháo rời bằng hệ thống đòn bẩy kép, điều này thật tuyệt. Bản thân các quạt là các mô-đun quạt kép và có lẽ là một trong những mô-đun dễ hoán đổi nhất trong toàn ngành.
Mô-đun quạt kép hoán đổi nóng Dell EMC PowerEdge R750xa
Hệ thống này sử dụng bộ xử lý phiên bản Intel Xeon Scalable Ice Lake kép và Dell có thể mở rộng sang các cấu hình cao cấp vì đã có rất nhiều nỗ lực để làm mát. Mỗi bộ xử lý có 8 kênh bộ nhớ và cấu hình kênh đôi cho tổng số 16 khe cắm DIMM trên mỗi CPU hoặc 32 trên mỗi hệ thống. Người ta có thể sử dụng Intel Optane PMem 200 DIMM trong hệ thống này, nhưng sau đó hệ thống bị giới hạn ở môi trường 30C thay vì 35C.
Dell cũng hỗ trợ các CPU TDP lên tới 270W như Intel Xeon Platinum 8380 trong hệ thống này.
Nói nhanh sang một bên, trong khi chúng tôi đề cập đến quy trình 9 bước để truy cập bộ tăng tốc/bộ tăng tốc GPU, có một khía cạnh quan trọng khác đối với thiết kế. Với khả năng kết nối đi qua hướng dẫn luồng không khí của CPU và bộ nhớ, người ta phải tháo dây cáp để lấy hướng dẫn luồng khí ra ngoài. Điều đó làm cho việc bảo dưỡng DIMM bị lỗi hoặc nâng cấp dung lượng bộ nhớ trở thành một nhiệm vụ lâu hơn nhiều so với các máy chủ PowerEdge khác hoặc trong các hệ thống cạnh tranh.
Các hướng dẫn luồng không khí là rất tốt đẹp. Chúng được mã hóa màu cho CPU và chúng khớp với cáp PCIe được liên kết với từng GPU. Ngoài ra còn có các móc buộc để cố định cáp kênh trung tâm. Đây thực sự là một khái niệm tuyệt vời. Nó chỉ dẫn đến việc bảo trì hệ thống lâu hơn và rủi ro cao hơn.
Bạn có thể nhận thấy rằng hai màu của tấm vải liệm được nối với nhau ở trung tâm. Có những tab mà bạn có thể nghĩ sẽ cho phép bạn bảo trì một mặt mà không cần phải tháo mặt kia. Đó không phải là trường hợp và cũng là một điều đáng tiếc rằng hệ thống ít nhất không được thiết kế để phục vụ ở các bán cầu.
Chúng tôi đã cố gắng xem liệu có cách nào để thực hiện việc này không, nhưng có vẻ như không có nguyên nhân nào.
Đây là một khối thú vị vì một vài lý do. Các dây cáp màu xanh ở đây đi theo các hướng khác nhau. Một cái đi qua kênh trung tâm, cái kia đi vòng quanh khung máy. Khác là khối này phải cẩn thận để lắp ráp lại vì nhiều tab đẩy gần nhau. Một cú huých nhẹ và những thứ này có thể trở nên lỏng lẻo. Đây là một thách thức lớn hơn do thiết kế cần loại bỏ những thứ này để bảo dưỡng bộ nhớ hoặc GPU.
Một lưu ý thú vị ở đây là mặc dù hai riser cấu hình thấp dành cho các CPU khác nhau, nhưng cả hai đều là thiết kế cấu hình thấp. Điều đó có nghĩa là người ta không thể sử dụng mạng cao cấp hơn như DPU NVIDIA BlueField-2 100Gbps là thẻ có chiều cao đầy đủ. Mặc dù có nhiều tùy chọn khác nhau cho riser, nhưng điều này cũng được thúc đẩy bởi cấu hình của phần còn lại của hệ thống vì chỉ có rất nhiều làn PCIe để đi xung quanh và cần rất nhiều hệ thống làm mát.
Tiếp theo, chúng ta sẽ đi đến MIG, quản lý và hiệu suất trước khi đi đến những lời cuối cùng.
NVIDIA A100 MIG
Một tính năng rất quan trọng trong hệ thống này là hỗ trợ NVIDIA MIG. Với NVIDIA MIG, người ta có thể chia một GPU A100 vật lý thành nhiều GPU logic nhỏ hơn, tổng cộng lên đến bảy.
Điều đó có nghĩa là một người có thể cài đặt bốn GPU NVIDIA A100, nhưng sau đó tách chúng ra để cung cấp 8-28 GPU cho hệ thống sử dụng MIG. Đối với nhiều tác vụ suy luận AI, việc chia A100 thành nhiều GPU sẽ hiệu quả hơn thay vì sử dụng quá mức GPU lớn hơn. Mỗi phiên bản MIG này có thể được sử dụng bởi các máy ảo riêng lẻ và cấu hình có thể diễn ra nhanh chóng.
Điều này chỉ được hỗ trợ và với các giới hạn phiên bản khác nhau trên một số GPU NVIDIA, nhưng đó là một tính năng mà nhiều độc giả của chúng tôi đang sử dụng ngày nay.
Quản lý iDRAC 9
Một trong những tính năng lớn nhất của PowerEdge R750xa là nó hỗ trợ iDRAC. Đối với những người không biết, iDRAC là giải pháp quản lý của Dell ở cấp độ máy chủ. BMC của nó sau đó được gọi là bộ điều khiển iDRAC. Đối với những người trong hệ sinh thái Dell, bạn có thể biết iDRAC là gì.
Giải pháp iDRAC ở đây chúng tôi sẽ không dành nhiều thời gian cho nó. Nó thực sự tương tự như những gì chúng ta đã thấy trong bài đánh giá Dell EMC PowerEdge R7525 của chúng tôi , chỉ với việc theo dõi GPU và các cấu hình quạt / ổ đĩa khác nhau. Một điểm khác biệt đáng chú ý giữa R750xa và các hệ thống cạnh tranh là nhiều hệ thống GPU được thiết kế để tối đa hóa GPU/$ và hiệu suất/$. Do đó, thông thường các tính năng như hỗ trợ iKVM trên các hệ thống GPU, bên ngoài HPE và Lenovo, có xu hướng được đưa vào. Người ta cần nâng cấp giấy phép để làm điều đó với Dell.
Đối với hầu hết các cửa hàng Dell, lợi ích lớn là có thể quản lý R750xa bằng Open Manage. Đó là cùng một nền tảng quản lý có thể quản lý mọi thứ từ nền tảng lưu trữ Dell EMC PowerEdge XE7100 đến Dell EMC PowerEdge MX , đến Dell EMC PowerEdge C6525 .
Lợi ích chính cho các tổ chức khi sử dụng R750xa là khả năng quản lý giải pháp dựa trên GPU cùng với các máy chủ khác của nó.
Tiếp theo, chúng ta hãy nhìn vào hiệu suất.
Hiệu suất Dell EMC PowerEdge R750xa
Về hiệu suất, trong các hệ thống tăng tốc GPU, đồng bằng lớn nhất có xu hướng đến do năng lượng và khả năng làm mát. Do đó, chúng tôi đã tải vào hệ thống 4 thẻ NVIDIA A100 40GB và hai CPU Intel Xeon Platinum 8380 để xem hệ thống có thể làm mát các thành phần tốt như thế nào và do đó hoạt động như thế nào. Chúng tôi đang sử dụng môi trường xung quanh 27,1C trong lối đi lạnh của trung tâm dữ liệu.
Về hiệu suất của CPU, CPU dường như được làm mát với tốc độ tương đương với máy chủ 2U tiêu chuẩn không có GPU và đó là kết quả lý tưởng.
Về hiệu suất GPU, hiệu suất rất tốt. Điều này có thể là do GPU ở phía trước hệ thống
Mặc dù hiệu suất này là tốt, nhưng nó cũng không thực sự ấn tượng đến mức người ta có thể đạt được điều này qua một hệ thống hộp trắng để thực hiện. Hiệu suất đủ tốt để giữ các cửa hàng Dell ở lại với Dell, nhưng nó không phải là chiếc máy khiến công ty phải chuyển đổi nhà cung cấp.
Tiếp theo, chúng ta sẽ đi đến mức tiêu thụ năng lượng, STH Server Spider và những lời cuối cùng của chúng ta.
iêu thụ điện năng Dell EMC PowerEdge R750xa
Về mức tiêu thụ điện năng, chúng tôi đã chạy ở 27,2C và 208V với bộ nguồn 2,4kW được liệt kê ở trên. Chúng tôi đã thấy công suất tối đa khoảng 2,2 kW trong thử nghiệm của mình, vì vậy rõ ràng người ta cần các bộ nguồn có thông số kỹ thuật cao hơn với hệ thống này. Dưới đây là các tùy chọn PSU của Dell trong R750xa:
Dell có một số phiên bản bao gồm cả tùy chọn DC. Điều hơi khó hiểu là có bao nhiêu tùy chọn trong số này có công suất thấp hơn. Với bốn GPU hiện đại và một GPU sẽ sử dụng CPU tầm trung hoặc cao hơn khi sử dụng trong máy chủ GPU, 1,4 kW không đủ năng lượng để duy trì hệ thống chạy trên một đầu vào nguồn duy nhất cần thiết để duy trì dự phòng.
Nhện máy chủ STH
Trong nửa cuối năm 2018, chúng tôi đã giới thiệu STH Server Spider như một tài liệu tham khảo nhanh về khả năng của hệ thống máy chủ. Mục tiêu của chúng tôi là bắt đầu đưa ra mô tả trực quan nhanh chóng về các loại tham số mà máy chủ được nhắm mục tiêu.
Đây thực sự không phải là hệ thống dày đặc nhất mà chúng tôi đã thử nghiệm về GPU, điều này có thể gây ngạc nhiên ở đây. Lý do là có các hệ thống 10x GPU 4U PCIe cũng như 8x hệ thống dựa trên SXM4 HGX A100 được xây dựng trên nền tảng NVIDIA Delta. Chúng tôi đã thấy các phiên bản làm mát bằng không khí và chất lỏng từ Supermicro cũng như hệ thống làm mát bằng không khí từ Inspur đã là ví dụ. Nếu bạn đang muốn đào tạo AI, thì có khả năng bạn đang sử dụng các hệ thống A100 8x có thể chạy GPU công suất cao hơn và có nhiều băng thông NVLink hơn. Đây gần giống như một máy suy luận AI hoặc có lẽ là một máy chủ HPC, và do đó, được nhìn qua lăng kính đó, nó rất có ý nghĩa.
Từ cuối cùng
Nhìn chung, Dell EMC PowerEdge R750xa là một máy chủ. Nó hoạt động tốt. iDRAC của Dell rất tuyệt. Đó là một yếu tố hình thức hợp lý hơn ở 2U so với C4140 mà nhiều người dùng gặp khó khăn khi cấp nguồn và làm mát trong giá đỡ.
Đồng thời, chúng tôi hơi bối rối về thiết kế của máy chủ này. Mỗi bộ phận đều được chế tạo riêng và đẹp mắt đối với những người trong chúng ta khi xem máy chủ từ nhiều nhà cung cấp trong ngành. Đồng thời, trên thực tế, thiết kế cáp giữa kênh khiến PowerEdge R750xa trở thành hệ thống GPU tồi tệ nhất so với bất kỳ nhà cung cấp nào mà chúng tôi đã thử nghiệm về khả năng bảo trì. Việc phải tháo cáp GPU để thay thế DIMM sẽ tạo thêm cơ hội gây ra sự cố trong kết nối GPU. Ngoài ra, việc có bộ nâng GPU cũng rất tuyệt, nhưng quy trình 9 bước tác động đến các thành phần dọc theo phần lớn chiều dài của máy chủ đã làm mất đi sức hấp dẫn của việc sử dụng bộ nâng cấp ngay từ đầu. Không có máy chủ nào khác trong hơn 100 mô hình trước đây mà chúng tôi đã xem xét nơi chúng tôi xem xét và cân nhắc chi tiết vẻ đẹp của nó, chỉ để nhận ra rằng bộ sưu tập các chi tiết không hoạt động tốt với nhau. Mặt tích cực là các máy chủ thế hệ tiếp theo của Sapphire Rapids sẽ cần một cuộc đại tu hoàn chỉnh cho PCIe Gen5 cũng như các CPU và GPU nóng hơn. Điều đó hy vọng sẽ giúp Dell có thời gian để mua các giải pháp cạnh tranh trên thị trường và học cách thực hiện những việc như không đi dây cáp qua vách ngăn không khí của CPU.
Thị trường thực sự cho các hệ thống này là cơ sở khách hàng của Dell. Đối với những khách hàng đó, giải pháp của Dell dành cho CPU Intel và GPU NVIDIA PCIe có ý nghĩa vì có chi phí chuyển đổi cao khi rời khỏi iDRAC và OpenMange. Hiệu suất tốt và thiết kế của Dell có hai GPU NVLINK được kết nối trên mỗi CPU tốt hơn so với một số GPU trên thị trường. Ngoài ra, BOSS Dell trong thế hệ này là tuyệt vời.
Khi chúng tôi lần đầu tiên có máy chủ này, nó thực sự ấn tượng. Hiệu suất ổn định và iDRAC rất tuyệt. Mãi cho đến khi mở hệ thống và bắt đầu làm việc với nó, chúng tôi mới nhận ra rằng nó sẽ là một thiết bị thô sơ để bảo dưỡng. Dell có tất cả các nhãn và hướng dẫn sử dụng, vì vậy nó rất đơn giản, nhưng số lượng kết nối cần phải ngắt cho các tác vụ đơn giản như thay thế DIMM bị lỗi có vẻ không lý tưởng.
