Thậm chí linh hoạt hơn ở thế hệ thứ hai, Lenovo ThinkSystem SR650 V2 là một máy chủ chính phù hợp lý tưởng cho các ứng dụng lưu trữ đám mây, VDI, HPC, điện toán và doanh nghiệp. Máy chủ 2U, hai ổ cắm này có thể định cấu hình với 40 ổ lưu trữ hoặc tám GPU và 8TB RAM.
Thông số kỹ thuật Lenovo ThinkSystem SR650 V2
SR650 V2 cải thiện đáng kể trên SR650 bằng cách cung cấp công nghệ mới hơn và khả năng mở rộng vượt trội (ví dụ: 40 lõi trên mỗi CPU so với 28, tổng số 32 DIMM so với 24 và 40 khay 2,5 inch so với 26). Mục tiêu của Lenovo là tận dụng tốt hơn từng inch vuông không gian.
Tính linh hoạt ấn tượng của SR650 V2 cho phép máy chủ này được điều chỉnh phù hợp với mọi quy trình công việc. Đối với sức mạnh GPU, nó chứa ba thẻ rộng gấp đôi hoặc tám thẻ đơn rộng. Để lưu trữ thuần túy, nó có thể mở rộng tới 40 ổ đĩa 2,5 inch (24 ổ đĩa trao đổi nóng dọc theo mặt trước, tám ổ đĩa ở giữa và tám ổ đĩa ở phía sau) hoặc 20 ổ đĩa 3,5 inch (12 ổ đĩa trao đổi nóng phía trước, bốn ổ đĩa ở giữa và bốn phía sau). Trong khi đó, hệ điều hành của máy chủ có thể chạy trên hai ổ đĩa M.2 (RAID 1 trên bo mạch) hoặc khoang ổ đĩa phía sau 2,5 inch hỗ trợ RAID, trao đổi nóng.
Các lựa chọn CPU Lenovo ThinkSystem SR650 V2 cũng gây ấn tượng, với một hoặc hai bộ xử lý Intel Xeon Scalable “Ice Lake” thế hệ thứ ba, lên đến 40 lõi và TDP 270W trên mỗi ổ cắm. Mỗi ổ cắm có 16 khe DIMM hỗ trợ tám kênh; bộ nhớ được hỗ trợ tối đa là 8TB sử dụng 256GB 3DS RDIMM. SR650 V2 cũng hỗ trợ Intel Persistent Memory 200 series trong 16 khe cắm DIMM, làm cho nó trở thành một nền tảng cơ sở dữ liệu lý tưởng.
Nếu bạn không cần mở rộng SR650 V2, ThinkSystem SR630 V2 hai ổ cắm của Lenovo cung cấp các tùy chọn bộ xử lý và bộ nhớ giống như SR650 V2 chỉ trong 1U không gian. Nó chỉ phụ thuộc vào mật độ so với mức độ mở rộng mà ứng dụng của bạn yêu cầu.
Để quản lý từ xa, SR650 V2 có Bộ điều khiển XClarity (XCC) tích hợp để quản lý từ xa. Chúng tôi đã tóm tắt các khả năng của XCC trong bài đánh giá SR630 V2 được liên kết ở trên và bài đánh giá ThinkEdge SE450 của chúng tôi . Tóm lại, chúng tôi thấy nó trực quan và giàu tính năng. Ứng dụng XClarity có sẵn cho Android và iOS. SR650 V2 cũng có một cổng USB dành riêng cho thiết bị cầm tay chẩn đoán, hữu ích trong các trung tâm dữ liệu nơi không cho phép sử dụng thiết bị di động. Máy chủ có thể được đặt hàng với màn hình chẩn đoán phía trước nếu bạn sẵn sàng hy sinh các khoang ổ đĩa.
Thông số kỹ thuật đầy đủ của SR650 V2 như sau.
| Các thành phần | Sự chỉ rõ |
| các loại máy |
|
| Yếu tố hình thức | giá đỡ 2U |
| bộ vi xử lý | Một hoặc hai bộ xử lý Intel Xeon Scalable thế hệ thứ ba (trước đây có tên mã là “Ice Lake”). Hỗ trợ bộ xử lý lên tới 40 lõi, tốc độ lõi lên tới 3,6 GHz và xếp hạng TDP lên tới 270W. |
| Chipset | Chipset Intel C621A “Lewisburg”, một phần của nền tảng có tên mã “Whitley” |
| Ký ức | 32 khe cắm DIMM với hai bộ xử lý (16 khe cắm DIMM trên mỗi bộ xử lý). Mỗi bộ xử lý có 8 kênh bộ nhớ, với 2 DIMM trên mỗi kênh (DPC). Lenovo TruDDR4 RDIMM và 3DS RDIMM được hỗ trợ. Các khe cắm DIMM được chia sẻ giữa bộ nhớ hệ thống tiêu chuẩn và bộ nhớ liên tục. DIMM hoạt động ở tần số lên tới 3200 MHz ở 2 DPC. |
| bộ nhớ dai dẳng | Hỗ trợ tối đa 16 mô-đun Intel Optane Persistent Memory 200 Series (8 mô-đun cho mỗi bộ xử lý) được cài đặt trong các khe DIMM. Bộ nhớ liên tục (Pmem) được cài đặt kết hợp với DIMM bộ nhớ hệ thống. |
| Bộ nhớ tối đa | Với RDIMM: Tối đa 8TB bằng cách sử dụng 32x 256GB 3DS RDIMM Với bộ nhớ liên tục: Tối đa 12TB bằng cách sử dụng 16x 256GB 3DS RDIMM và 16x 512GB mô-đun Pmem |
| Bảo vệ bộ nhớ | ECC, SDDC (đối với DIMM bộ nhớ dựa trên x4), ADDDC (đối với DIMM bộ nhớ dựa trên x4, yêu cầu bộ xử lý Bạch kim hoặc Vàng) và phản chiếu bộ nhớ. |
| Khoang ổ đĩa | Lên đến 20 khay ổ đĩa hoán đổi nóng 3,5 inch hoặc 40 x 2,5 inch:
Máy chủ cũng hỗ trợ các ổ đĩa này để khởi động hệ điều hành hoặc lưu trữ ổ đĩa:
Xem các kết hợp khoang ổ đĩa được hỗ trợ để biết chi tiết. |
| Bộ nhớ trong tối đa |
|
| Bộ điều khiển lưu trữ |
|
| Khoang ổ đĩa quang | Không có ổ đĩa quang bên trong |
| Khoang ổ băng | Không có ổ đĩa sao lưu nội bộ |
| Giao diện mạng | Khe cắm OCP 3.0 SFF chuyên dụng với giao diện máy chủ PCIe 4.0 x16. Hỗ trợ nhiều loại bộ điều hợp 2 cổng và 4 cổng với kết nối mạng 1GbE, 10GbE và 25GbE. Có thể tùy ý chia sẻ một cổng với bộ xử lý quản lý Bộ điều khiển XClarity (XCC) để hỗ trợ Wake-on-LAN và NC-SI. |
| Khe cắm PCIe |
|
| hỗ trợ GPU | Hỗ trợ tối đa 8x single-wide GPUs hoặc tối đa 3x double-wide GPUs |
| cổng |
|
| làm mát | 6x (với hai bộ xử lý được cài đặt) hoặc 5x (với một bộ xử lý được cài đặt) quạt trao đổi nóng 60 mm cánh quạt đơn hoặc cánh quạt kép, tùy thuộc vào cấu hình. Quạt dự phòng N+1, chịu được lỗi một cánh quạt. Một quạt tích hợp trong mỗi bộ nguồn. |
| Nguồn cấp | Lên đến hai bộ nguồn AC dự phòng hoán đổi nóng, chứng nhận 80 PLUS Platinum hoặc 80 PLUS Titanium. Các tùy chọn AC 500 W, 750 W, 1100 W và 1800 W, hỗ trợ 220 V AC. Các tùy chọn 500 W, 750 W và 1100 W cũng hỗ trợ nguồn điện đầu vào 110V. Chỉ ở Trung Quốc, tất cả các tùy chọn nguồn điện đều hỗ trợ 240 V DC. Ngoài ra còn có bộ nguồn 1100W với đầu vào -48V DC. |
| Băng hình | Đồ họa G200 với bộ nhớ 16 MB với bộ tăng tốc phần cứng 2D, được tích hợp vào Bộ điều khiển XClarity. Độ phân giải tối đa là 1920×1200 32bpp ở 60Hz. |
| Bộ phận trao đổi nóng | Ổ đĩa, nguồn điện và quạt. |
| quản lý hệ thống | Bảng điều khiển với đèn LED trạng thái. Thiết bị cầm tay chẩn đoán bên ngoài tùy chọn với màn hình LCD. Các kiểu máy có khay ổ đĩa phía trước 8x hoặc 16x 2,5 inch có thể tùy chọn hỗ trợ Bảng chẩn đoán tích hợp. Quản lý nhúng XClarity Controller (XCC), phân phối cơ sở hạ tầng tập trung cho Quản trị viên XClarity, plugin XClarity Integrator và quản lý năng lượng máy chủ tập trung XClarity Energy Manager. Bộ điều khiển XClarity Advanced và Enterprise tùy chọn để kích hoạt các chức năng điều khiển từ xa. |
| tính năng bảo mật | Công tắc xâm nhập khung gầm, Mật khẩu bật nguồn, mật khẩu của quản trị viên, Mô-đun nền tảng đáng tin cậy (TPM), hỗ trợ TPM 2.0. Chỉ ở Trung Quốc, Nationz TPM 2.0 tùy chọn. Khung bảo mật phía trước có thể khóa tùy chọn. |
| Hệ điều hành được hỗ trợ | Máy chủ Microsoft Windows, Red Hat Enterprise Linux, SUSE Linux Enterprise Server, VMware ESXi. Xem phần hỗ trợ hệ điều hành để biết chi tiết cụ thể. |
| bảo hành có giới hạn | Đơn vị khách hàng có thể thay thế ba năm hoặc một năm (tùy thuộc vào kiểu máy) và bảo hành có giới hạn tại chỗ với 9×5 vào ngày làm việc tiếp theo (NBD). |
| Dịch vụ và hỗ trợ | Nâng cấp dịch vụ tùy chọn có sẵn thông qua Dịch vụ Lenovo: thời gian phản hồi 4 giờ hoặc 2 giờ, thời gian sửa lỗi 6 giờ, gia hạn bảo hành 1 năm hoặc 2 năm, hỗ trợ phần mềm cho phần cứng Lenovo và một số ứng dụng của bên thứ ba. |
| kích thước | Chiều rộng: 445 mm (17,5 inch), chiều cao: 87 mm (3,4 inch), chiều sâu: 764 mm (30,1 inch). Xem Thông số kỹ thuật vật lý và điện để biết chi tiết. |
| Cân nặng | Tối đa: 38,8 kg (85,5 lb) |
Bản dựng và thiết kế Lenovo ThinkSystem SR650 V2
Bảng điều khiển phía trước của ThinkSystem SR650 V2 có thể định cấu hình cho ổ đĩa 2,5 inch (8, 16 hoặc 24 khay) hoặc ổ đĩa 3,5 inch (8 hoặc 12 khay). Bảng nối đa năng có thể được chuyển đổi sau khi mua nếu bạn muốn chuyển từ ổ đĩa 2,5 inch sang ổ đĩa 3,5 inch hoặc ngược lại. Ổ đĩa U.3 được hỗ trợ với bộ điều hợp RAID. Máy chủ cũng có thể được đặt hàng mà không cần ổ đĩa. Mô hình đánh giá của chúng tôi có tám khoang 2,5 inch. Loại bỏ ổ đĩa là một công việc không có công cụ; đây là một trong những ổ đĩa Solidigm 2,5 inch trong caddy của nó.
Các cấu hình với ổ đĩa 2,5 inch có thể sử dụng bộ điều khiển RAID tích hợp của SR650 V2, xử lý tối đa 12 ổ đĩa, loại bỏ nhu cầu sử dụng khe cắm mở rộng.
Kết nối bảng điều khiển phía trước bắt đầu với đầu ra VGA và đầu nối chẩn đoán từ xa cho thiết bị cầm tay XClarity của Lenovo, thiết bị đọc dữ liệu từ Bộ điều khiển XClarity (XCC) của máy chủ. Chiếc điện thoại này có hiệu quả về chi phí nếu bạn mua nhiều hơn một máy chủ.
Lenovo cũng cung cấp một màn hình chẩn đoán tích hợp, mặc dù nó yêu cầu hy sinh tám khoang 2,5 inch. Địa chỉ mạng và MAC của XCC nằm trên tab kéo ở cạnh phải của bảng điều khiển phía trước.
Các tính năng ở mặt trước bao gồm đèn báo trạng thái, cổng chẩn đoán USB 2.0 (để kết nối thiết bị di động qua ứng dụng XClarity), cổng USB 3.2 Gen 1 (5Gbps) và nút nguồn. Để bảo mật, Lenovo cung cấp khung bảo mật phía trước có thể khóa.
Kết nối phía sau bao gồm Ethernet 1Gbps cho IPMI, ba cổng USB 3.2 Gen 1 và một VGA khác. Thẻ OCP 3.0 trong thiết bị của chúng tôi, được cố định bằng vít vặn, có bốn cổng Ethernet.
Bộ nguồn dự phòng có thể tráo đổi nóng 1.800 watt là bộ nguồn mạnh nhất có thể được đặt hàng trong máy chủ này. SR650 V2 cũng có thể được đặt hàng với các đơn vị 500-, 750- và 1.100 watt.
Bảo dưỡng SR650 V2 giống như hầu hết các máy chủ, mặc dù Lenovo đã đi xa hơn bằng cách bao gồm các sơ đồ dịch vụ ở nắp trên cùng.
Tháo nắp trên để lộ nội thất gọn gàng, bố trí hợp lý. Để bảo mật, SR650 V2 có một công tắc chống xâm nhập.
Mô hình đánh giá của chúng tôi không có khoang giữa ổ đĩa; chúng sẽ đi dọc theo đường trung tâm và hỗ trợ tám ổ đĩa 2,5 inch, bốn ổ đĩa 3,5 inch hoặc bộ điều hợp M.2. Các ổ đĩa được lắp đặt trong các khoang đó sẽ nhấc ra bằng một tay cầm. Các khoang ổ đĩa giữa sẽ được đặt hàng để triển khai tập trung vào lưu trữ như các trường hợp sử dụng SDS. Các máy chủ được trang bị như vậy sẽ bị giới hạn ở CPU TDP 205 watt do luồng không khí giảm và sẽ không hỗ trợ thẻ bộ điều hợp hoặc GPU có độ dài đầy đủ.
Bộ xử lý Xeon Silver 4314 thế hệ thứ ba kép trong thiết bị này có TDP 135 watt và đứng đầu là các bộ tản nhiệt tiêu chuẩn. Chip TDP cao hơn có thể đi kèm với tản nhiệt lớn hơn; đối với thế hệ này, Lenovo đang cung cấp các bộ tản nhiệt với bộ tản nhiệt phụ mở rộng về phía các quạt ở giữa. Mỗi CPU hỗ trợ tám kênh bộ nhớ thông qua 16 khe cắm DIMM. Các mô-đun Intel Persistent Memory Series 200 được hỗ trợ.
Điểm dừng cuối cùng của chúng tôi là các khe cắm mở rộng. SR650 V2 có tám khe cắm PCIe cộng với một OCP 3.0 SFF, tất cả đều là PCIe 4.0. Ba GPU góc rộng kép, chẳng hạn như Nvidia A100 hoặc tám GPU góc rộng đơn, chẳng hạn như Nvidia T4, được hỗ trợ.
Các khe cắm mở rộng có thể được trao đổi để lưu trữ; tám chiếc 2,5 inch hoặc bốn chiếc 3,5 inch có thể vừa với các khoang phía sau. Bạn cũng có thể chọn một cặp ổ đĩa khởi động hoán đổi nóng 2,5 inch/7mm, hỗ trợ RAID 1. SR650 V2 cũng có hai khe cắm ổ đĩa khởi động M.2 bên trong.
Hiệu suất Lenovo ThinkSystem SR650 V2
Chúng tôi đang thử nghiệm ThinkSystem SR650 V2 với phần cứng sau:
- 2 CPU Intel Xeon Silver 4314 (Mỗi CPU 16 nhân/32 luồng, cơ sở 2,4 GHz, Turbo 3,2 GHz, bộ nhớ cache 24 MB, TDP 135 W)
- RAM 256GB (16x16GB)
- Bộ nguồn 750W
- 6 ổ Solidigm P5520 7.68TB Gen4 trong JBOD
Phân tích khối lượng công việc của VDBench
Khi nói đến đo điểm chuẩn cho các thiết bị lưu trữ, thử nghiệm ứng dụng là tốt nhất và thử nghiệm tổng hợp đứng ở vị trí thứ hai. Mặc dù không phải là đại diện hoàn hảo cho khối lượng công việc thực tế, nhưng các thử nghiệm tổng hợp giúp thiết bị lưu trữ cơ bản có hệ số lặp lại giúp dễ dàng so sánh giữa các giải pháp cạnh tranh với nhau.
Các khối lượng công việc này cung cấp nhiều cấu hình thử nghiệm khác nhau, từ thử nghiệm “bốn góc”, thử nghiệm kích thước truyền cơ sở dữ liệu chung, cũng như ghi lại dấu vết từ các môi trường VDI khác nhau. Tất cả các thử nghiệm này đều tận dụng trình tạo khối lượng công việc vdBench chung, với một công cụ tạo tập lệnh để tự động hóa và thu thập kết quả trên một cụm thử nghiệm điện toán lớn. Điều này cho phép chúng tôi lặp lại cùng một khối lượng công việc trên nhiều loại thiết bị lưu trữ, bao gồm mảng flash và thiết bị lưu trữ riêng lẻ.
hồ sơ:
- Đọc ngẫu nhiên 4K: Đọc 100%, 128 luồng, iorate 0-120%
- Ghi ngẫu nhiên 4K: Ghi 100%, 128 luồng, iorate 0-120%
- Đọc tuần tự 64K: Đọc 100%, 32 luồng, iorate 0-120%
- Ghi tuần tự 64K: Ghi 100%, 16 luồng, iorate 0-120%
- Cơ sở dữ liệu tổng hợp: SQL và Oracle
- Bản sao đầy đủ VDI và Dấu vết bản sao được liên kết
Thử nghiệm đầu tiên của chúng tôi, Đọc ngẫu nhiên 4K, cho thấy SR650 V2 cho kết quả tốt khi thử nghiệm chỉ với sáu ổ Gen4. Độ trễ dưới 100µs trong hầu hết thời gian thử nghiệm; con số cuối cùng chỉ là hơn 5,7 triệu IOPS ở 126µs.
Các con số 4K Viết ngẫu nhiên kém ấn tượng hơn, với mức tăng đột biến lớn trong khoảng hai triệu IOPS. Con số cao nhất là 2,79 triệu IOPS ở 168µs, mặc dù trước khi tăng đột biến, nó đã đạt được 2,59 triệu IOPS ở dưới 100µs.
Kết quả Mixed 70-30 4K hiển thị một đường cong tương tự như Random Read 4K. Độ trễ thấp; SR650 V2 đạt 3,18 triệu IOPS ở 115µs.
Tiếp theo là các bài kiểm tra tuần tự 64K của chúng tôi. Bắt đầu với Read, SR650 V2 duy trì đường truyền đều đặn, ổn định và hoạt động tốt như mong đợi với cấu hình của chúng tôi. Con số cao nhất là 30.320MB/s ở tốc độ 392µs.
SR650 V2 tăng đột biến trong bài kiểm tra viết về cuối, không phải hành vi bất thường. Mặt khác, nó duy trì độ trễ thấp, đạt mức cao nhất là 12.779 MB/giây ở tốc độ 112µs trước khi tăng đột biến.
Tiếp theo là các bài kiểm tra SQL của chúng tôi. SR650 V2 trông rất đẹp trong Khối lượng công việc SQL; độ trễ ở mức hoặc chỉ trên 100µs trong suốt quá trình. Con số cuối cùng của nó là 1,79 triệu IOPS chỉ với 105µs.
SR650 V2 tiếp tục hoạt động ổn định trong SQL 90-10, đạt được 1,67 triệu IOPS ở 110µs.
Câu chuyện tương tự trong SQL 80-20; con số cao nhất của SR650 V2 là 1,56 triệu IOPS ở 118µs.
Thử nghiệm Oracle là tiếp theo. Bắt đầu với Oracle Workload, SR650 V2 tiếp tục tối đa hóa sáu ổ NVMe của nó, duy trì ở mức dưới 100µs cho đến khoảng 600.000 IOPS, sau đó đạt đỉnh 1,51 triệu IOPS ở 121µs.
SR650 V2 thậm chí còn làm tốt hơn trong Oracle 90-10, luôn ở dưới hoặc gần 100µs. Nó hoàn thành với 1,25 triệu IOPS ở tốc độ 102µs.
Cuối cùng trong các bài kiểm tra cơ sở dữ liệu là Oracle 80-20. Đường cong phản chiếu những đường cong trong các bài kiểm tra khác của Oracle. Con số cao nhất của SR650 V2 là 1,2 triệu IOPS ở 105µs.
Chuỗi thử nghiệm cuối cùng của chúng tôi là VDI Full Clone (FC) và Linked Clone (LC). Trong VDI FC Boot, SR650 V2 hoạt động tốt trừ một chút thiếu ổn định ở giai đoạn cuối. Độ trễ thường dưới 120µs; con số cao nhất là 1,46 triệu IOPS ở 130µs.
SR650 V2 cũng cho thấy một số điểm không ổn định ở đuôi trong bài kiểm tra Đăng nhập ban đầu của VDI FC, mặc dù không có gì lạ đối với bài kiểm tra này. Nó đạt được 540.226 IOPS ở 135µs trước khi mất ổn định, kết thúc ở 667.928 IOPS ở 199µs.
SR650 V2 trông đẹp hơn trong bài kiểm tra VDI FC vừa qua, Đăng nhập vào Thứ Hai. Nó đạt đỉnh 484.279 IOPS ở tốc độ 157µs. Bạn sẽ cần nhiều ổ đĩa hơn để có IOPS cao hơn.
Chuyển sang các thử nghiệm LC, SR650 V2 cho thấy một đường cong dễ đoán trong VDI LC Boot, kết thúc ở 444.657 IOPS ở 183µs.
SR650 V2 không có đường cong mượt mà như vậy khi Đăng nhập lần đầu. Nó đã kết thúc bài kiểm tra ở mức 250.744 IOPS ở 146µs.
Cuối cùng là Thứ Hai Đăng nhập; SR650 V2 cũng hoạt động tốt ở đây, đạt 368.856 IOPS ở 207µs. Sự bất ổn nhỏ ở cuối không phải là bất thường. Một lần nữa, nhiều ổ đĩa hơn sẽ mang lại kết quả tốt hơn.
Phần kết luận
ThinkSystem SR650 V2 của Lenovo linh hoạt như một máy chủ 2U, hai ổ cắm. Nó có khả năng cấu hình cao từ nhà máy và có thể được cấu hình lại sau khi mua nếu nhu cầu của bạn thay đổi.
Các điểm nổi bật của máy chủ bao gồm hai CPU Intel Xeon Scalable thế hệ thứ ba, với TDP lên đến 270W và tám kênh bộ nhớ trên 16 DIMM trên mỗi ổ cắm; Hỗ trợ bộ nhớ liên tục Intel dòng 200; và hỗ trợ ba GPU hai chiều hoặc tám GPU đơn. Các cấu hình nặng về lưu trữ có thể chứa tới 40 ổ 2,5 inch hoặc 20 ổ 3,5 inch. Nó cũng có thể là một máy chủ tính toán và lưu trữ kết hợp. Hỗ trợ quản lý từ xa đến từ Bộ điều khiển XClarity mạnh mẽ, cung cấp nhiều cách để quản lý, bao gồm cả ứng dụng dành cho thiết bị di động.
Máy chủ đánh giá của chúng tôi hoạt động tốt như chúng tôi mong đợi. Các con số từ máy chủ thử nghiệm của chúng tôi, được trang bị hai CPU Xeon Silver 4314 và sáu ổ SSD Solidigm P5520 7,68TB, bao gồm 5,7 triệu IOPS ở chế độ đọc ngẫu nhiên 4K; 30,312MB/s khi đọc tuần tự 64K; 12.779MB/s trong ghi tuần tự 64K; 1,79 triệu IOPS trong khối lượng công việc SQL; và 1,51 triệu IOPS trong Khối lượng công việc của Oracle. Nó cho thấy hiệu suất ổn định và độ trễ thấp xuyên suốt.
Tất cả đã nói, SR650 V2 là một máy chủ 2U, hai ổ cắm mạnh mẽ, với nhiều hứa hẹn cho việc triển khai linh hoạt. Trên thực tế, nó linh hoạt hơn về cấu hình so với hầu hết các loại khác trong lớp này, điều này khiến nó rất phù hợp với các giải pháp do phần mềm xác định.
Trụ sở Hà Nội:
Hotline: 0979 83 84 84Tel: 024 6296 664
kinhdoanhhn@maychuhanoi.vn
Website: maychuhanoi.vnChi nhánh HCM:Hotline: 0945 92 96 96Tel: 028 2244 9399kinhdoanhhcm@maychuhanoi.vnWebsite: maychuhanoi.vn
