注册 登录
微网社区 返回首页

八云的个人空间 https://www.mwtee.com/?4848 [收藏] [复制] [分享] [RSS]

日志

服务器与工作站调研情况

热度 1已有 875 次阅读2016-3-20 11:03 |系统分类:职场人生| 服务器, 稳定性, 工作站, Intel, 财务

调研的目的主要在于,在相同的价位下买到性能更优、同时保证稳定性的仿真机。包括以怎样的方式来使用仿真机,比如,是否有必要增加CPU数(考虑到有些软件不支持GPU加速)?采用分布式计算架构、MPI方式、服务器分配资源的方式,亦或是组合方式?GPU及其它组件是否预留升级插槽?多大内存可与CPU和GPU型号匹配?等等。

下面是与吉普讯公司陈经理半年前沟通的邮件。大致配置及报价为:ESC8000 G3 + 2*Intel E5-2630v3 + 4*16GB DDR4 + 2*K80 + 1*240GB SSD 2*2TB/2.5吋/SATA硬盘 = 128,000 元,建议内存至少在128GB以上。



————————————
周先生您好,

万分抱歉,近来公司因财务休产假、另一个技术人员生病,加上项目多(每年年底都是如此),所以忙碌得过头了,再次抱歉。

关于 GPU 计算的应用,首先想了解的几个部分,如下:
1. 目前需要的系统,是纯粹做尝试性的开发、算法验证的阶段?还是希望一次到位,考虑为了海量计算的状况?
    A.如果实在前期阶段的话,建议您考虑 ”桌面级工作站“ (如下图),
     
        - 这种工作站级别的系统,通常为了符合办公室/实验室的使用,因此多具备”静音“功能,当然最高配置(如内存槽位)会相对低一些。
        - 此类系统能装载 GPU 数量,从 1~4 片都有,数量主要受到 PCIE x16 数量、电源瓦数、以及内部空间的限制。
        - 初期使用时,推荐以 ”两片GPU计算卡“ 为宜,直接进入 ”多GPU“ 应用习惯,太多 GPU 卡的实际意义较小。
        - 系统散热能力会直接影响到整机稳定性,因为 GPU 计算卡发热量大,所以不推荐用 DIY 系统,最好选择品牌机,如 HP/Dell/ASUS 等
    B. 如果真的要计算量大的话,需要用到 4 片(或以上)的 GPU 计算卡时,则推荐选择机架式的GPU服务器(如下图):
     
        - 这种设备的缺点,就是噪音大(风扇多),但散热性更强,所以适合高级算密度的使用
        - 这种设备通常都具备 iKVM 远程完全管理的能力,所以即便系统不在座位旁边(通常会放在机房里面),
            但透过 iKVM 功能,您可以直接在笔记电脑、台式电脑上,透过浏览器 100% 操作这种系统,十分便利
        - 此外,这类系统的内存扩充量大(通常都有两个 CPU、16 ~24 个内存槽位,支持单根 16GB 内存)

    所以首先请先考虑系统要放在什么地方使用?以及目前使用的程度如何?

2. GPU卡选型与数量:
    A. 如果使用商业软件(如 ANSYS、Matlab、Amber之类),请先确认这些软件是否支持 GPU 计算?如果支持的话,支持数量有多少?
    B. 如果是自行写代码开发应用的话,则支持 GPU 数量可以自行决定,
    C. 种类选择:
        - 以目前 NVIDIA 计算卡的种类来看,主流的 K40C/M、K80M 等都是现在比较合适的,先前的 K20、K10 已将退市。
        - 如果数据量庞大,则”带宽“对性能的影响极为明显,这种状况下,推荐选择高显存、高带宽(如 K80),
        - 如果数据量不是特别大,则 K40 已经足也应付
        -  工作站选择主动式卡种(带风扇,如下图左)、机架服务器选择被动散热卡种(无风扇,如下图右)
              
    以上作为 GPU 选型的主要参考依据

3. 系统参考价格:
    A、以工作站级别:
        - 如果配置 1~2 片 GPU 卡,则选择单CPU系统即可,内存配置 16 ~ 32 GB 为宜,电源大约 700W 左右足够,
            以上配置以华硕 ESC700 G3 与 两片 K40C 计算卡为例:
                ESC700 G3 + 1*Intel E5-1620v3 + 2*K40C + 32GB 内存 + 1*240GB SSD + 1* 2TB SATA HDD 价格大约在 65,000 元左右
        - 如果配置 3~4 片 GPU 卡,则通常需要双CPU系统,内存配置 64GB、电源大约 1300W以上
            以上配置以华硕 ESC2000 G3 与 四片 K40C 计算卡为例:
                ESC2000 G3 + 2*Intel E5-2620v3 + 4*K40C + 64GB 内存 + 1*240GB SSD + 1* 2TB SATA HDD 价格大约在 130,000 元左右
    B、以服务器级别:通常为双CPU系统、具备搭载 4~8 片GPU卡能力
        - 四片GPU承载能力:华硕 ESC4000 G3 + 2*Intel E5-2630v3 + 64GB 内存 + 4*K40M (先不计算硬盘成本)约为 144,000 元左右
        - 八片GPU承载能力:华硕 ESC8000 G3 + 2*Intel E5-2630v3 + 64GB 内存 + 8*K40M (先不计算硬盘成本)约为 253,000 元左右
    C. 计算密度越大(但系统装载的 GPU 数量越多),其总体性价比越好。

提供以上材料给您作为初步的参考基础。

感谢您的支持
陈泳翰/吉浦迅科技
————————————————————
陈经理:

        你好。
        你讲了三个部分。我对这三个部分的意见如下:
        1.  “桌面级工作站”和机架式GPU服务器,我倾向于后者。但是我有这样一个问题,如果配置相同的情况下,这两种架构的报价谁高谁低,有多大差距?
        2. 关于GPU的数量,我们之前用的电磁仿真软件CST可支持两块K20c,为了不占用更多的插槽,以便未来有剩余的插槽供升级,我希望GPU为两块,型号为K80,至少留出两个插槽。关于散热,如果K80有主动散热就选择主动散热。这里也有一个问题,同一个主板插不同型号的GPU(比如K40和K80各一块),能同时使用吗?
        3. 由于目前可支出的经费受限,所以采取分阶段升级的方式,为此,要预留升级空间,我想知道这个配置的价位:华硕 ESC8000 G3 + 2*Intel E5-2630v3 + 64GB 内存(16GB ddr4 * 4) + 2*K80 + 1*240GB SSD + 1* 4TB SATA HDD =?

        如果我的想法有不合理之处,敬请指教。

周恒



1. 在相同配置下,服务器的价格会比工作站高 6000 元左右,主要使系统本身使用的主板以及电源(服务器都是冗余电源)
2. K80 目前没有主动散热的版本,只有被动散热,而且功耗高,必须配合服务器使用。
3. 系统内同时装载 K40、K80、K20甚至老旧的 M2090/M2070。。都是可以正常工作,驱动也不会冲突,
    唯一的考量点,就是不同型号的卡提供不同计算性能,如果均匀分配工作量,则性能会被较差的计算卡所影响,如此而已
4.华硕 ESC8000 G3 是可以装 8 张计算卡的,是目前最顶级的旗舰产品;ESC4000 G3 能装 4 张计算卡,两台系统有将近 15000 的价差,
    此外有个小细节:ESC8000G3 由于要在 3U 空间内保留给 8 张卡的散热通道,所以存储部分配置的是 2.5" 硬盘槽位,目前没有单片 4T 容量
    根据您的配置 ESC8000 G3 + 2*Intel E5-2630v3 + 4*16GB DDR4 + 2*K80 + 1*240GB SSD 2*2TB/2.5吋/SATA硬盘 = 128,000 元
              如果用 ESC4000 G3 + 2*Intel E5-2630v3 + 4*16GB DDR4 + 2*K80 + 1*240GB SSD 1*4TB/2.5吋/SATA硬盘 = 113,000 元
————————————————————
陈经理:

你好。
这里还有几个问题,如下:

1. 冗余电源是为了防停电吗?
2. K80功耗高,自身却是被动散热,那么机架式服务器有外部(相对于K80自身而言)的散热方案吗?你说该服务器ESC8000 G3留给8张卡散热通道,每张卡的通道是独立的还是共用的,机架会在每个通道配风扇或水冷吗?如果没有K80不配风扇,那么机架式服务器的噪音源于哪里?
3. ESC8000 G3和ESC4000 G3除了计算卡插槽数量的差别和硬盘槽位的差别,还有什么差别,以至于有15000的价差?
4. ESC8000 G3有几个CPU插槽?几个DDR4内存插槽?
5. 处理器Intel E5-2630v3、16GB/DDR4内存和2.5寸2TB/SATA硬盘的单价多少?
6. 服务器允许其它电脑分别访问,如何分配计算资源,这个远程访问系统架构是你们来搭建吗?



1. 所有的冗余都是为了防止某个电器元件失效而导致系统不能正常工作。
    服务器的设计多半为了长时间(甚至到全年无休工作的地步)运算,其中硬盘、电源、风扇等属于“带机械元件”的设备,因此这三个部分多半会有冗余设计
    其中电源的冗余方式,便是增加一个“备用电源”:一则防止工作电源失效,另一个电源可以瞬间启动,维持系统正常运作;二则平时可以做负载均衡,延长寿命。
    硬盘方面的冗余,就是使用 RAID 方式,对多个硬盘做 RAID 0,1,10,50 等不同级别的冗余保护,避免因为一块硬盘的坏轨而导致系统崩溃或数据全毁的严重问题。

    至于防止停电的问题,是由另一种叫做 UPS 的“不断电系统”负责,是另一种独立的 “稳压、大容量电池” 的设备,服务器里面并不具备防止断电的功能。

2. 很多人认为带风扇的比不带风扇的散热性更好,其实这是种误解:
    - 散热是个非常专业的领域,肉眼是看不到 ”热导路线“
    - 主动散热或被动散热,主要根据搭载的系统是服务器 or 工作站而异,因为热导体系完全不同,没有哪个好、哪个不好的问题。
    - K80 与两年前的 K10 同属 ”双GPU芯片“ 种类(如下图),对两个 GPU 芯片都要均匀散热。如果采用主动风扇的话,则没有足够空间放置风扇
         (被动式风道:右进左出、或者左进右出)       (主动式风道:由下而上出)
        单 GPU 卡种会利用 ”无芯片“的那一侧安置风扇,但双 GPU 芯片卡种则没有足够的空间放置。这是其一
        其二,服务器的设计,内部最少有 7 个以上不同大小的强力风扇,确保能将内部的热导出系统内部(如下图),这是服务器最主要的噪音来源
         
        而工作站的设计,内部通常只有 1~2 个静音风扇,动力远远不如服务器系统,GPU卡上的风扇主要将卡内的热引导至系统风扇处,再导引至系统外部(共两段式),
        
3. ESC8000G3 是 3U尺寸/8GPU 系统,比 ESC4000 G3 的 2U尺寸/4GPU 系统的密度更高,使用的主板也不同、内部的散热设计更加严苛,包括电源供应器更多。。。等等因素,
        当然,成本高还有一个更重要原因,ESC4000G3 出货量比 ESC8000 G3 高十几倍,出货量大会压低成本系统单一成本,这是主要原因之一。
        因此,除非确认需要到八张卡计算需求,否则我们通常推荐用 ESC4000 G3 已经足够的。
              
        ESC8000G3 对每片GPU都提供专属导风罩(蓝色框起部分),确保每片卡的散热是均匀的,
        此外,ESC8000G3 将 CPU 风道、GPU 风道、硬盘风道各自分离,内部总共有 20 个大小不同的风扇

4. ESC8000 G3 共有 (8+1) 个 PCIE Gen3 16x 槽位,其中八个留给标准计算卡,另一个预留给 IB 网或 硬件RAID卡扩充,
    ESC8000 G3 内存槽位是 24个、ESC4000G3 内存槽位是 16个,

5. 我们无法提供 CPU、内存的单价,因为这种系统不是 DIY 形式的。
    华硕与我们提供三年免费上门服务(如同买车带三年保险),这种服务目前只有 HP/Dell/IBM/ASUS/联想 等知名大厂能够提供,华硕在中国区有 300+ 服务网点。
    市场上有许多集成商也宣称能提供 "三年质保”,但如果您深入问清楚,其三年质保的内容有哪些?就能知道服务上会有多大差异。
        - 三年内任何元件问题是包修还是包换?
        - 机器是寄回给供应商修?还是原厂技术人员免费上门服务?
    华硕的系统提供的是“三年免费上门、元件问题全部换新”,如同买新车带三年车险的概念差不多。所以这方面必须先把服务成本计算进去,

    当然您也可以选择采购最低配置,然后自行到市场上采购 CPU、内存等元件自行组装,不过这会影响售后问题。

6. 服务器部分,如果是装 Liunx 系统(推荐用 CentOS),则可以同时多人透过 ssh 访问使用。
    分配计算资源的部分,有个软件叫 OpenPBS 是做任务调度管理的工具,是比较成熟来协调多人使用的资源管理,
    这些远程访问的部分,我们都可以为您搭建。
————————————————————


路过

雷人
1

握手

鲜花

鸡蛋

刚表态过的朋友 (1 人)

发表评论 评论 (1 个评论)

回复 00d44 2016-12-6 07:39
不错能

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 注册

客服中心 搜索

QQ|友情链接|小黑屋|手机无线|微网社区 ( 蜀ICP备09016811号 )

GMT+8, 2020-11-25 21:10 , Processed in 0.078125 second(s), 18 queries .

Powered by Discuz! X3.4

Copyright © 2008-2020 Design: Comiis.Com

返回顶部