【补档】负担得起的服务器主板
本帖最后由 nighttob 于 2014-7-29 23:42 编辑
此帖为本人补档，内容经过合并整理并修改，故与原帖不同。
这是我的“家庭服务器补完计划”的硬件部分，本文里主要是谈这块板子，顺带提及一些服务器的事。
（软件篇，完成篇）
这块板子已经被我觊觎了快2年了，最近才入手。迟疑这么久是因为一直有很多顾虑，事实证明这些顾虑都是现实的，而且还有些意想不到的问题。
因为刚入手没几天，所以在这里只是一个上手体验。
一、主板概况
首先来个开箱照（都是手机照的），顺便简单介绍一下这块板子。
Intel S1200BTL，标准ATX版型，C204芯片组，支持SNB/IVB这两代Xeon E3系列、i3系列、奔腾和赛扬系列，仅支持非缓冲ECC内存（最大内存频率取决于CPU），具备BMC和板载PCI显卡（128MB专用内存，其中8MB用于显卡），支持TPM模块（插针）。其他的下面配图说。
盒子外面就不说了，服务器板子的包装很素，侧面有型号、序列号、部件号等等的贴纸。
打开盒子里面就是这些东西，当然内存是卖家发货时候一起塞里面的，买板子当然不可能送内存。然后就是一块挡板、一张管理工具盘、两条SATA线（没有铁扣）、一张A2幅的快速安装说明(QIG)、一份声明清单还有一个贴在挡板上的不干胶贴纸标签。值得一说的就是这块挡板真是够沉，这一块的分量有我摸过其他消费级的至少5倍沉。QIG是全彩印刷的，但是上面没写前面板(FrontPanel)的插法，因为服务器主板是按照SSI标准设计的，有SSI标准化的前面板接口/插针，对拿到一般塔式机箱里用的来说就得翻说明书自己看详细定义了，这个后面会说到。
下面一层放着主板，装在防静电袋里，由一张不干胶贴纸封着。
主板本体就长这样，可以看到布局跟消费级主板还是有不少差异的，比如CPU和内存槽方向、ATX24pin位置、电容电感用料、还有插针和跳线等等。不明白的话想想服务器都是机架式的，一排暴力扇从前吹到后就明白了。ATX24pin放在靠上的位置也是机架式考虑，因为电源就在旁边，或者说是传统ATX塔箱的电源上置，对于现在电源下置的机箱来说，走线距离就有点长了。至于电容电感这些嘛，服务器板子上见全固态是比较难的，本来这些用料就是足够的，能在7x24的高密度环境运行3年的料肯定不会差，而且这玩意没人会盯着看，不像消费级“上档次”至少要装点点门面啥的，没个全固态连最起码的噱头都没有。插针和跳线就很复杂了，很多都是服务器功能用到的，不看说明书很难能一眼就知道是做什么用的，而且我基本也用不到。
扩展方面，4条PCIe，从上到下实际带宽分别是x8(CPU), x4(CPU), x4(CPU), x4(PCH)，前三条PCIe版本取决于CPU；1条原生PCI，5v 32bit 33MHz。跟桌面主板一样2个SATA 6Gbps和4个3Gbps，在RST RAID模式下支持RAID 0/1/5/10，在ESRT2模式下支持RAID 0/1/10。5个4pin(PWM)风扇插口，其中一个为CPU风扇。1个RoC模组接口，用来插RAID模块的，使用的是另外一组CPU来的x4 lans。还有USB插针、串口插针这些不说了。
背板也很简单，一个串口、一个板载显卡出来的VGA、四个USB2.0和两个RJ-45。因为是双网卡，左侧那个口是82574L，是“独立的”，连接着BMC；右边的那个口是82579LM，是个PHY。在串口左侧有一排共10个LED灯，用作状态指示和debug用，最左边两个是状态灯，中间两组4个的就相当于消费级主板上的DEBUG LED，因为机架式服务器不可能让你开机箱盖看，因此就做在背板上了，这也是很巧妙的做法，当然在塔式机箱上就未必好用了。
没有声卡，服务器有蜂鸣器就OK了，不需要音频输出。
BMC芯片，左边的是BMC专用内存，128MB，其中8MB给集显用。集显完全没有3D功能，支持最大分辨率1600 x 1200@52Hz 32bit色深。
主板的大概就说到这儿，这上面我不认识的芯片太多，原件用料我也不熟就略过了。
之前的描述不好理解的话，看框图就明白了。
二、准备阶段
然后说为什么选这块板子。
第一，这是Intel的……不是因为我是I饭，主要是Intel原厂板子的兼容性更佳、扩展性强、功能丰富（能不能用到是另外一回事）。
有过折腾虚拟机，特别是ESXi经验的同学肯定都知道，消费级板子上各种“杂牌”（包括但不限于Realtek、Qualcomm Atheros）网卡驱动问题十分捉急，虚拟机方案都是推荐Intel和BCM网卡。当然我们可以插独立网卡，但这要再买不是么，既然板子上有那就要利用起来。
因为日后可能会上硬RAID卡，所以这方面的兼容性也要考虑到。当然现今的硬卡并不太挑板子，除非是OEM型号。这也涉及到一个PCIe插槽够不够用的问题，也就是扩展性。S1200BTL这块板子是x8+x4+x4+x4布局，还有另外一个x4是给RoC模块准备的，也就是完整的CPU 16(20)lans+PCH 4lans。而消费级板子如果这么分配PCIe lans的话，价格就要高出不少了，而且对服务器来说，PCIe切换开关和PLX桥接是不必要的。在花多少钱干多少事这个衡量标准上，这块板子显然更优。
既然是服务器板子，那么相应的管理功能都是具备的，就包括IPMI(Intelligent Platform Management Interface)。IPMI是一套独立于系统硬件的管理设备，能在系统启动前和系统运行中对系统进行监控和管理，而且这个管理不限于本地，也是可以通过RJ-45进行远程管理的，比如KVM和USB重定向功能。这在服务器上是常见或者必备功能，当然自己家用这方面的需求就小得多。除了IPMI，BIOS的项目也比一般消费级板子多，当然涉及到超频的就没有了。（IPMI部分内容见后面补充）
第二，ECC内存支持。
对服务器来说ECC内存是必要的，但对个人用来说就未必了。对存储的好处来说就是能最大程度避免写入进盘的数据因为内存错误导致数据损坏。这种数据损坏是静默的，除非再次读取检查，否则很难直接发现。像我们超频，特别是超内存，如果不稳定突然蓝屏了，重启以后进不去系统，就是内存出错，写入进盘的数据损坏，然后系统崩了。当然默认用的话，内存不太容易出错，但内存使用率高，开机时间长还是有可能出错的。而服务器都是7x24长时间运行，这就需要ECC内存做保障。对家用来说，ECC作用并不显著，毕竟内存出错率是比较低的。至于纠结于此的人，我只能说如果你意识到这一层面，而且觉得有必要的话，那就上ECC，值与不值就看你对数据的重视程度了。
第三，现有资源最大化利用。
主板上最关键的东西就是CPU，因为手里有个E3-1230v2，配给服务器用更合适。本来想给E3这匹马配的鞍就是这块板子，因为顾虑一些问题所以换成了E3+Z77这样一个“另类”配置，现在准备充足了就可以实现计划了。
接着说说我之前的顾虑。
上面说过E3配普通主板是“另类”，但我为什么不一开始就选这块板子呢？我是把前期工作尽量做足那种类型的，在选板子的时候我把几个备选方案的说明书都看过了，各种配置和功能的情况都有了解。
最开始没选择这块板子的原因：
1 没有集成声卡。服务器当然不会集成声卡的。工作站主板会有集成，而且还会有核显输出，比如华硕P8B-WS。想解决声卡这个问题也并不困难，买个PCI声卡就完了，或者用独显HDMI直接输出。但这块板子的PCIe插槽总是有限的，而且并没有x1的槽可以给这些低速设备用，全插x4上，那一共也没法插几个，何况性能级独显一个就要霸占两条的位置。其实这也是服务器主板和桌面主板设计上的区别，服务器上很少有用PCIe x1的设备，想给日用主机配备服务器主板，在这方面就会受到限制。
2 BIOS设置上的陷阱。这是通过阅读说明书发现的。消费级主板是从易用出发的，而服务器主板是从可靠可用出发的，两者的设计思路不同，给最终用户的使用就会带来区别。最直观的一点就是桌面主板绝大部分都是图形化UEFI BIOS界面了，而服务器板子依然是蓝底白字，当然这也是UEFI BIOS。由于有IPMI，所以有一部分功能的实现与消费级主板有较大差异。举个例子就是，桌面主板上调风扇转速可以直接在BIOS里面设置好，并且可以在图形化BIOS里面看到，而在S1200BTL这块板子上是没有风扇转速选项的，主板有自己的一套策略(FRU/SDR)，甚至限制在只有CPU风扇接通的情况下强制满转速，风扇转速也需要通过IPMI的途径获得。
3 软件上的限制。硬件只是平台，要使硬件发挥作用还要靠运行的操作系统和软件。服务器板子不会明确写对客户端系统（比如Win7、Win8这样的）的支持，所有的配套软件都写支持Windows Server。虽然说即使是日常使用，用Windows Server也是完全没问题的，需要自己进行设置和修改很多东西。但这明显要多费不少劲，在不是当服务器用的情况下，我觉得并不合算。
综合这些顾虑，2年前还是没买这块板子。
三、实装阶段
不得不说我买的这个时段很糟糕（1月20日下单），毕竟没几天就春节了，这也算是赶最后一班车。虽然有不少网购经验，但大家都知道临近长假，如果货一切正常那么都好说，如果被DOA光环笼罩，那真是可以郁闷一整个假期，我这回就算遇到了。
问题是什么呢，一条内存是坏的。ECC内存可以在运行中保证数据不出错，但没法办保证自己不会坏。等我发现是内存坏的时候，卖家都回老家了，但是已经答应节后马上给售后了。好在只是坏了一条内存，只有一条也能用。（过完节，卖家也把DOA的内存给换新了）
非缓冲ECC内存条比普通内存条多了一个颗粒，这个颗粒就是用来做校验用。非缓冲ECC内存条可以在桌面主板上用，但普通内存条不一定能在要求使用ECC内存的主板上用。图中下面那条内存是坏的那条。
这次升级服务器一共买了4样东西，S1200BTL这块主板、两条4G ECC内存、一块亮机卡 HD6450、还有一条PCIe延长线。为什么要有亮机卡，这是因为我需要服务器有3D能力，而BMC里面的集显是不行的。更重要的是主板上没有声卡，要靠亮机卡的HDMI输出提供声音。正好接服务器用的显示器是有HDMI输入的，而且有内置喇叭，这样一条HDMI就解决全部问题了。至于说延长线，这也是给亮机卡准备的。显然对于亮机卡来说占用x16的槽位十分浪费，不如留给阵列卡用，另外也附带测试接口和带宽兼容性，测试表明显卡和阵列卡在x8和x4模式下都能正常工作，阵列卡跑在x4模式下也并没有损失性能。所以目前就是没用延长线，两张卡都直接插在插槽里。
还是要说一下亮机卡，因为是做了要用延长线的准备，而且不能让显卡占用太多空间，所以就选择了一个半高单槽的卡，正好有很多6450很合适，就随便挑了一张。显卡的性能并不是主要诉求，最重要的功能是HDMI视频和音频输出，所以并没有选择更高端的，也用不到更高端的。
HD 6450亮机卡，另外要了一套半高用的挡板。其实还可以选择更低端一点的。
装机过程就跟通常一样，除了某些接口的位置不同，需要重新走线以外。这里需要说的一点就是前面板的接法，之前说过服务器主板遵循SSI标准，但QIG上并不告诉你哪个pin是怎么定义的，这就要查说明书了。
稍微解释一下，因为文字表达跟咱们通常见的桌面主板并不一样。pin11和pin 15比较容易认，一个是开机键，一个是重启键，旁边pin13/17是它们的GND。然后pin5和pin9就是电源指示灯和硬盘活动指示灯（的负极），旁边两个P3V3是它们的正极。如果细心的话会发现，咱们手里机箱的前面板插头只有电源指示灯是两个分开的，原因就在这里，隔过了一个未连接(N/C)作为防呆设计，它的正极在pin1，而pin7是给硬盘活动指示灯做正极的。其余的针脚就不用管了，一般的塔式机箱也没有那么多引线，这些就是给服务器前面板用的了，看文字说明也能看出大概意思。
四、试运行
在有IPMI的板子上，只要ATX电源接通，IPMI就开始工作了，这时候就可以看到背板上的LED有活动。如果IPMI发现有早期故障，比如输入电压偏离过大，就会亮灯指示，并阻止开机。
冷启动状态下，按下电源按钮，首先进行的也是IPMI的自检，要等大概15秒才会转到BIOS的POST过程。在这15秒内是没有任何显示输出的，在我不知道是内存问题的时候，只能看到一直没有显示输出，同时蜂鸣器一声长，ID状态灯是橘色闪烁，DEBUG灯显示41。但是Intel的说明书并没说41这个代码代表什么，橘色灯闪烁的意思是非关键故障，比如电压偏离或者CPU过热等，因此我甚至把CPU重新拆装了一下才想到换内存，结果拆下一条就果断好了。紧接着就是风扇转速的问题，近4000转的风扇全速转的噪音是无法接受的，在不能立即找到解决方案的情况下只能先用i3自带的原装风扇了，这个扇子即使全速声音也不大。但因为换风扇时候硅脂没涂好，中途还过热保护了一回，这还是第一次看到CPU频率200MHz，然后直接断电了。
最开始试用时装的操作系统是Win8.1，发现了几个问题。一个是双网卡其中的82574L没有Intel的Win8.1官方驱动，只能用系统自带的，另外一个82579LM是没问题。这一点倒是并不影响使用，不能装Intel驱动就是没有分组和链路管理这些高级功能，正常的TCP/IP收发还是完全没问题的。另一个是IPMI管理软件ASC装不上，虽然要求禁用UAC，但依然是安装过程中卡进度条，所以放弃了。
后来换成Windows Server 2012 /R2，结果没有显卡驱动，确切地说是A卡的CCC控制台功能不全，导致无法进行HDMI缩放（过扫描、欠扫描）。总留一个大黑边是严重影响桌面使用的，所以接着就换了Win8用。
Win8用的就比较久了，大约三个月。 宿主系统的Win8只作为存储用，除了必要的RAID管理软件和硬盘监控软件以外就是VMware Workstation。开三个虚拟机，一个作为下载用，下载目标盘在从宿主机映射过去的一个共享文件夹里；另一个作为父母的游戏机，直接在另外一个账户上开机自动启动VMware Player并全屏，用起来就跟单独一台物理机一样；再一个用来压片的虚拟机（直接在宿主机上压可能导致虚拟机资源不足）。宿主系统和下载机系统都通过远程桌面管理，板载的其中一块网卡直接桥接给下载机，这样不用VNC协议也能在LAN内直接远程到，而且不会受到NAT带来的转发影响。在此期间还把主板的BIOS、BMC固件、ME固件、FRU和SDR固件全升级到最新版了，顺便更新了FRU/SDR信息。如果在FRU/SDR里面不确认风扇连接，在IPMI里就看不到相应的风扇转速。
现在是换成ESXi环境了，详细的说明见软件篇和完成篇。
五、总结
这个帖子也就是从我新上手的角度去记述一块千元内的服务器主板。就跟我之前说过的RAID作为存储方案一样，提供一点经验给有类似需求（或者纠结）的人。对我个人来说折腾的意义还是大于实际意义的，当然真正用起来还是踏实放心不少。
可能很多人觉得自己家用并不需要IPMI，顶多有个ECC内存支持，宽PCIe槽多点，而且最好还能是小板子就行了，那么可以推荐S1200BTS。受限于规格，大部分扩展都要比S1200BTL少那么一点，但大部分功能与S1200BTL是相通的。
如果想深入了解一下这两块板子的话，还是自己看说明书好了。
关于IPMI。
如前文所说，IPMI是给服务器平台用的管理和监控机制。关于这个，专业的介绍有很多，我这里只就S1200BTL这块板子来说。
有三个途径可以访问到IPMI或者说BMC——网络，Intel Active System Console（ASC）软件，以及像AIDA64这样能看到IPMI信息的软件。一个一个来说。
网络是最常用的途径，可用性也是最高的。配合独立的RMM4远程管理端口不仅可以实现基本的远程管理和监控功能，还可以提供KVM和USB重定向等功能。RMM4卡和模块是要单独购买的，我这里没有这个需要，这方面也就不多说了。
类似于我们做软路由、DIY NAS或者ESXi那样，要打开网络远程管理功能都需要在本地进行一些基本设置，然后就是完全远程操作了。这里就是要在BIOS里面给BMC的LAN端口指定IP地址和访问账户，这个在说明书第85页有介绍。注意的是，远程访问BMC的功能不可能被禁用，只能可以使之无效化，比如不给分配IP、禁用管理账户或者干脆不插网线，但IPMI的功能都是一直运作着的。
如图所示，要想远程管理IPMI就是要设置一下IP和账户。因为我没有RMM4卡，所以RMM4那一块不用理会，但这个地方默认是有信息的。需要手动设置的是上面的'Baseboard LAN configuation'，一般只要把静态IP改成动态IP就可以，让路由的DHCP自动给LAN口分配地址就行。之前说过，BMC会使用82574L那个LAN口（背板左侧那个），所以这个口要有网线连到路由上。如果只是实现基本的管理功能，对路由或者交换机并没有特殊要求，只要确保连线畅通，能让BMC或得到IP就行。可能有人还会问BMC用了82574L这个网卡，那么这个网卡是不是就是给BMC专用了呢？答案是否定的，这个网卡，或者说左侧这个LAN口，同时作为板载的一颗独立网卡及BMC的PHY存在，也就是说这个LAN口有两个IP地址，一个是网卡的，一个是BMC的。设置好BMC LAN设置并重启以后，就能在这里看到DHCP分配的IP地址，当然也可以手动指定一个。
如图所示，在NC-SI（BMC侧）那一路和PCI-E这一路之间是有一个交换机制的，所以可以同时用两边。
别忘了启用一个管理员账户，只是个人用的话，使用'root'账户，具备管理员权限，再设置一个登陆密码并确认。
保存并重启以后就能从任何本地LAN内的设备通过浏览器访问到BMC了，就跟我们访问路由管理页面一样。
使用设置好的账户名和密码就可以登陆进去。
主页只有基本信息，告诉你电源状态、BMC版本、ME版本等。（功能页面我不会每个都说）
FRU这一页主要说的是机箱。因为我这里用的既不是标准服务器机箱，也不是Intel的原厂1U服务器系统，所以这里大部分信息是空着的。在更新FRU信息的时候，可以自己定义部分内容，但这不影响使用。
这里可以看到插了几条内存。
传感器数据，可以在这里看到BMC芯片温度、各处风扇转速，还有各个输入电压等。这里还会报告CPU和内存温度，但表达方式并不是一般的温度显示，而是相对于温度上限的值，是一个负数。CPU的温度可以用CPU的Tj.max=105℃换算一下，内存的温度上限大约是80℃。下一页事件查看器里面会列出自上次清除以来的所有事件，因为我这不是完全的服务器系统，因此会报告很多关键或者非关键事项。
电源控制，可以远程开关机、重启。上一页“控制重定向”页面就需要RMM4卡才能使用了。
在没有RMM4卡的情况下，IPMI的远程管理功能十分有限，实用的也就是开关机重启这个了，还有错误事件邮件报告这些功能（我用不到）。另外就是在AIDA64等软件上看不见的风扇转速也可以在这里看到，但这里反而没有CPU温度的报告。
然后是服务器本地的ASC软件。之前这个软件无法在Win8.1上安装，到了Win8和Server 2012上就没问题，看来NT内核即使0.1的更新，也能干掉不少东西。也有可能未来Intel更新了软件版本也就能在NT6.3上用了。
这个软件很像我用这的HighPoint RAID Management Web GUI管理软件，都是以Web GUI形式存在的。软件安装完成以后会让你设置初始用户名和密码，并不强制强密码，但弱密码会给你警告。
需要管理员权限，浏览器打开以后会告诉你证书错误……反正是本地的，继续吧。然后就是跟大部分Web GUI差不多，用户名密码登录。
之后就是总的仪表板，可以点进各个页面去看具体的。画叉的那个就是有错误信息提示，严重的错误提示会在下面时间的框上滚动，有错误提示还是因为不是服务器兼容系统的缘故。
ASC里面提供的信息大体上跟IPMI远程管理的一致，但更细致也更好看一些……因为大部分重复，就不上图了。还要说的就是，ASC也会犯乌龙，比如这个也就只能眼不见心不烦了……
最后就是我们都非常熟悉且喜欢的工具——AIDA64。
由于BMC的存在，AIDA并不能支持读取到ACPI给的主板风扇信息，只能通过IPMI取得。而一般的主板没有BMC，也就不会有IPMI信息，所以这个地方通常是空白的，但在具备BMC的服务器主板上就会有信息了。
传感器数据。
事件查看器。
IPMI这两页跟BMC远程管理和ASC里面提供的一样，但AIDA64并不可能像前两者那样提供管理功能，只能做到读取监控数据而已。如果只是想知道CPU风扇现在转多块，用AIDA64是正合适，因为前两者反而不能提供CPU温度数据。
BMC，或者说IPMI就先简单介绍到这儿。更多高级功能需要配合额外的硬件才能实现，在我这里就没有必要了。
补档备考
1. 将原帖补充的内容整合进主贴。增强了同软件篇和完成篇之间的关联度。
2. 部分图片重新截取。但IPMI介绍部分只保留了缩略图，所以效果不好。