黑化版的家用算力服务器HomeLab

之前基于NUC6改的HomeLab（之前发过帖）磁盘有点吃紧，就升级了硬盘，结果新换的硬盘可能是温控做得不太好，经常遇到虚拟机死机和网络断流的情况，所以去年下半年开始骑驴找马。按照我个人的习惯，动手前需求必须明确：
一、硬件：机箱不能太大，设计得漂亮，不需要提供太多接口，不要光污染，越简单越好；8代之后的平台，核心数得够用；稳定省电，适合7x24；最好能上10G，5年内不用再折腾。
二、系统：ESXi玩过了，灵活度欠缺一些，在PVE/UNRAID中二选一。软路由/黑群/Docker/影音服务器/下载/远程管理/DNS服务器/广告过滤/智能家居，one by one，all in。
某一天逛CHH还真让我给找到了（外链不放了，搜索引擎关键字：Build a Black Server），感谢大神（errantry83）提供的现成方案，我准备抄作业，当然最终考虑到实际情况，抄了八九成吧。
经过
一、装机机箱：aboStudio ContainerXS
主板：华擎Z370m itx/ac
CPU：Xeon E-2286M
内存：Sumsung ECC UDIMM 2666 16GB x 2
存储：Intel S4610 1.92TB x 2 + Micron 5200 ECO 1.92TB x 2
网卡：Intel X550-T2
电源：G大定制
1、机箱


aboStudio ContainerXS


机箱侧面蜂窝细节1


机箱侧面蜂窝细节2


侧面其实是全镂空的，散热没有问题


背面是两条PCIE开口和开机键，没错开机键在后面


开机键（茶轴+黑色键帽），罩子应该是3D打印的


开机后亮微弱白光


沉头螺丝和垫片细节


每颗螺丝带刻字
全铝CNC，磨砂质感，细节拉满，做工吹爆，好几斤重，我个人觉得物超所值！机箱可以竖放或者横放，但卖家只提供了一套橡胶脚垫，并且螺丝垫片也没有冗余，容易丢，装机要小心。
2、主板、内存和CPU


自带两个1G口（Intel I211/Intel I219-v）


内存插槽一边4个SATA，另一边2个SATA
华擎Z370m itx/ac这块板子刷了BIOS后能支持Xeon和ECC，自带6个SATA3.0、两个1G网口、两个HDMI和若干USB3.0，接口对我来说够丰富了。


Sumsung ECC UDIMM 16GB



内存必须是ECC UDIMM，也就是所谓的纯ECC，比较常见的ECC是REG。UDIMM比较少见，价格非常贵，二手16G一根卖四五百。为ZFS准备的。
CPU用的Xeon E-2286M，8代平台自带UHD630核显，TDP 45W，移动版至强还是比较少见的，8C/16T，主频2.4GHz，睿频最高5GHz，单核性能一般，胜在核多（Passmark单核2760多核15153），性能差不多i9-10900T的水平。






CPU风扇和机箱风扇基本照抄作业，不同的是风向，CPU我选择下吹风，机箱风扇向外排风，这样效果会好一些，
3、存储


容量和安全性需求大于IO速度，手上这根980Pro无用武之地


4块企业级SSD
这款机箱内部没有锚点可以固定SATA硬盘，所以我买了四盘位的硬盘支架，然后用3M魔术贴纸固定在机箱内侧。
Intel S4610 1.92TB x 2：PVE系统盘，RAID1 on ZFS
Micron 5200 ECO 1.92TB x 2：直通黑群晖


题外话，Intel无论是做工还是散热都远远好于镁光，当然价格也摆在那儿
4、网卡
Intel X550-T2，1G/2.5G/5G/10G自适应，适应面更广，贵是有理由的。
5、电源


右边电源本体，左边魔改HPE电源适配器


关机红灯，开机蓝灯


直插式，用料做工都还不错


电源主板合体


电源细节
受机箱容积限制，只能外置电源，也就是像笔记本一样拖一个电源适配器。没有跟CHH大神一样买HDPLEX DC-ATX，是因为需要海淘且官网无货。最终找了G大定制，4个硬盘电源，评估下来综合功率不会超过200W，舍得堆料，额外加钱买了其HPE魔改电源适配器，体积小散热强，属实是别人眼中的亡命之徒，不过使用下来其实还算稳定。


DC接口暂时用扎带固定


找来一根半高挡板，斜口钳+锉刀






这款机箱还需要解决DC电源接口挡板的问题，一个办法是找人定制，最终我选择DIY，效果居然比定制还要好。
二、装系统





处女座，本职就是运维，折腾过程中所有步骤和细节我都会完整记录下来，并且整理备份归档。如果要全部分享出来，感觉又可以水好几篇文章了。大部分是重复造车，网上一搜一大把，所以就点到为止了。
1、PVE



ZFS好用但有代价，本身就非常吃内存，且不会释放，所以PVE中要给它限定一个最大内存。
创建虚拟机时：网卡类型选择VirtIO，防火墙关闭；CPU类型选择host，打开NUMA；开启虚拟机的qemu-guest-agent功能，虚拟机内部一般也要安装agent，比如qemu-ga。
2、OpenWrt



CPU高级选项中，把AES打开。
直通前务必搞清楚网口对应关系，否则会徒增不少烦恼。
编译OpenWrt时需要选择qemu-ga，这样才能正常开启qemu-guest-agent功能。
配置本地接口DNS：带伪装的科学XX一般配置了域名，如果接口中没有配置DNS，那么这个域名本身就会无法解析导致无法科学XX。
配置DNS转发：可以将DNS服务器（我用的docker方式部署AdguardHome）通过DHCP下发给客户端，如果AdguardHome出现问题，客户端依然可以通过OpenWrt自身转发到配置的DNS服务器进行解析。
OpenWrt越简单越好，我就选了几个必要的功能：上网时间控制、应用控制、网速控制、科学XX。


OpenWrt Powered by Xeon


出口千兆，科学差不多能到700+，CPU使用率20%以下
3、Win11



PVE 7建议装Win11，之前装Win10，使用两周内必定崩溃蓝屏，原因不明，猜测跟底层驱动有关。
qemu-ga安装完后，会在“设备管理器”中多出一个带问号的PCI设备，选择加载virio镜像中的驱动后，就能正常启用qemu-guest-agent功能；另外，virio镜像中还包含virtio网卡驱动。


UHD630 GVT-g
UHD630通过GVT-g方式部分共享给了Win11，使得你想用这台Win11虚拟机轻办公看视频成为可能，实测4K GPU使用率在50%以下。
4、Ubuntu 20.04



目前就跑了下面这些容器：


Portainer：管理所有容器和镜像


Heimdall：导航页，用处不大


Gogs：放我自己的代码，迁移自树莓派


qinglong：刷豆子


AdguardHome：DNS服务器+广告过滤
着重说一下AdguardHome：
150W+的解析量，平均响应时间38ms，满意！从结果看，小爱音箱被拦截的请求是最多的，域名排行也是小米占了半壁江山！
为什么要单独部署docker，是因为如果跑在OpenWrt中的话，AdguardHome的IP就只能使用宿主机IP，也就OpenWrt的网关地址，AdguardHome中就无法区分客户端，客户端只有一个，即OpenWrt。这个问题可以通过在Portainer中配置macvlan，给AdguardHome容器单独分配一个独立IP来解决。
5、HassOS



几种安装方式对比，OS是功能最全的，所以直接HassOS。功能非常多，对技术有一定要求，目前就试着加了一台新风机，成功了，后面再慢慢研究。
6、DSM 7





DSM Powered by Xeon


jellyfin作为海报墙


Intel QuickSync(QSV)


不开启硬件解码，资源利用率，主要是CPU


开启Intel QuickSync(QSV)后的资源利用率
黑群的规划是作为影音服务器，直通SSD做RAID1，速度和安全兼具，然后docker方式跑jellyfin，UHD630通过GVT-g方式部分共享给jellyfin，使得黑群同时具备了硬解能力。需要注意的是，如果是Intel显卡，建议用linuxserver/jellyfin而不是jellyfin/jellyfin，前者可以开启专门针对Intel显卡的硬解优化Intel QuickSync(QSV)，实测对比同样是硬解的VAAPI，硬解能力起码差10帧。
我选择的arpl引导方式，型号DS918+。
黑群无法启用qemu-guest-agent，进系统优雅关机，或者直接粗暴切断虚拟机电源。
结果





目前放在我儿子书架的顶层，HomeLab和DS418Play各接一台UPS，主要防浪涌和闪断。R2S作为备用，毕竟all in boom。


短板在IO
缺点：
散热有点压不住，室温20度，CPU都往50度靠了，担心夏天。
水桶效应，短板在SATA3.0的接口速度，这台机器理论最大传输速率6Gbps，跑不满万兆。实测黑群与Win11对拷，速度在450MBps-500MBps。
然后有几个事情待办：
1、虚拟机和ZFS快照，定时自动备份到白群。
2、准备入手AppleTV，黑群作为存储，jellyfin作为海报墙，TMM刮削，infuse播放器。
3、HassOS还要进一步研究，最终目标是在门口安一块pad，找个好看的UI，把所有设备都集成进来，包括特斯拉。
4、移远EC20+短信转发微信（之前发过帖子），从树莓派迁移到Ubuntu，把树莓派卖了。