家庭500mbps单口软路由接入方案

背景

最近发现一个比较坑爹的事情,之前家里联通宽带虽然免费提速到300mbps但一直速度最快跑到270mbps左右,其实是因为Netgear WNDR4300OpenWRT下系统load基本接近1.00,CPU只能跑到这个性能了。所以目前的宽带接入速度已经超过了已有硬件的性能基准。

加上最近联通新上了1Gbps的接入,因此我们的500mbps接入计划再次提上日程~

这里要说明一点,WNDR4300并非虚标性能,虽然没有实际测试,但是应当NAT功能在原装系统下可以跑到近千兆。OpenWRT下,AR9344只能使用MIPS CPU进行基于linux netfilter的NAT功能,实际性能与硬件NAT相差比较大。另外还有一个差别大的地方就是基本上所有的非原厂调教的OpenWRT下,无线性能与原装系统相差会比较大。相比而言,内置的交换机因为是硬件级别支持,所以基本没有性能上的差别。

现有方案

现有的方案是200mbps方案,有线无线都可以跑到这个速度

  • 物理接入: 联通EPON光纤接入, 签约带宽200mbps, 后自动提速到300mbps
  • 光纤猫: 某宝二手TP-LINK EP-110,克隆了原装的光纤猫的logid
  • NAT&防火墙&端口转发: 基于某宝二手Netgear WNDR4300 v1, 千兆路由器,刷入OpenWRT
  • 网关主机: 某宝二手J1900无风扇迷你主机, 内置RTL8111网卡,网内机器IPv4与IPv6的网关
  • 无线AP: 全新(因为买不到某宝二手)Unifi AP-AC LITE无线AP, 提供两个接入点,方便不同目的使用

实测访问外部网络有线与无线均为270mbps+下行,上行40mbps,家庭内部网络有线上下行990mbps+, 无线上下行600mbps+

方案升级分析

如果要升级到500mbps, 目前瓶颈在于NAT这一环,其余部分性能都超过500mbps的需求。基于MIPS CPU的OpenWRT路由器肯定在性能上是没法用了,因此性能更强的基于x86 CPU的多网口主机(至少两个口)是唯一选择。系统上我依旧选择使用OpenWRT,这样具有较好的配置延续性。

升级选购分析

目前手头有闲置的J1900无风扇迷你主机, 一个Intel J3455CPU的NUC。根据网上搜索的到的信息,单核性能太弱的CPU其实不太适合来当作千兆NAT的机器。某宝看了下双千兆外加J1900或J3455这个级别单核性能的迷你主机,基本上搞下来要700~800以上了,还是略贵啊。我们有没有什么便宜的方案能用上手头的闲置机器呢?结合前段时间给DELL 7070mff外接显卡的经验,我想到了M.2 A/E接口转PCI Express x1外接网卡方案。简单搜了下某宝,外接套件需要12v独立供电,价格20~40, 双口千兆网卡即使是Intel i350这样的也只要150~200,看起来价格上很实惠呢~

于是到这一步,选择使用J3455 NUC + M.2转PCIE外接显卡方案。

硬件实际搭建

两件事情,一个是用联通的沃宽APP先购买500mbps的提速包先行试用;另一个是上某宝买东东。大概过了两天,东西都到了,实际开始搭建。这里把转接套件提供的PCIE软排线从SD卡的孔那里引出来,12v供电使用LM2956HVS的模块,把机器电源接口处的19v引出来,调整输出到12v,整体用美纹纸固定到NUC上方,不美观但是实用。大概就是下面这样子

软件安装与测试

这里没有选择直接裸机安装OpenWRT的方案,这有些浪费,也不便于远程管理。因此选择了实际机器安装Debian10, 使用qemu kvm虚拟化 + pcie passthrough在虚拟机运行OpenWRT。经过了一些参数优化和调整,实测有线600mbps+下行,上行60mbps+, CPU4核最高核占用80%左右,其他核占用50%~60%,基本跑满性能。

经过一段时间的测试和调整,实际遇到了一个很难解决的问题,就是Intel i350-AM2网卡会发生TX hang导致网卡重置,PPPoE重新拨号。实际调整和尝试解决非常消耗时间,我会另开一个文章做介绍。这里概括一下会导致i350 TX hang的要点:

  • linux内置驱动可能存在缺陷: 尽量使用Intel官方驱动
  • CPU不能及时处理中断: 应对方法是关闭CPU的节电, 设置全速运行并且内核添加nohz=off配置
  • 外接PCIE传输不稳定: 增加软排线线屏蔽(贴上锡纸胶带),尽量多的塞入机器内,暴露在外的部分可靠固定不要悬空。另外关闭CPU节电也有帮助,因为CPU频率变化时,会产生高频噪声干扰

最后稳定性测试,此方案依然会偶尔出现Tx hang,因此无法通过。

路在何方

难道我只能去买个双口x86软路由了么? 经过仔细思考,结合查了下PPPoE的拨号流程 发现PPPoE其实不牵扯到日常的频繁二层广播,所以可以安全的插入到交换机上。因此另一个方案在我脑海浮现:单物理网口桥接到多个虚拟网卡方案。

Q: 为何要考虑光猫转出的接口是否存在频繁广播行为?
A: 因为我并没有使用带VLAN划分的管理交换机,都使用的是便宜的非管理交换机,如果把频繁广播行为的设备接入到内网二层,会导致网络性能大大下降。

Q: 为何不换个非Intel的网卡试试?
A: 已经换了双口Realtek网卡测试,虽然不会TX hang但是pcie软排线还是会不定时的遭受干扰,导致整个宿主机无响应。。。(感觉还不如只是网卡hang掉。。。)

峰回路转

由于在光猫里我已经单独把上网的VLAN 3961给取消标签了,所以如果接入交换机,其实在网内交换机上连接的任何机器都可以正常拨号。因此NUC实际可以一口复用,在宿主机上把物理网卡加入网桥,虚拟机的virtro网卡一端加入宿主机网桥,另一端在OpenWRT内使用macvlan虚拟出多个网卡,分别用作PPPoE,内网LAN以及其他VLAN。

这样一来,这个NUC的物理网卡基本上就是跑对称流量了,实际测试依然是有线600mbps+下行,上行60mbps+, CPU4核最高核占用80%左右,其他核占用50%~60%,基本跑满性能。经过多天测试,运行稳定没有问题。

最终方案

最终方案确定,NAT主机采用宿主机单口桥接到OpenWRT虚拟机多虚拟网卡的方案。于是500mbps总体方案如下

  • 物理接入: 联通EPON光纤接入, 签约带宽500mbps
  • 光纤猫: 某宝二手TP-LINK EP-110,克隆了原装的光纤猫的logid
  • NAT&防火墙&端口转发: 基于Intel nuc, J3455 CPU, 8G RAM, 64G SSD, 宿主机单口桥接到OpenWRT虚拟机,虚拟机内使用macvlan创建多个vth, 分别用于WAN区域和LAN区域
  • 网关主机: 某宝二手J1900无风扇迷你主机, 内置RTL8111网卡,网内机器IPv4与IPv6的网关
  • 无线AP: 全新(因为买不到某宝二手)Unifi AP-AC LITE无线AP, 提供两个接入点,方便不同目的使用

实测访问外网(Speedtest.net测速)有线600mbps+下行,上行60mbps+, 无线最快500mbps+下行,上行60mbps+,访问家庭内部网络有线上下行990mbps+, 无线上下行600mbps+

后记

这次改造中途折腾Intel i350网卡Tx hang的问题搞了三四天,真的是筋疲力尽。所以不愿意折腾的同学最好还是不要图便宜,老老实实花钱买软路由,用别人验证过的方案。不过中途倒是了解了不少关于PCIE以及网卡驱动,内核中断处理,电源管理,linux时钟等信息,还是很有收获的。

参考链接