基于USB3.0 USAP的Linux RAID1双盘阵列写入速度探究

问题

最近为了数据安全,把包含有数据的Linux机器的/home目录挂载到了USB3.0的RAID1阵列上,到底写入性能可以到什么程度呢? 下面就来测试一下

测试环境

机器是CPU是1037U,内存4G,系统为Ubuntu 18.04, 硬盘为两块外置ST4000LM024移动硬盘,使用了支持UASP的主控芯片。看网上评测裸盘写入最高速度150MB/s,但是使用USB3.0的情况下应该会有些损失。使用Linux构建软RAID1阵列,然后添加到LVM物理卷,再分配逻辑卷并格式化为ext4格式。分区空闲区域超过60%。

测试方法

这里使用dd进行测试,使用以下命令来得到写入平均速度

替换bs_size和write_count使之乘积为大致的定值来进行每项测试。同时使用iostat来观察磁盘的平均tps

测试数据

经过测试后,得到了下面的数据

数据块尺寸(KB) 传输速率(MB/s) 磁盘平均每秒事务(tps) CPU占用率
4 16.7 ~4300 41%
8 30.6 ~4000 37%
16 46.5 ~3000 35%
32 71.9 ~2400 29%
64 88.7 ~1400 20%
128 95.1 ~720 20%
256 97.8 ~380 12%
512 96.5 ~200 9%
1024 98.8 ~200 6%
2048 97.6 ~200 6%
4096 95.0 ~200 5%
8192 98.5 ~200 5%
16384 96.8 ~200 4%

基本上可以得出一个结论,USB3.0+UASP下,如果数据块较小,IOPS较高,USB的中断处理对于CPU的压力还是很大的。双盘阵列接近9000的每秒中断处理会将CPU吃到了41%。而在数据块变大之后,我们可以观察到由于USB中断导致的CPU消耗显著降低。并且由于数据快变大导致磁盘实际写入性能也提升到接近100MB/s。用来存储照片与视频以及大量的归档文件,综合性能还是不错的。

结论

近年来大容量移动硬盘价格普遍降低,虽然有关于高容量SMR方案导致性能与可靠性的争论,但通过冗余方案提供可靠性完全可以规避掉相关问题。实际看基于USB3.0 UASP的廉价Linux RAID1阵列具有很高的实用性。

家庭500mbps单口软路由接入方案

背景

最近发现一个比较坑爹的事情,之前家里联通宽带虽然免费提速到300mbps但一直速度最快跑到270mbps左右,其实是因为Netgear WNDR4300OpenWRT下系统load基本接近1.00,CPU只能跑到这个性能了。所以目前的宽带接入速度已经超过了已有硬件的性能基准。

加上最近联通新上了1Gbps的接入,因此我们的500mbps接入计划再次提上日程~

阅读更多家庭500mbps单口软路由接入方案

腾讯云备案检查整改二三事

2019-11-28 周五 10:58

电话突然响起。
我瞟了一眼手机屏幕,一个不太寻常的号码标记映入眼帘————腾讯云服务。
没事腾讯云给我打电话干啥? 莫非是学阿里云搞企业云服务的推销? 带着疑问我还是接起了电话。

“喂您好……喂?”

对面一直没有声音,这是啥情况?

阅读更多腾讯云备案检查整改二三事

解决nginx反向代理cdn.jsdelivr.net失败问题

背景与问题

在用的一个WP插件里面加载了很多静态资源,但是作者将它们都挂在了cdn.jsdelivr.net下面。这样有下面几个问题:

  • cdn.jsdelivr.net可以收集到访问信息
  • cdn.jsdelivr.net可能并不可达

为了解决这个问题,我打算通过将资源文件映射到自己的CDN上,然后源站配置为反向代理到cdn.jsdelivr.net的nginx代理转发。请求流程如下

但前几次访问都是好的,后来发现就变成一直503返回了,但同时使用浏览器都是好的。

阅读更多解决nginx反向代理cdn.jsdelivr.net失败问题

补记:解决DNS服务AAAA记录频繁查询问题

这是一篇补记,讲述的是2017年9月到10月的事情

问题

公司的一个提供全球覆盖访问的域名,由于我们配置了较长的记录缓存时间,打到服务商的流量也一直比较稳定。但从17年年初一直到9月份,发现解析量翻了10倍,导致域名服务商给我们发邮件,要求我们购买价格更高的解析服务。这就很奇怪了,为什么业务量稳定但是解析量大幅上升呢?

阅读更多补记:解决DNS服务AAAA记录频繁查询问题

splashtop: 一款可玩3D游戏的高性能的远程桌面工具

公司组装了一台用于机器学习的主机,在不执行运算时,两块1080Ti显卡虽然被机箱包着,但依旧闪烁着金光。遗憾的是这个机器并没有直接连接到可以方便观看的显示器,所以需要一款可以玩3D游戏的远程桌面,才能方便的打游戏。经过一番挑选,splashtop脱颖而出。

阅读更多splashtop: 一款可玩3D游戏的高性能的远程桌面工具