计算机视觉网站扩容难？三步达成存储零冗余

　　去年过年期间被拉去救火，说是计算机视觉网站的存储要炸了——用户上传的检测图片每天三百多万张，旧架构用HDFS分片，结果每个分片里至少三分之一是重复的模型特征图。运维说再这么搞下去，春节前存储池就得爆，可产品还在催“能不能把历史数据也全存着？用户要查三年前的检测结果”。我原以为这种扩容问题得搞分布式文件系统重构，结果CTO拍板说“先砍冗余”，硬是让我三天内搞出个三步法——现在想起来，这方案能活下来全靠“优胜劣汰”这四个字够狠。

　　第一步是“特征图指纹化”，这事儿其实简单：把每张特征图切成8x8的小块，算每个块的哈希值，再拼成全局指纹。但运维小哥非说“哈希冲突怎么办”，我直接把冲突率公式甩给他：“128位哈希，冲突概率比你中彩票还低”。结果他真去买了本《概率论》蹲在机房看，外卖盒堆了一地。最搞笑的是，测试时发现旧系统里居然有同一张图被存了十七次——因为用户上传后系统自动备份，备份又触发备份，最后连备份的备份都备份了。我指着日志说：“这不就是自然选择吗？能活下来的都是重复的，该淘汰的早被埋了。”

　　第二步是“存储池分层”，把热数据（最近三个月的）放SSD，冷数据（三年前的）丢到机械盘。但产品经理跳出来说：“用户可能突然要查三年前的图！”我直接怼回去：“你手机相册会随时翻三年前的照片吗？真要查再从冷池捞呗。”结果他还真去做了用户调研——发现98%的查询集中在最近一个月。这时候运维突然插嘴：“冷池的机械盘噪音太大，隔壁测试组投诉了。”我转头看他：“那你把盘转速调低啊，反正冷数据又不急着读。”他愣了两秒，掏出手机查参数，嘴里嘟囔：“这也能调？我之前怎么不知道…”

文章配图，仅供参考

　　结果三天后存储占用率直接掉到65%，产品经理盯着监控愣了半天：“这…这就解决了？”我耸耸肩：“优胜劣汰嘛，把那些占地方又不干活的冗余数据淘汰掉，剩下的自然能撑住。”后来复盘时才发现，旧系统里居然有20%的存储被“僵尸数据”占着——都是用户上传后又删除，但系统没及时清理的。运维小哥说：“这就像家里堆了十年没用的旧盒子，不扔的话，新东西都没地方放。”我补刀：“所以下次扩容前，先问问自己：这些数据是‘活着的’吗？”

　　现在想想，这方案能成全靠三点：一是CTO敢拍板“先砍冗余”，二是运维小哥没死磕“绝对安全”，三是产品经理没继续纠结“万一用户要查”。要是换个人来，估计得扯皮两周——比如之前搞组件库选型，A组用React B组用Vue，最后硬是两套都留着，现在维护成本高得离谱。所以有时候，扩容难不是技术问题，是“不敢淘汰”的心理问题——就像我电脑里存了五年没看的教程视频，删的时候手都在抖，但删完才发现：根本没人会看。

　　对了，上周运维说存储池又快满了——这次是因为用户上传了太多4K分辨率的原始图。我原以为得加硬盘，结果他嘿嘿一笑：“我改了淘汰策略，现在只存特征图，原始图直接转存到对象存储，用户要查再下载。”我愣了两秒，突然笑出声：“这不就是‘优胜劣汰’2.0吗？”他点头：“对，这次淘汰的是‘大而无用’的原始数据。”

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!