星球重启观测站数据修复实战解析 | 资深工程师手记_业内新闻

星球重启观测站数据修复：一名工程师的深夜抢救手记

那天凌晨3点，手机震得我脑仁疼。电话那头是观测站的运维主管，声音有点抖：“我们整个观测数据系统崩了，所有采集表都报错，‘星球重启观测站数据修复’必须今晚搞定，上面催得紧……”我一边套外套一边在脑子里过了一遍常见故障：RAID丢盘？文件系统元数据损坏？还是人为误操作？到了现场一看，果然——8块硬盘的RAID5阵列，两块盘亮黄灯，控制器日志里全是扇区读取重试。典型的“双盘离线”灾难，而且第三块盘已经开始出现坏道。这种情况下，常规的阵列重建就是自杀，必须先做物理镜像。 www.fixhdd.cn

其实干这行久了，你会发现类似“星球重启观测站数据修复”的活儿，90%的坑都出在“着急”两个字。用户一急就瞎操作，反而把可恢复的变成不可逆。我的第一条铁律：断电、拔盘、别重建。先判断故障类型，再决定策略。技王数据恢复

一、故障判断：先给数据“把脉”

到了观测站机房，我第一步不是碰硬盘，而是看日志、问操作。运维小哥说下午有人误删了数据库的一个表空间，然后他们重启了服务器，结果阵列就报警了。嗯，这信息很关键——很可能是误删之后又发生了RAID降级，两个问题叠加。我让小哥把服务器断电，取出所有硬盘，用标签纸按槽位编号标记，然后连上我们的专用镜像设备（就是那种带写保护功能的硬件克隆机）。

www.fixhdd.cn

注意：任何情况下，不要直接在原始盘上做修复操作。尤其是针对“星球重启观测站数据修复”这种高价值数据，必须先做全盘位逐扇区镜像，镜像文件存到健康的存储池里，然后再对镜像操作。这是底线。 www.fixhdd.cn

1.1 RAID降级的陷阱

RAID5允许坏一块盘，但两块掉线就麻烦了。我们这里更糟：一块盘完全物理故障（电机卡死），另一块盘只是逻辑离线（元数据冲突）。实际工作中经常遇到这种“半真半假”的故障，如果你直接插回原阵列，控制器可能会重建错误的数据，把原来还能读的盘也搞废。我的做法：用虚拟RAID重组工具，跳过有缺陷的盘，从剩余6块盘中推导出缺失的条带。这需要精确知道条带大小、旋转顺序和校验分布，不同品牌（戴尔、惠普、联想）的RAID卡参数不一样。 www.fixhdd.cn

这里插一个经验：去年帮一家天文台做“星球重启观测站数据修复”类似的项目，用的是LSI 9260阵列卡，条带64KB，左异步校验。当时也是双盘离线，我用技王数据恢复的虚拟RAID模块，手动填写参数，成功重组了90%的数据。后来发现那块“逻辑离线”的盘其实只是连接线松动，重新插紧后数据完好。别急着判盘死刑。

www.fixhdd.cn

H4: 关键判断指标

物理坏道 vs 逻辑坏道：用smartctl看Reallocated_Sector_Ct，若>100且持续增长，物理损坏概率大。
RAID控制器日志中的“PD not responding”不一定代表盘坏了，可能是线缆或背板接触不良。
误删除后是否写入新数据？如果删掉表空间后没有大量DDL/DML操作，恢复成功率很高。

二、核心操作步骤：一步一步来

确定故障后，我制定了两线并行的方案：一路做RAID重组尝试获取文件系统镜像；另一路用文件级恢复工具扫描镜像中的已删除数据库页。因为观测站用的是PostgreSQL，WAL归档还在，只要找到pg_clog和pg_xlog，就能把数据库回滚到删除前的时间点。

技王数据恢复

2.1 创建完整镜像

把7块正常盘（包括那块逻辑离线的）依次连接到写保护镜像机，每块生成.IMG文件。
物理损坏的盘（电机卡死）先尝试盘体开盘——但观测站这盘是密封氦气盘，开盘风险太大，决定用PC-3000强制读取备用磁头参数，花了4小时只读出37%扇区。剩下的只能靠RAID校验修复。
把8个镜像文件挂载到工作站，用虚拟RAID软件模拟原阵列配置。注意：条带大小、校验分布、盘序必须和原机器一致。如果不知道，可以从RAID卡的配置界面截图（还好运维没清除）。

2.2 文件系统修复

重组后的虚拟阵列是一个XFS分区（观测站常用的高性能文件系统）。挂载时报错：Superblock checksum mismatch。这意味着第一个超级块损坏了。别慌，XFS有多个备份超级块（通常位于分区的1号、2号、4号等AG的起始位置）。用xfs_repair -n先扫描，发现备用的超级块完好。直接用xfs_repair -S初始化主超级块，再用xfs_repair修复日志和目录结构。这个过程大概花了20分钟，文件系统可读写挂载了。 www.fixhdd.cn

H4: 注意事项

修复前一定要备份镜像，xfs_repair -S会修改超级块，万一失败还有退路。
如果主超级块和备份都坏了，还可以通过文件系统特征字符串扫描，手动恢复AG头。但概率较低。
XFS的日志回放：如果日志不一致，先清空日志（xfs_metadump+xfs_mdrestore），再修复。

三、数据恢复与完整性验证

文件系统修复后，看到了观测站的数据目录结构。但那个被误删的表空间对应的数据文件（pg_tblspc下的目录）确实不见了。这时候就要用文件级恢复工具：针对XFS的Undelete，我常用UFS Explorer或R-Studio（前者对XFS的元数据解析更准）。扫描后发现大量已删除的inode，但很多已经被覆盖了——因为运维在出问题后重启了服务器，导致部分空闲块被临时文件占用。

幸运的是，PostgreSQL的WAL日志在另一个独立磁盘上（运维按照DBA建议把WAL放在独立的SSD上），没有被覆盖。我们可以从WAL里回放事务，重建被删表空间的数据。这招比直接恢复文件更可靠，因为数据库页面可能被部分覆盖，但WAL记录了完整的前后镜像。

这里不得不感叹：行业里很多团队只会文件恢复，遇到数据库就抓瞎。而我在技王数据恢复团队时，专门练过数据库日志分析的硬功夫。我们通过解析WAL，生成了SQL还原脚本，把被删表空间里的所有记录重新插入到一个新表空间里。数据校验后，一致通过。观测站主管差点哭了。

3.1 案例对比：另一种常见情况

上个月还处理过一个相反的例子：同样是“星球重启观测站数据修复”，但那次是文件系统目录结构损坏，没有误删除。原因是断电导致日志尾部写坏，XFS的AG头丢失。做法完全不一样——直接用xfs_repair -L强制清空日志（会丢失未提交事务，但目录结构保全了）。然后使用xfs_db手动修复损坏的AG头。一定要根据具体故障类型选方案，不能一招鲜。