空中客车集团防务与航天公司借助 StorNext 横向扩展存储实现 PB 级卫星数据归档
归档 PB 级卫星数据
欧洲航天局在计划开始后的几年时间里为每个 Sentinel 任务发射了两颗卫星 — ESA 将有四颗在轨 Sentinel 卫星。每颗卫星每年会生成超过 1PB 的数据,时间最长达 15 年。保留所有此类数据需要新的归档。空中客车集团防务与航天公司技术设计权威 Mark Curtis 指出:“我们不仅归档第零级的原始仪器数据,而且还有经 ESA 有效荷载数据地面管理系统处理的数据,这会生成第一级和第二级数据。为了提供对所有此类数据的长期归档,我们需要能够扩展至数十 PB 的存储解决方案。”
管理数以百万计的文件,充分发挥磁带的经济性
Curtis 表示:“当有四颗卫星在轨时,我们每天将需要归档 40000 个文件。我们需要抢强大的文件系统以支持数千万的文件。”并且需要支持广泛的文件大小和类型。
Curtis 坦言:“因为我们需要为 Sentinel 任务存储数十 PB 的数据,因此控制成本至关重要。磁带非常经济:每个磁带盒能够以较低的成本存储大量数据,与高速存储系统相比,磁带库只需要较少的电能和冷却。”磁带非常适合会生成大量数据的应用。
借助 StorNext 构建可扩展的多层归档
空中客车团队选择了多层 StorNext 解决方案,包括 StorNext AEL6000 磁带归档、元数据设备以及磁盘缓存 — 一切均由 StorNext 支持。StorNext 被选作解决方案的组成部分,部分原因在于 Infoterra 与昆腾的以往合作经历,前者是 Google Earth 图像的提供者,现在也为空中客车集团防务与航天公司服务。
Curtis 指出:“昆腾一直倾听我们在改进其解决方案方面的需求。对于 StorNext 5,昆腾融入了我们以及其他企业的意见和建议,这帮助打造了更强大的存储解决方案。”
归档最初支持 18PB 的数据,并且能够扩展至 37PB。“StorNext 使我们能够轻松地对归档进行扩展,今后,我们能够支持新的卫星任务并采集更多数据。”Curtis 如是说。
支持不间断的高速数据采集与访问
Curtis 指出:“采用 StorNext 文件系统,我们现有配置可支持 1.1GB/s 的性能。因此,我们能够快速采集所有收到的原始和处理后的数据,并且在需要时快速检索。”多数情况下,空中客车团队只需不到一分钟即可从归档中检索单个文件,光纤通道连接意味着可快速提供大数据传输。系统支持所有操作系统,包括 Linux 和 Windows。
保护数据,同时维持低人员配置
系统的扩展数据生命周期管理 (EDLM) 功能可帮助保护数据。Curtis 解释道:“StorNext 磁带归档基于策略的 EDLM 功能可帮助前瞻性地维护磁带中的长期数据的完整性。如果一个磁带出现问题,StorNext 会自动将数据迁移至更好的磁带,无需管理员介入。EDLM 提供了巨大的优势。”
Curtis 指出:“StorNext 的管理成本非常低。借助昆腾解决方案,只需两个人就能轻松管理不断增长的 PB 级卫星数据归档。”
灵活应对难以预计的数据增长
StorNext 还可帮助满足不断变化的需求。例如,新规划的中继卫星系统预期将提高存储需求,新的需求超出原有预测。“幸运的是,StorNext 使我们能够轻松地对环境进行扩展。我们能够添加新的归档系统 — 迁移至 LTO-7 — 以满足这些新的数据采集需求,且无需对系统进行大的改变。”Curtis 如是说。
Curtis 坦言:“随着 ESA 发射下一系列 Sentinel 卫星,存储需求会再次改变。凭借 StorNext 解决方案,我们会做到有备无患。”