1:1.5倍速找油 浪潮分布式存储驱动石油勘探效率提升
背景:随着震源隆隆的轰鸣声,某石油勘探公司的项目数据采集顺利进行。采集完毕后,数据的保存、处理、解释等阶段就该存储平台“上场”了。浪潮存储为某石油勘探公司构建了16节点、总容量4.2PB的分布式存储平台,以平均写性能27.4GB/s、读性能30.55GB/s的极速性能,大幅缩短了石油勘探数据处理的周期,成为采用数字化、智能化技术提升能源行业业务效率的典型。
浪潮分布式存储平台服务石油勘探,缩短数据处理周期
当前石油储备逐步减少,石油勘探、开发难度增大,借助数据技术提高石油勘探的效率成为推动石油行业增长的关键。存储作为数据的载体,成为石油勘探企业转型增效的核心竞争力。
其实数据极致性能需求已成为业界的普遍需求,根据IDC与浪潮联合发布的《2019年数据及存储发展研究报告》,随着新技术发展企业对数据实时性需求日益增加,到2023年实时数据将占全球数据圈24.5%的份额。
出厂前的操练
石油勘探耗资巨大,勘探数据十分宝贵,用户把这么重要的勘探数据托付给浪潮存储,浪潮存储团队自然要全力以赴。石油勘探普遍采用地震波法,原始数据量可达数PB,后期做地震资料叠前偏移成像,会对存储并发性能提出较高要求。根据勘探场景的数据特点,浪潮提供了容量、性能线性扩展的分布式存储平台。
在分布式存储出厂前,为了确保浪潮分布式存储平台AS13000在地震资料处理作业环境中的功能及性能,浪潮存储决定在实验室里把整体环境搭起来,进行出厂前的“操练”。
济南的测试实验室里灯火通明,浪潮工程师团队用16个分布式存储节点,1:1实际搭建了一套测试系统。系统裸容量4.2PB,可用容量为3.969PB,可用容量比为73.6%。经存储集群测试验证,达到了进行某石油勘探公司的项目环境要求。
浪潮分布式存储
13次调优性能比业界平均水平“拔高”30%
接下来是最为关键的性能调优环节。首先,浪潮存储工程师团队在压力机上部署了IOZONE测试工具。这是一款用来测试操作系统上文件系统性能的工具,范围包括Write、Re-Write、Read、Re-Read、Random Read、Random Write等十余种测试内容,可以说是360度无死角的性能测试。其次,设置测试工具模型为16MB块大小顺序读写,测试数据量为内存大小的2倍以上——2倍是比较合适的设置,不然Linux会给读写内容进行缓存,让测试结果不真实。就这样,浪潮分布式存储团队,在压力机上基于IOZONE测试工具一遍遍运行、调优。
一次次功能调优,一个个参数试验,不够好,再重来。一天深夜,加班回来刚刚躺下的浪潮存储测试工程师脑子里又开始过筛子:白天测试结果虽然达到了客户招标要求,但能否还有提升空间呢?突然一个灵感闪过——是不是能换个功能的参数组合试试?他一骨碌从床上爬起来,迅速把想到的实验参数记录下来,次日便带领项目组进行组合调优,终于让性能上了个台阶——读性能从25GB/s~27GB/s区间段,提升到最高28.06GB/s。
经过长达半个月的13次系统级测试,浪潮16个节点的分布式存储平台平均写性能达到27.4GB/s,平均读性能达到30.55GB/s,容量和性能超出了招标项目需求。最终,某石油勘探公司的工作组在浪潮济南实验室看到了测试数据的Demo演示,对测试情况非常满意。“浪潮存储的实力和几年前相比有了很大提升,这次我们的招标方案,性能要求已经比较高了,没想到浪潮存储还能表现得更好”。
测试数据
浪潮存储研发工程师表示:“同等配置水平下,目前分布式存储业内平均水平为单节点写1.3GB/s、读1.5GB/s,这样一来16个节点的平均写性能是20.8GB/s、读性能24GB/s。对比来看,浪潮分布式存储在石油勘探项目中的性能表现,比业界平均水平高出了20%~30%。”更高的性能意味着,浪潮分布式存储平台可以帮助石油勘探项目缩短勘探开发周期、提高勘探开发成功率。
浪潮分布式存储的测试性能:写性能比业界平均水平高32%,读性能高27%
极速性能的背后是基于场景的技术创新
同等的硬件配置,浪潮分布式存储为何能实现更好的性能?答案在场景化定制上。浪潮存储通过内核客户端优化、对象聚合、高速缓存、读写锁优化等技术创新,结合石油勘探不同业务阶段的IO负载需求进行深度优化。
在数据存储阶段,石油勘探需要将采集到的原始地震波数据统统写入分布式存储平台,存储需要提供高聚合带宽和PB级容量,满足海量数据的并发写入、存储需求。
在数据解释阶段,存储需要提供高带宽,能够一次性“读出”单个文件大小超300GB的超大文件。此时的存储需求是高带宽,超宽通路过得了万吨轮船。
而在数据处理、分析阶段,石油勘探模型处理、分析产生了海量的次生小文件,存储需要通过小文件/对象聚合技术,提升海量次生小文件的并发性能。这就如同水库,先汇聚资源,达到一定蓄水量后再向下游统一输出,存储要把亿级/千万级小文件的随机写变为固定大小的数据的顺序写,提高效率。
浪潮能源行业部存储产品经理表示,“通过在石油勘探中的部署和应用,说明浪潮存储不仅产品过硬能够承载能源行业的领先应用,还有专业的测试、研发、服务团队,有能力在全球提供很好的支持”。
IDC与浪潮联合:新数据时代元年,分布式存储成为趋势
根据近日IDC与浪潮联合发布的《2019年数据及存储发展研究报告》,2019年中国迈入新数据时代元年。报告显示,在2019年中国数字化转型IT支出首次超过非数字化转型IT支出,占比达到51%。随着数字化转型的不断加速,行业新应用爆发式增长,从数千、数万跃升到百万量级,数据呈现出海量、多元、实时、多云等趋势。数据存储成为承载交通、金融、能源、通信等行业转型的基础平台,分布式存储成为趋势,2023年其占比将达到40%,闪存阵列将迎来高速发展。
- 标签:
- 编辑:李娜
- 相关文章