一次看似偶然的项目，开启了中科曙光的自研存储产品线。
那是2009年，中科曙光承建了某个计算系统，而系统数据需要存储在一个集中的共享平台中。作为行业领先者，这套系统的存储规模也是非常庞大，数据需求达到了16PB。即便是在10多年后的今天，许多企业的数据系统也达不到16PB，何况是在那个年代。也正因为数据量太过庞大，使用当时主流的集中式存储需要高额的成本，而当时的开源系统又难以承载这么大的数据量。在经过丰富的调研和反复论证之后，曙光专家团队下定决心——自己研发。
由此曙光开启了十余年的分布式存储自研之路。现在回头看看，之所以有勇气选择自研存储之路，正是曙光对自身技术和实力有着充分的信心。其实在当时，曙光可选择的开源产品包括Lustre等，但是考虑到未来的技术发展和超大规模系统的复杂性、安全性等因素，自研的道路虽然艰辛，却走得最踏实、最有价值。
16PB数据需求催生曙光自研存储之路
“2009年我们做这个事之前，已经做了大概3年的技术积累，相关的技术已经就绪，缺乏的只是产品化的过程。所以大家可能看到2009年曙光开始做自主研发了，其实正确的说法应该是2006年我们就已经开始做了技术的论证和积累，2009年曙光第一代分布式存储产品正式推向市场，也构建了当时国内第一套、也是最大的共享存储系统——16PB。”在谈到曙光存储发展历程的时候，中科曙光存储事业部副总经理张新凤有些激动。
曙光面对的第一个应用场景就是16PB的存储数据共享，这也是整套系统成败的关键。在经过连续几个月的科研攻关后，曙光诞生了第一代ParaStor200。第一代产品主要采用非对称部署的架构，通过对POSIX协议的支持，满足对计算数据高效共享的应用需求，并且采用副本技术来保证数据的可靠性。在当时，曙光ParaStor 200突破了传统存储架构在容量和性能上的瓶颈，率先实现了文本、图像、声音、网页等非结构化数据存储，承载了众多大型项目建设。
随后推出的曙光ParaStor 300，强化了对更多标准协议的支持，包括现在大家耳熟能详的NAS、S3、HDFS等等，这也说明曙光自研存储在生态和应用上也越来越丰富。更重要的在于，曙光存储一直与应用紧密结合，同时也根据实际的应用场景进行优化。
曙光自研存储非常看重落地实践、解决客户实际问题的能力，“我们真的要做到让用户在大规模系统，能够使用一些新型的功能。通过深厚的技术积累和行业洞察，曙光能在千差万别的应用需求中提供最佳应用实践”，张新凤介绍说。正是定制能力，让曙光存储在多个案例中大放异彩。
如今，曙光的自研存储已经迭代到了ParaStor 300S，实现了协议的融合和互通，从底层同时支持文件、块和对象三种数据类型。这也让ParaStor300S具备更好的性能表现、支撑更丰富的应用，成为了许多大型项目应用的首选，获得了不少行业和地区用户的青睐。
自研存储：什么程度算自研？
为什么大型项目都会选择自研呢？其实如果单论性能，业界也有不少同样优秀的存储设备。但是曙光ParaStor 300S自研存储带来的不仅仅是性能，更有超强的扩展性和稳定、安全的高可靠性，尤其是大规模项目来说，后者也是管理者们选型时重点考虑的因素之一。其实目前业界也有不少厂商都推出了自研的存储，但究其根本，开源代码占比却很高。那么问题来了——我们如何定义自研存储呢？
“对于自研，业内没有公认的定义，也没有评判的标准，大家都在说自己是自研的，但是具体到什么程度算是自研，我想大概可以围绕两个方面来考量：一是技术的深度，一是与应用的深度绑定以及大规模的验证”，张新凤说到。对于自研存储来说，技术深度，这也是考察品牌技术实力的第一步。
存储系统，就是对存储介质的管理。目前业界很多开源的存储系统，为了降低代码开发量，缩短研发周期，大多采用ext4、zfs接口来管理磁盘，这种间接管理磁盘的方式，无法直接、高效发挥磁盘性能。特别是面对大规模部署时，磁盘成千上万块，单片磁盘性能无法充分发挥，最终会影响整体性能。
曙光在自研存储的道路上深耕多年，最初也曾考虑过ext4等文件系统。但是随着应用的深化、数据扩展能力需求的快速提升，最终在衡量了功能、性能等因素之后，曙光采用自己开发的本地对象管理系统（Object System）实现对磁盘更精细化的控制和更高的存储利用率。“我们在架构上做了很多的设计，包括对底层Object System技术更深层的优化。这样的底层技术对我们带来的好处非常多，一方面可以把存储空间的利用率提到最高的水平，另外包括我们对于性能的优化可以达到磁盘的IO级别。之所以曙光大规模存储系统性能一直业内领先，也离不开这些底层核心技术的积累”，张新凤坦言。
在解决了存储的问题之后，接下来就是如何实现数据的传输，最重要的就是尽可能降低网络负载，这样才能最大化存储和计算节点的数据共享传输。如果存储占用的网络资源比较高，势必对计算有比较大的影响。曙光通过对超大规模存储网络相关技术的优化，最小的网络资源开销实现网络大带宽、低延迟的目标。
也正是得益于自研的底层技术，曙光对于存储的架构和性能都有清楚的认知，包括在进行重删压缩或者多协议的共享与互通等应用中，都可以获得更快的响应支持，优化也更加彻底。可以说，深入底层的架构自研，是曙光存储的优势所在，也是底气所在。
衡量自研存储的另一个标准就是与应用的深度绑定以及大规模的验证。正所谓“能抓耗子就是好猫”，能否实现与应用的深度定制，是衡量自研水平的另一个标准。产品功能不在于多，而在能用于、敢用于生产系统，带来良好的用户体验。
比如某科研客户在存储应用中，曙光针对用户采集数据丢失的问题，对整个存储的IO路径进行了重新优化，使性能提升了4倍；同样是科研应用，在某研究所气候模拟科学装置系统项目中，为了解决用户业务流程耗时过长的问题，曙光集结专业研发团队为客户定制加速技术，帮助用户实测使用性能提升8到10倍。由此看来，曙光充分抓住了客户痛点，也发挥了自研存储灵活调配的优势，实现了快速响应。
真正要考验存储自研技术实力的，还是要看超大规模的部署实践。海量存储系统必然伴随着大量客户端的并发访问需求，保障所有客户端数据访问的强一致性，避免对同一文件的并发读写对彼此数据的破坏，是一个成熟海量存储系统的必备素质。曙光ParaStor在分布式锁（Distributed Lock Management，DLM）的使用与优化方面投入了大量精力，不断提升大规模分布式锁获取与释放的性能与可用性，并增加了可重入、非阻塞等特性，有效保障高并发共享访问场景的顺序、秩序与效率，在气象环保、能源地质等海量数据处理场景得到了广泛的应用。
对于海量数据存储来说，动辄就是成千上万块磁盘，即便按照故障率来说每天也会有2-5块磁盘的损坏，因此如何保障数据安全也就更为重要。为此，曙光研发团队为ParaStor 300S通过智能化的技术来识别硬件的健康状态，通过高效无感知的自愈技术和智能化故障预处理来保证硬件的可靠性，同时采用多副本、纠删码等技术显著缩短故障数据的重建时间，保障系统真正可靠、高效、稳定的运行。
结合行业应用的实际，曙光团队已经将ParaStor 300S存储与众多客户的业务实现了深层优化和绑定，仅就今年来说，曙光就已经服务了2个超300PB的客户项目，这其中也进行了大量的应用移植和优化。其实从诞生之日起，曙光存储就是为了大规模应用存在的，所以在应用和大规模部署上，客户完全不需要担心。
从实验室再到应用的完整开发路线，曙光ParaStor不断在实际业务中证明了自身的价值，每一代产品都代表着当时最先进的存储技术。最新一代ParaStor 300S具备了文件、块、对象、HDFS等四种主流协议的存储服务， 3节点即可承载非结构化与结构化数据业务，消除存储设备多样性及管理复杂性，降低存储系统的构建成本。特别在今年，伴随着“东数西算”战略的全面展开，曙光也成为了炙手可热的自研数据解决方案提供商，承载了更多大型项目。
东数西算，海量存储要高效，更要绿色
今年3月，“东数西算”战略正式启动。其中最重要的就是数据的安全存储和传输。这对于存储市场是机遇也是挑战，不但需要强大的数据存储和管理能力，更需要满足绿色节能、快速响应、安全稳定等一系列需求，也为曙光存储的发展提供了新空间。
根据发改委公布的数据预计，“十四五”期间，大数据中心投资将以每年超过20%的速度增长，而结合“双碳”大背景，降低PUE提升数据中心整体能效的大趋势下，液冷技术应用已经成为行业共识更成为未来数据中心制冷首选。
曙光同样是这个领域的先行者。早在2011年，曙光便开始液冷相关技术研究，随后推出国内首款标准化量产的冷板液冷服务器，率先实现冷板液冷服务器大规模商业化应用。当然最值得一提的还是浸没相变液冷技术，这也是曙光成为液冷行业领军者的“杀手锏”——将数据中心的PUE降至1.04，当下最低，相比传统风冷数据中心能效比提升超过30%。
“曙光在绿色数据中心上有很多数据技术积累，包括浸没式的液冷技术，在国内的PUE一直做得比较领先，现在我们也把液冷的技术引入到存储系统中，更好的实现绿色节能环保目标。曙光预计在今年推出一套液冷的分布式存储，会采用冷板的设计，再加上前端液冷的计算节点，我们就可以完全形成一体化的液冷方案，在这个方案的加持下可实现PUE1.04”，在谈到助力数据中心节能的时候，张新凤显得信心满满。
东数西算正需要这样强大的节能技术，也便于将海量数据进行安全、稳定的存储。在“东数西算”成渝枢纽节点内的西部（重庆）科学城先进数据中心便是曙光“液冷数据中心”的具体实践。
除了上面提到的西部（重庆）科学城之外，曙光存储也已经在众多智算中心、运营商智能化升级等项目中担任主角，而在一贯优势的科研项目中，曙光存储也广泛应用在石油地震勘探、天气预报和气侯模拟等系统中，为中国的科研发展贡献力量。
面对海量数据增长，面对东数西算的国家战略，未来中国存储市场已经站在了十字路口，无论从应用场景的实际需求还是大规模扩展的潜在安全来说，市场更需要有自研核心技术、安全稳定的存储解决方案，这也是曙光多年来坚持获得的回报。
正如在采访最后张新凤所说：“目前来说存储发展是一个转折点，未来的数据中心规模更大，更需要实现对异构海量数据的融合。我相信以曙光为代表，拥有核心技术的存储厂商，将迎来更大的发展空间。”
