世界围绕数据在变革,底层基础设施也是如此,当人工智能等业务数据在性能、规模、成本、稳定性、时延等层面都发生变化,现有的存储选项显得顾此失彼,一个新的存储介质正处于萌发期——PMEM(Persistent memory,持久性内存)。
计算机架构中,负责存储的主要包括内存和硬盘两部分,计算机在运行程序时,必须先将硬盘中的数据加载到内存中。我们当下所说的内存介质主要是DRAM(Dynamic Random Access Memory),特点是性能方面表现出色,但昂贵、易失且可扩展性有限。这是因为DRAM使用电容存储,所以必须隔一段时间刷新(refresh)一次,断电存储信息则丢失。
闪存存储 (NAND) 是非易失性存储,断电数据仍在,而且价格比DRAM便宜,但性能有所不及。
硬盘主要包括HDD(机械硬盘)和SSD(固态硬盘),SSD采用闪存颗粒来存储,HDD采用磁性碟片来存储,还有混合硬盘(HHD: Hybrid Hard Disk),把磁性硬盘和闪存集成到一起。
就像英特尔说的,对于试图进行数据中心转型的组织而言,内存和存储矛盾非常突出:
介于昂贵、低容量的 DRAM 和较便宜的基于 NAND 的固态盘 (SSD) 之间;
介于较慢的 NAND 固态盘和成本较低但较不可靠的 HDD 之间。
直到基于3D XPoint介质的全新非易失性存储——傲腾技术粉墨登场,英特尔傲腾技术相当于在数据架构中创建了一个新层,同时具备高性能易失性内存,以及性能较低但价格合理的 NAND 存储优势。
但是仅有加持傲腾技术的SSD或者内存是不够的,要最大化发挥这个新存储的价值,需要一套“操作系统”,雷锋网就此话题专访了MemVerge联合创始人兼CEO范承工。
傲腾存储“操作系统”——MCI的诞生
“简单理解,比如英特尔做CPU,但是他不做操作系统,上面会有微软,红帽做操作系统,某种意义上来说,我们就这种新硬件的操作系统,MCI就是基于这个持久性内存的操作系统,MCI和硬件并不是等价的,而是在这个硬件之上”,范承工表示。
内存融合基础架构(MCI)的发明者MemVerge宣布完成2450万美元A轮融资,投资方包括高榕资本、美国光速创投、北极光创投、JVP、LDVP等。
范承工向雷锋网透露,融资去年已经融完,只是公司一直处于隐藏模式,所以一直没有宣布。融来的资金主要用在产品研发,MemVerge研发团队分布于美国、中国,已经公布的客户包括领英、腾讯和京东等,目前MemVerge和更多客户正进行POC测试。
Memory Converged Infrastructure即内存融合基础架构,范承工用一个简单的公式来描述MCI:MCI=Persistent Memory+HCI,Hyper-Converged Infrastructure简称“HCI”,被称为超融合架构,MCI就是适用于存储的超融合架构。
MCI和傲腾技术紧密相关,时间线可以追溯到20年前,1999年,英特尔开始研发持久性内存技术,Storage Class Memory/Persistent Memory/Non-Volatile Memory这些词汇没有本质区别,行业对于新型存储的关注从未减弱,但遗憾的是,进展一直比较慢。
时钟拨到第二个重要节点,2017年,英特尔第一款基于傲腾技术的产品问世,一款使用新介质3D XPoint的SSD,新产品的发布说明3D XPoint已经迈过大规模生产的关口。2017年MemVerge也正式成立。
第三个节点是2019年4月2日,英特尔正式推出傲腾持久性内存,可以说是持久性内存的元年。
范承工和他的团队笃定持久性内存会成为未来市场的主导。作为对比,基于闪存介质的SSD,用了十年成为数据中心主导介质。
如上IDC报告显示,雷锋网观察到,即使SSD在数据中心越来越受欢迎,但是HDD仍然占有高比重且持续增长,这是因为整个市场盘在高速增长,不管是HDD、SSD、NVM还是磁盘光碟,都会有一个倍增期。
解决三个问题
傲腾技术进入发展元年,但新生事物伴随而来的不只有机会,难题同样存在,企业客户对于存储的核心要求可以归纳为低成本、高性能和大容量,具体到MCI上,需要解决三个具体问题:
应该使用什么分布式存储软件栈?——现有的分布式存储软件不是为这种速度的介质而设计
内存能否扩展到单个持久内存节点之外?
是否可以在不修改应用程序逻辑的情况下,将其用于内存扩展和存储加速?
如果只有傲腾内存条的话,用户只有有限的选择,或者当做内存来用,或者当做存储用,也可以当做持久内存本身的定位使用,但坏处是需要重写应用程序来适配。
MCI首先是一个更快的存储系统,现有的存储系统相比傲腾技术都太慢,所以需要重新设计存储系统;同时使内存能够在整个集群范围内跨节点,内存和存储实现共存。
以实际应用为例,服务器里有三层物理介质,从DRAM、3D XPoint到SSD,MemVerge向上提供的是两个API,内存API和存储API,用户应用不需要做改动。
某种意义上来说,就是两个逻辑的API映射到三个物理层,内存API是以3D XPoint作为主内存,DRAM作为Cache,存储API是以3D XPoint做第一层存储,SSD做第二层存储。
从应用角度来看,就是两个服务,内存的服务和存储的服务,底下通过三个物理层来完成这个工作,同时是一个分布式多节点的系统。
如此底层的技术,显然还没有达到完全成熟状态,MemVerge已经正式发布了MCI的Beta版,但是仍有优化和调优工作需要要完成,一些特性还需要增加。
MemVerge“新”在哪
范承工的履历上不乏EMC和Vmware这样的大公司,为何以创业形式做这件事?他多次提到了“颠覆”二字。
“我认为是一个业界重大的颠覆性机会。在这样颠覆性机会来到的时候,需要有一个崭新的架构来抓住,而这时,大公司往往做这个事比较困难,传统上来说是说一个创新者的窘境”,范承工说道。
“大公司颠覆自己过往的架构和过往的业务形式来做新技术,是非常困难的事情,只有在颠覆和混乱的时候,小公司才有足够的空间和可能性崛起。我们觉得持久性内存带来的是这样一个颠覆性的变化,在这个时候,小公司有机会能够做成事情。”
MemVerge也是一个全新的公司,在行业内没有竞争标的。MemVerge做的事是存储厂商加上计算厂商分别会涉猎的地方,比如分布式存储系统是存储厂商做的,大内存系统往往是计算厂商做,因为内存是为计算服务的。
同时范承工也不认为大公司会放弃已有架构,转而做一个新架构和MemVerge竞争。“有可能有其他的创业公司做类似的事情,但是大公司很难做到。”
在这条赛道上,MemVerge不仅是领先,更是开辟。
下一个裂变
与目前最先进的存储和计算解决方案相比,MemVerge的MCI 系统提供了10倍的内存容量和10倍的数据I/O速度,听起来就像是为人工智能和大数据分析等未来高频场景而生,他将对行业其他部分产生影响。
从数据中心内部角度,In-Memory(内存数据库)数据库更可能会成为主流的数据库市场;从机器学习角度,机器产生数据的管理会有一个比较大的改变,包括某些APP自己会进行一些优化,也包括像我们这样的公司提供一个虚拟层使得现有的这些应用都能够用傲腾硬件。另外可能会有新的编程模式,基于这个持久性内存会有一些新的编程模式,甚至编程语言产生,呈现局部优势。
往更大的方面来看,现在的内存和SSD分别是数百亿美元的市场。范承工认为,5到10年之后,3D XPoint也会成为一个一百亿美元以上的市场,DRAM、持久性内存和SSD三者都有不小的份额。
雷锋网(公众号:雷锋网)认为,摩尔定律虽然不再百分百奏效,但在过去几十年相较于CPU效率的提升,存储的变化并不大。当下以业务为中心,更确切地说以数据为中心的流程再造,对于人工智能和大数据等场景有充足的吸引力,持久性内存目前成本仍是难题,所以并没有得到大规模推广,而成本问题可以随时间解决,当天平走到成本和效益的平衡点,持久性内存市场爆发可期。
注:本文转自雷锋网,如需转载请至雷锋网官网申请授权。