本篇文章1753字,读完约4分钟
“技术必须符合时代的商业需求,这样才能生产出真正可持续的产品。”戴尔易安信uds的软件工程总监滕宇(音译)已经坚持戴尔易安信12年了。作为一名仓储R&D人,他在一次采访中告诉了我们这句话。在他职业生涯的这个时期,这已经成为他最重要的见解。12年后,企业云存储的发展是“跌宕起伏,高低起伏”。他的故事和经历会给我们带来什么样的灵感和思考?
2006年之前,它属于云计算的史前时代。
当时,出现了企业分布式开发和存储的各种雏形。例如,ibm专注于企业的分布式开发,并很早就提出了网格计算的框架。然而,面对复杂的企业发展模式,它终究没有得到广泛的推广。
其中一个重要原因是,包括网格计算在内的“史前云技术”是“不合时宜的”,当企业用户中没有出现大规模的非结构化数据爆炸时,这些计算框架自然很难被用户应用。最终,由于缺乏商业模式和技术,网格计算未能取得预期的成功。
2006年被称为公共云的第一年,开启了一个新时代的帷幕。随着s3在亚马逊aws的诞生,对象存储逐渐被更多的人所认可。
然而,对象存储最初并不是为了支持企业应用程序,而s3的目标是同时出现的新互联网应用程序的存储需求。具体来说,它包括支持rest接口和最简单的存储要求。甚至s3的api核心也不支持更新,而是专注于支持横向扩展的简单扩展模式。
因此,s3旨在满足公共云平台上非企业用户的非结构化海量数据存储需求。对于大多数没有考虑公共云的企业用户,如医疗、银行、证券等领域的企业应用,s3公共云的对象存储提供了灵活性和弹性,但它不能满足这些企业用户对传统应用工作负载的安全性、效率和开销要求。
2006年也成为戴尔精粹进入对象存储领域的重要一年。
今年,戴尔易安信启动了atmos项目,并正式开始探索企业级对象存储。项目启动后的第二年,滕宇也正式加入了德安中国的R&D团队。
现在回想起来,从2006年到2010年,分布式对象存储在企业领域的应用还处于起步阶段。与公共云中的海量数据爆炸不同,企业数据量一直处于不温不火的状态。为此,atmos产品和R&D团队也经历了很长时间才找到突破口。在此期间,滕宇也深刻体会到“技术必须与市场相匹配,顺应时代潮流”这一产业发展规律的价值。
事物的发展往往是辩证统一的。在这些年的流浪和探索中,滕宇带领和训练了一支战斗力极强的中国R&D队。2014年5月,在戴尔EasyTrust atmos和软件定义的分布式存储基因的帮助下,戴尔EasyTrust ecs(弹性云存储)正式进入全球用户的视野。
此后,代表企业存储力量的对象存储ecs取得了长足的进步。一直在企业存储领域稳步发展的戴尔易安信,在ecs定位上自然需要有别于公共云的对象存储,但它不能完全独立开发。毕竟,s3已经成为对象存储的“事实上的标准api”。
因此,ecs不仅要满足用户对其传统存储平台的云需求,还要满足企业用户对传统和下一代工作负载的需求。在这方面,ecs大大扩展了s3标准api之外的企业存储特性。例如,支持按范围更新,这为多站点和主动-主动提供了强一致性保证。从成本比较分析来看,ecs可以帮助企业用户显著降低企业访问的核心数据集的总拥有成本。
更重要的是,2014年后,ecs赶上了企业用户非结构化海量数据的爆炸式增长,尤其是2018年下半年企业用户从公共云中回归的现象,这使得ecs获得了大量新用户。
自2016年以来,在gartner的“魔力象限”报告中,ecs连续三年被评为分布式对象存储的领导者。
"技术和产品一样,螺旋式发展的趋势非常明显."
特别是在2014年,看到企业数据爆炸式增长后,戴尔易安信认为企业云存储时代终于到来,滕宇和他的团队感受到了这一点,并坚信“公共云不是企业发展的唯一出路”。
根据idc的报告,公共云存储在以下三个方面不能满足企业用户的需求。
事实上,对于大多数企业用户来说,他们需要的是一种通过将云技术与他们自己的预算相结合来灵活规划存储模式的解决方案。
因此,混合云方法为用户带来了灵活性,他们的工作负载应用于私有云和公共云,他们可以根据自己的实际需求自由选择。此外,越来越多的企业用户在满足了多个生产中心和多个数据中心的需求后,自然会需要公共云存储所不具备的企业级安全性和功能。
根据企业用户的新需求和不同的应用场景,有必要提供不同的混合云和云解决方案。混合云和云是用户的未来,也是戴尔本质的未来。
随着企业用户越来越关注数字资产的安全性,在全球企业用户云计算时代,从公共云向私有云数据中心转移已成为一个有趣的趋势。
从2018年对象存储的发展趋势来看,企业用户需要在私有云和公共云之间有一个通用的s3api接口,方便他们控制对象存储的数据安全。因此,ecs已成为企业在部署内部混合云时实现超大规模集群存储横向扩展的首选解决方案,也代表了基于云应用和传统工作负载的企业存储基础设施的进步和创新。
随着nvme-of技术引入对象存储领域,性能得到了提高,这自然满足了企业用户对对象存储的高性能和低延迟的要求。
此外,在最新的ecs版本中,滕宇带领中国R&D团队重写了核心b树数据结构,并在小数据(
技术创新和应用需求恰到好处,因此企业用户可以获得更好的选择。
Ecs经历了多年的发展,从测试版到1.0版、2.0版,再到3.x版,从而迎来了一个更广阔的发展时代。
然而,成功的方法有成千上万种,而ecs并不是满足用户需求的唯一基石。
对于任何技术公司来说,12年都是很长的时间。
对于戴尔易安信来说,12年来唯一不变的是对满足用户需求的不懈追求。
然而,随着用户在云计算、大数据、物联网等领域的发展,存储在技术、解决方案和产品创新方面都在发生变化。
十二年前,存储软件严重依赖硬件。现在,存储软件和存储硬件可以集成或完全分离,以实现软件定义。根据用户总体拥有成本的总体变化,戴尔EasyTrust可以提供集成的软件和硬件解决方案,也可以提供基于开源或容器的创新解决方案。
企业用户只需要关注数字资产的价值。在数据存储、访问、安全等方面,戴尔易信可以根据用户需求提供统一、高效、创新的数据管理和数据存储整体解决方案。
一个值得关注的趋势是,如今企业用户对云原生技术的需求越来越多。
Pivotal企业服务(PKS)可以为用户的存储需求提供更加灵活和现代化的解决方案。这一切都源于用户自身开发方式和操作维护方式的改变。
2018年底,aws多年来首次改变了对混合云的态度,并与vmware联合推出了awsoutposts。
展望ecs的未来,戴尔EasyTrust将迅速跟上这一趋势,推出基于kubernetes的新架构,使ecs的存储引擎完全摆脱硬件限制,成为企业用户的存储核心组件。
从对象存储到流存储,戴尔易安信已经开始研究和规划物联网下全球存储技术的创新和趋势。从2017年开始,滕宇带领一个新团队,开始了戴尔易信中国的全新发展之旅。
计算是本地流计算,存储需要本地流存储与之匹配。所有这些将不可避免地在不久的将来推动开源分布式流存储pravega从诞生走向成熟。
Pravega取自梵语,意思是“goodspeed”
Pravega采用分层存储架构,基于分布式文件和对象存储为流提供了一个抽象层。它实现了冷热数据的分离,从而有效降低了数据存储成本,并与以flink为代表的新一代流媒体大数据处理平台无缝集成。下图:
在这种混合云和云时代的背景下,与时俱进的ecs、pravega和pks等创新产品和平台最终成为云时代企业用户的存储基石。
在他12年的职业生涯中,滕宇亲身经历了戴尔和emc的并购,并真正地融合在了一起。一开始,他的坚定也让他在戴尔技术集团的整体发展中发挥了更大的作用。
目前,作为戴尔技术集团的重要业务部门之一,戴尔易信拥有业界领先的融合基础设施、服务器、存储和数据保护技术,帮助企业实现现代化、自动化和数据中心转型,并通过构建混合云、开发云本地应用和大数据解决方案为业务转型提供可靠的基础。
戴尔易信服务于180个国家的不同规模的客户—从财富500强公司到中小型企业—并为客户提供从客户端到数据中心再到云的全面创新产品组合。
也就是说,滕宇团队负责的ecs对象存储和流存储,已经成为戴尔技术集团子公司戴尔易安信在混合云、云和物联网等更复杂的创新场景中的重要存储选择之一。
在混合云和多云的环境下,开源开发模式的发展和产品创新迭代的加速将不可避免地迫使企业开发模式不断变化。
特别是在踏上开源流数据存储的新征程后,有必要对企业发展模式有一个全面的整体思考。在滕宇看来,互联网开发更注重toc的敏捷开发,强调个人用户的体验,通过用户试用实现开发迭代的快速更新。然而,企业级开发是针对医院、银行、证券和其他行业的用户,强调新技术、新功能和新工具的开发必须安全、可靠和稳定,而且必须基于企业用户的充分承诺。
鉴于新技术的快速发展,企业级产品的开发必须面向敏捷开发,以在开发和测试中实现更多的创新和进步。
事实上,早在2011年,戴尔易信中国coe开发团队就开始全面使用开源开发工具。对于像pravega这样的开源产品,github被用来管理整套代码和托管开发过程。
更重要的是,企业产品的子模块并不绝对区分开发和测试,而是集成到一个工程师团队中,强调开发过程中的早期测试和测试覆盖。在模糊了开发人员和测试人员之间的分工之后,产品测试人员还将参与设计和代码的评审,为新功能设计更高质量的测试用例,并从代码生产的第一天起就确保代码的质量。
因此,从戴尔易安信的企业发展模式来看,敏捷开发的优势在小范围内得以保持,企业发展质量和整体发展路线在大范围内得到保证。事实上,它针对的是企业用户所需的质量、发布节奏和创新,可与以下三种开发模式相比较:“汽车、火车和轮船”。每个都有自己的用途,每个都有自己的理由。
& # 9658;& # 9658;在“汽车开发模式”中,它属于概要修补和升级程序,要求在最短的时间内修补产品软件和优化固件。目的是为所有用户提供一个稳定的升级版本。
& # 9658;& # 9658;在“列车开发模式”中,主要是针对新功能的发布,每年都要实现大规模的版本更新。
& # 9658;& # 9658;在“船舶开发模式”中,需要更长的时间和规划来改变更复杂的基础设施。当准备测试充分时,与“列车”计划同步。
然后,针对每个功能模块,做好本模块的质量控制。达到设定的质量标准后,“列车”售票员将根据放行计划选择能在下一次“发车”赶上列车的功能。然后,我们将在更大的范围内进行集成测试和混沌测试。
对于企业存储,随着业务模式的变化,新的访问模式也在发生变化。在分布式文件和对象存储中,一旦整合了流存储的创新,最终将实现更完美的存储组合。未来的数据存储将侧重于支持新的需求,如云本地性、容器和虚拟化、企业级使用需求、混合云和云需求,以及实时数据、流数据和物联网数据的爆炸性发展。
从对象存储到流存储,滕宇带领着R&D团队,一如既往地向我们展示了这种执着。满足用户需求的变化,追求持续的技术创新,确立结果导向,技术创新能够着陆和实现的价值是预先明确的。
追求卓越不仅是一种境界,也是一种价值。经过十二年的坚持,腾宇也向我们展示了追求卓越的真正价值。十二年的坚持不仅是一种力量,也是一种品质和传承。
因此,未来仍将属于戴尔易信中国有限公司的研发团队,该团队“热情、诚实、创新,强调团队合作和结果导向。”
滕宇在戴尔易安信工作了12年,经历了企业云存储的起步、彷徨和突破点,直到当前云与云混合趋势下的大爆炸时代变迁。他的职业生涯与行业变化密切相关,也与戴尔精粹的云存储业务密不可分。因此,我们特地邀请他来回顾12年的经历,希望能给R&D仓储业的人带来更多的思考。
目前,戴尔易信中国有限公司在北京、成都和上海设立了三个R&D中心,拥有2000多名R&D员工。据可靠消息称,基于2019年的发展需求,coe仍有大量最新职位提供给对云计算、大数据、物联网等相关数据管理和数据存储领域的研发感兴趣的朋友。有意者请回复留言。好鸟择木而生,而人则为知己而战。加入戴尔易信中国有限公司,您的成功将从这里开始。
标题:一追十二年,一个存储研发人的故事
地址:http://www.hcsbodzyz.com/hcxw/2205.html