收藏本站
[公司资质]
[联系我们]
当前位置: 主页 > 杀肖高手联盟 >

阿里云罗庆超:基于云存储的智能数据与分析处理架构

时间:2019-09-01 23:56来源:未知 作者:admin 点击:
8月22日-8月23日,2019全球闪存峰会(Flash Memory World)在杭州召开。阿里巴巴资深技术专家,阿里云智能对象存储研发总监罗庆超发表题为《基于云存储的智能数据与分析处理架构》的演讲。 罗庆超:各位嘉宾,各位朋友大家好,我是来自阿里巴巴的罗庆超。今天

  8月22日-8月23日,2019全球闪存峰会(Flash Memory World)在杭州召开。阿里巴巴资深技术专家,阿里云智能对象存储研发总监罗庆超发表题为《基于云存储的智能数据与分析处理架构》的演讲。

  罗庆超:各位嘉宾,各位朋友大家好,我是来自阿里巴巴的罗庆超。今天我分享的议题是《基于云存储的智能数据分析和处理架构》,有四个部分的内容。

  看一下存储的发展技术。从1957年开始发明硬盘,到1970年发明这个SAN,到1980年发明NAS,再到2000年AWS发明Object Storage。技术是一个不断向上引进的过程,但是技术并不是替代的过程。即使到现在这些存储技术还是依然存在。

  我想强调的是下面的时间线年左右会有一个新技术的出现。现在是2019年,距离上一个对象存储技术已经13年过去了,下一个在存储上面的技术会是什么样的呢?这也是我想分享、探讨的一个点。

  首先我们来看已有的存储技术的特点(从上往下看),我们现有的几种存储,它在使用范围来看是不同的。块存储和文件存储实际上都是在数据中心内,而对象存储产生的时候它根本就不是在一个数据中心内使用。它是面对互联网、移动互联网、3G、4G、5G而产生的。让大家大量的使用网页、共享视频、短视频、音乐、文档这样一个目的产生的。

  但是它产生之后,为了做前向兼容,特别是在语音上被本地的ECS这种服务访问也面向了数据中心。同一个数据访问能力,存储技术往前走的同时,往前向兼容的历史声音还是很强大的。这块我们看到对象存储,本质是往互联网、移动互联网产生,但是在数据中心内也是大量使用。

  第二个,我们看使用者使用的过程来分析存储的技术。其实块存储是一个机器使用的场景,大家都是块存储都是映射一个浪或者一块盘给一个机器用。其实人不参与里面,大家永远都是在盘上创建文件系统,创建数据库再来使用,所以这是使用块存储的很大特点。

  接下来我们看文件存储,文件存储的过程实际上是更好的让人来使用。最初产生的时候就是大家通过一个IP看到一个共享文件夹帮助大家办公,这是它典型的使用场景。它使用的账号都是办公的账号,我们常用AD、LADP的账号来接入、使用存储服务。同时我们说因为历史的需求,兼容性的需求是很强大的。对于机器的使用也是存在的,我要进行计算服务,这里有一个前向兼容的场景。

  对于对象存储来说同样,对象存储最先产生的时候,它也不是面向这些账号,它是用云账号或者社交账号。最典型的社交账号就是Google的云直接跟Google的ID直接关联,是社交账号可以直接用的。现在像阿里云,其它的各个云都开始对接这种社交账号的能力。它的目的就是让更广泛的、全球的互联网用户都能够使用这个系统。这是它核心账号的区别。

  为了兼容性,它一样做了可以支持AD域账号的打通,机器的打通,这个在现在云的使用上面都会遇到这样的情况。

  再看访问的协议,典型的块协议和文件协议都是数据中心内的协议,它是不跨互联网的。而对象存储的对象协议是基于HTTP,HTTS是典型的互联网访问协议,全球的可访问协议。

  总结一下这几种存储的特点。从交互模式上面来说,它是有巨大差别的。块存储是机机交互的模式,而文件存储是人机交互的模式,对象存储其实是一个移动互联网的交互模式。这个差别在哪里?

  人机交互的时候,大家经常会有目录操作的需求,文件系统里面的设计栏就是,我一个目录要重命名,我要做移动,我要做权限管理,这都是因为人产生的。就像人使用管理书籍一样,这就是在使用的过程中导致的一个需求。

  但实际上在对象存储上,根本不用这种人机交互的方式,而是用移动互联网上面造一层应用。用户根本不用管目录的操作,只需要管理海量的数据,用一个平坦的结构来管理就可以。它避免掉在做文件系统里面很痛苦的目录管理的固有难题,而且大量的传统工具,什么DIR一个目录,重命名一个目录。在大规模管理数据的时候,那些通病是很不友好的一种方式,通过这种交互模式完全的避免掉。

  这种不同的交互模式大大影响了存储背后的设计哲学,这是我们要从源头来找到设计这个系统,哪些东西是影响你最根本的原因。接下来我们再来看这下这些存储未来的一些发展趋势。

  块存储来看它本质是一块盘,不管是NAS、SAN也好,到机器上面就是一个盘。一个纯粹的线性空间。在这个上面装文件系统、数据库、虚拟机、容器之后,才能够让上面的应用更好的使用。它的基础功能特点就像刚才的主论坛里面,云存储的老大讲的一样。最先关注的还是基本特性的稳定性,然后是数据保护的高级特性,再上面就是性价比的设计。在未来的发展趋势上面(从我们的角度看到的),从专有云和公有云上面,它都有一些共同的和一些不同的东西。

  公共的东西是它都会全闪存化,因为这对稳定的试验的要求放在那里,但是在后面的点上面,公共云和专有云就有较大的不同。专有云上面更多的强调重删、压缩的能力,而公共云上面更多的强调弹性伸缩的能力,在云上弹性伸缩,按需获取的能力,还有一个稳定的低时延,可承诺的SLA。

  按照云售卖体系,我能够售卖你多少LOPS,多少万的LOPS,多少的时延,保证在3个9,4个9的范围内能够提供,这是可承诺的SLA是云上非常看重的一个特点。

  第二个,我们看文件存储的特质。文件存储本质来说它就是一个员工拿着一个IP地址访问一个共享文件夹,所以设计多复杂的NAS,它的本质就是这三个组合起来使用。典型应用就是企业办公,是做NAS最牛的翘楚,就是从企业办公开始的,然后逐步引入到高性能计算,现在在AI训练里面也在逐渐使用这些东西,媒体编辑。同样它的功能特点跟块其实蛮想像的。为什么相像呢?其实也可以找到一些背后的逻辑,所现在我们说以前的传统存储、线下存储叫统一存储。

  统一存储同时提供块和文件系统,在解决客户的需求层面,它都是底层把稳定性做好。对于文件来说就是目录管理的稳定性,文件组写的稳定性。再向上才是共享文件夹的配置,快照复制的高级功能,最后就是存储上的性价比能力。

  在未来,这一块来看跟刚才的块有差不多的情况,在专有云和公共云上面,它都是有不同的。而云上始终强调的是稳定、低时延的SLA,因为它是一个服务。SLA始终是它在做的一个方向,弹性、伸缩这个是云始终要保证的优势。在这一块,块和文件它是有相当大的共性,这个共性其实是服务是传统客户的使用模式所决定的。

  接下来看对象存储,对象存储本质上是一个云账号。我们拿着一个移动账号也好,云账号也好,上去就是移动互联网的应用,对接的就是内容。大家玩的短视频,大家看的音乐背后都是云。手机上基本上后面对接的数据绝大部分都是在云存储上面,因为它要一个全局,互联网共享的大池子,所以对象存储是一个非常适合做互联网内容的平台。它大量的服务于网页、图片、音频、视频,还有一些AI的结果处理。我们拿着AI的算法和模型,直接在云存储上面、对象存储上面提供AI的服务。

  对象存储的功能特点跟前面就有点不一样。从底层的稳定性和HTTP访问的接口来看,这一块是要求相同的。在往上我们更关注的是云服务里面的持久度、高可用性。最上面对性价比这一块,在我看来它并不是放在第一位,而是要把数据生命周期管理放在第一位。

  按照刚才云存储总监的讲法,我们有10年的历史,10的历史的数据全部都是存在对象存储上面。我们要对历史数据怎么管理起来,用生命周期更好的管控起来,让它更安全,这些是更重要的一些环节。

  在未来的发展趋势上面,我们在专有云上面看到可能是面向二级存储以及非结构化数据管理,会面向到未来的5G,可以说对象存储是随着3G、4G而不断长大的。刚才讲最近几年的时间涨了12倍,其实是随着移动互联网的技术发展。而且5G的出现,公共云上的对象存储还有极大的增长空间。

  其它的诉求就是要提供一个很大的带宽,全球是数十TB的带宽级别到互联网上。海量的文件管理,千亿、万亿甚至更多的文件管理能力,数据生命周期的管理。最近看到比较多的就是数据湖的管理,如何在海量的数据存储之上构建一个数据分析的数据湖平台,去挖掘里面的价值,这是在对象存储里面看到很明显的趋势。

  阿里云这几种典型的存储采用了一套统一的架构实现,一套统一的软件定义存储架构实现。最下面就是阿里基础设施团队提供的网络能力,还有高性能的通信集群。之上就是飞天的底座,夸父的RPC要用安全管理,钟馗的安全管理。基于女娲的分布式锁,还有伏羲的资源管理。基于这样的基础CT属性,我们构建了盘古分布式文件系统。

  在盘古分布式文件系统,一个公用的池上面构建了各种存储服务。比如说块存储、文件存储、对象存储、表格存储以及HDFS存储等,这是一个数据面的路径。同时在控制面有神龙、发布式监控的平台,有天基这样的分布式部署平台。同时还有一个4G存储统一的管控运维平台。

  对象存储讲的比较多,我重点再说一下。对象存储要管理万亿级的海量数据,它是核心是有一个叫有巢的KV海量云数据管理系统,它是一个分布式KV系统,这是极致的分布式能力。在此之上就可以构建更上层的服务或者数据处理服务,通过这样的平台架构,阿里云能够很好的支持软件定义存储,满足未来的发展需求。

  为什么是在对象存储上面做分析呢?刚才已经讲到了对象存储是面向未来5G的、面向公有云的系统,它的数据量是非常巨大的。基于这些数据挖掘,它就是一个公共的池子。在里面挖掘数据,很容易找到关联性,所以首先是从对象存储来构建这样的数据分析体系。

  这是一个公有云上面现在典型的设计方法,大家可以看到。右下角是放在我们阿里云对象存储系统OSS,要构建这样的全球文娱互动直播解决方案的时候,大家的设计范式都是我要去买ECS,然后在ECS上面装这些软件。

  比如说截图软件,载载高清的转码软件,拉流直播的软件,录制的这些软件。通过这些软件整合起来形成一个方案,支持整个文娱互动的能力。它提供多Region的容灾能力,都归结为一个核心原因,六合神算网心水论坛。实现千万级的并发。像OSS这样的对象存储系统,日活是可以达到千亿级的能力,所有对我们来说完全没有任何的挑战。搭建这样的系统核心,就是要在上面搭一层计算层,然后跟OSS对接。

  再讲一个在线教育的方案里面,它的思路是什么样子。在在线存储里面,大家会经常对接OSS之上,再用计算构建媒体转码,然后提供媒体的点播,转播的服务来管理大量的视频数据。教育过程中的音频、文字这样的信息,它需要不限量的文件管理以及在直播场景里面,很好的BGP的骨干网络支撑能力。

  这是典型上面的设计范式,在已有的对象存储基础之上,相当于DIY的方式搭建了这样的计算、分析的能力。这样的分析能力,在整个运作后有什么样的不一样?接下来就可以介绍对象存储为什么会做Offloading的处理框架。

  按照刚才讲那两个方案,它有比较不足的点,是什么呢?带宽问题,当这些视频、音频大量的数据通过网络传输,即使是在公共云里面它也会穿透网络。VPC网络也好,还是经典网络也好,它都会有大量的带宽访问需求,所以这个会带来一些带宽的问题。

  第二个就是时延的问题,如果你有的分析,特别是有一些快捷的图像处理,通过公网拉到手机上面或者离线的IDC去处理的时候,它的时延是比较大的,所以这个效果也不是很好。

  还有一个易用性问题,我们在公共云上面,买机器、布软件、进行调试,然后提供网络服务,整个实际上还是有一套搭建的流程,同时你还要考虑安全的设计,所以这一块还是有一些入门的门槛。

  最后还有一个成本的问题,如果公网访问进行数据处理,会带来更多的计算费用。

  经过这样的分析,我们的优化或者卸载的思路是什么呢?要用存储、卸载、数据处理的这些算子,要找一些合适的算法、算子卸载掉存储里面来。数据要就近的访问,减少数据传输带宽的消耗。最后要跟客户呈现一种Serverless架构,让客户的运维更简单,在安全设计上面更方便。

  大家可以看到中间就是整个云存储的产品系列,最左边是不同的数据如何导入到存储系统,右边是跟各种计算平台进行关联。比如说轻计算、数据分析计算,然后的分析的结果第二次在进行分发,最后分发到最终用户。这是一个在云上数据的全链度的流程。我想卸载进去或者想做卸载的时候,我们的架构应该怎么做?

  这是对象存储、OSS、Offloading、智能数据分析处理的框架。可以看到,离对象存储部署最近的数据中心,我们会放置计算引擎,就是距离最近的,然后同时在同一个区域内,我们也会利用它空闲的计算引擎进行数据的处理,这就实现了部署上面的就近处理。

  在右边可以看见,展开来看就近部署处理的实现过程。在收据流流经到对象存储的过程中,我们会设计一个智能的调度框架。从底层来看这个调度框架能够抽象、CPU、GPU、FPGA这样的硬件实力成一个计算逻辑。它把这种硬件的差异全部屏蔽掉,然后在上面可以直接调度以它构建的物理机或者以它构建的虚拟机、容器这样的实例,让它的力度更加细,在这个上面要支持不同的运行环境。

  比如说Linux环境和Windows的运行环境。这两种运行环境可以把不同的算子,就是能卸载的算子放进到运行环境里面去进行运行。上面就是调度的集群,可以调度Linux集群和Windows的集群工作。在这个调度集群上面,它能够支持实时的请求和离线的请求。因为在对接的各种卸载过程中,它有实时的需求存在,也有离线的需求存在。通过这样的就近处理计算调度架构的设计,可以很好的把一些能够放到存储里面卸载,而且适合放在存储里面卸载的算子,非常方便的部署进去。

  只要拿一个算子模块过来,我们就可以按照实现集群化的调度,服务化的调度起来。

  通过卸载图片转换算法,在我们的调度框架里面实现了典型的6个场景,我们可以对图片做水印,缩放、裁剪、旋转、格式转换还有效果处理,完完全全的实现了云上的PS。

  以前大家PS是在本机上面,现在可以在云上做,甚至可以跟人机协作做PS的处理。使用的方式也非常简单,你不需要买任何服务器也不需要装各种软件,就是直接用最上面URL的方式。红线前面其实就是对象存储的访问路径,可以直接在云上完成转换,这个转换的结果是所见所得的。你转换完就可以看到,所以它是一个非常应用的卸载方式。

  我们实现能够支持典型的6种图片格式,而且我们用了FPGA的方式来实现加速,它跟不同的CPU计算相比,单机的存储率可以提升6倍,时延下降80%-90%,整体带宽优化可以达到5倍。

  第二,我们实现了视频推流的处理,当前在业界能够做直接对象存储多推流的基本上没有,阿里算是第一个实现这样的能力的。可以看见在这个推流配置之后,得到了一个RTMP推流的介质,然后就可以直接在客户端或者线下用,直接把视频流推送到阿里云存储上面,这样就减少了搭建流服务的过程,让你的整个视频处理这一块卸载到云上。

  当前的能力支持视频流和音频流,而且也可以在视频上面直接做点播,如果对时延要求不高,我们还可以支持直播。

  再下一个模块就是视频的处理能力。我们在云上提供了视频截帧的能力。通过截帧,我们实现了0流量0带宽需求的截帧处理,你根本就不需要在云上搭建一个服务器把视频读出来,然后再用这个软件处理一遍,把帧结回来之后再写回存储,根本不需要这样的过程,只需要在OSS对象存储访问的路径上面,通过参数告诉云存储你要做什么样的卸载能力。

  比如说这个就是在7秒钟的时间,截1帧长宽800×600的图片出来,这样的操作你就是需要下一个指令就可以完成这样的操作,使用非常简单。

  下一个是我们卸载文档处理的能力。存储在OSS对象存储上面的文档,可以直接的预览或者进行文档的转换。文档是左边实现,我们可以直接请求查看一个文档,就是要预览这个文档。大家用钉钉也好,QQ也好,只要点一下这个文档它就可以直接把内容展示出来,这个服务在OSS上可以天然的提供完美的支持。只需要提交请求预览文档我们就会返回一个经过转码的URL给你,然后你拿着转码的URL就可以在你的浏览器里面进行文档的查阅,可以是PPT、DOC、XLS、PDF,右边写到的接近50种文档类型。整个的架构就是跟对象存储是天然结合起来的,完全复用了对象存储的安全设计以及SLA,可以行是跟OSS完全对齐,易于分享,通过签名来分享你的文档,可以分方便文档给希望看到的人,而且还可以在这个文档里面做一些安全的控制。比如说可以让你的文档不让别人打印,这是完全可以控制的,也可以在你的文档里面加上水印,这也是完全可以控制的。这是对文档层面的卸载能力。

  接下来是图片AI的卸载能力,通过刚才讲的框架,我们把AI的算法和模型部署在调度框架里面,就可以实现人脸的识别。直接用一个云上的图片加上一个参数,它直接把识别人脸的结果返回给你,它返回给你的是在图片中位置,你可以直接把这些位置用来框出人脸。同时还提供内容识别,就是图片打标签,你用访问OSS的路径,后面加上图片内容识别的参数,它马上把图片里面包含的各种标签,比如说这幅图是滑雪的,有高山,有雪,有人这样的信息返回给你,以及它的自信度怎么样。

  这是我们当前提供的能力,未来还会有更多的AI智能的算子落到我们的框架里面,提供更多的服务。

  再接下来就是在大数据、数据库的卸载,我们叫Select Object场景。它实现的是算子下推。上面这个图,如果按照传统的方式,就是大数据最右边的大数据平台,它会读大量的原始数据库OCR文件上去,然后做分析。分析完了之后得到结果,你要把原始的数据全部读到平台里面去,占用大量的内部带宽。

  如果是把这些数据库的算子下推到OSS,我们在下面已经把这个数据过滤,通过语句过滤,直接处理完之后把结果吐回来,那下面的数据量就会非常的小,在这可以看到上下的比例非常小。这个有数据,我们时延最少可以减少到原来的1/12,带宽最多可以减少99%,这是下推很好的案例,它能够将结构化的归档文件在OSS层面直接完成计算。

  从整个对存储的分析,特别是交互模式的分析,可以看到交互模式极大的影响了存储背后的数据择取,这在未来的对象存储发展快13年了,在下一个阶段,它的交互模式会是什么样的,也是我们可以深入挖掘的。深入的挖掘可能会有一个新的技术产生,一些新的点会出来,这是我们要想的,要想到是什么推动着你本质在发展。

  第二,基于对象存储Offloading这些数据的处理,它的目的是未来更好的支撑移动互联网的需求,特别是未来5G我们相信一定会有更多类似抖音、快手这样的短视频的应用。万物互联里面肯定会有新的应用出来,那基于这些新的应用做一些卸载之后,会帮助这些应用得到更好的快速应用。

  第三,存储里面是要找合适的算子来卸载,不是所有的算子都合适,根据大量的数据应用的分析、统计才能知道哪些适合卸载下来。我们一定要做到就近的数据访问,这样把网络的开销成本降低到最低。最后我们提供一种Serverless化的方式,让客户没有运维上面服务器去控制安全,去控制这些数据流动的细节、繁琐的运维工作,用Serverless方式,快速简单。这是我们构建智能处理框架的核心。

  提问者:对象存储里面,这个闪存是怎么用呢?是用在哪里呢?(整个架构设计里面)

  罗庆超:对象存储是一个非常庞大的系统,大家都知道AWS,在好几年前就宣传,其实我们也已经是这个量级。在对象存储当前的分级里面有标准存储、冷存储、归档存储,这会存大量的数据。在这里面,标准存储就是热存储,有热点访问,有低时延访问的需求,所以在这里面的闪存,它是为了加速响应热数据的时延使用,但它不会是替换掉所有在下面的存储。

(责任编辑:admin)
相关内容:
8月PMI数据今日公布 市场预测 一场“数据化”革新带来“蝶变 “大数据”发威 的哥议价被查 8月19日大数据板块涨幅达3% 创新AI场景海云数据亮相2019中
关于我们 | 网站导航 | 广告服务 | 联系方式 | 投诉与建议 | 客户调查 | 会议接待 | 火车票查询 | 服务中心 | 推广中心
华正航空主营:机票,飞机票,特价机票,打折机票,深圳机票,深圳特价机票,机票预订,机票查询,酒店预订,特价酒店,出国签证,旅游线路查询。
24小时服务热线4006-888-999755-33333777服务监督电话:13808855476
平特一肖大公开| 香港资料红蜻蜓数理东方经| 西瓜丸子三中三复试网址| 跑狗图新一代出版社| 百万彩友心水论坛| 香港马会深圳护民图库| 小鱼儿马会论坛开奖给果| 彩霸王心水主论坛| 香港正版精准九肖中特| 香港六和彩2019开奖结果记录|