服务器之家:专注于服务器技术及软件下载分享
分类导航

服务器资讯|IT/互联网|云计算|区块链|软件资讯|操作系统|手机数码|百科知识|免费资源|头条新闻|

服务器之家 - 新闻资讯 - 云计算 - 云存储服务类型与技术

云存储服务类型与技术

2023-06-13 12:00未知服务器之家 云计算

一、存储服务的类型 存储服务的类型根据数据类型的不同,一般分为块存储、文件存储和对象存储三类。 块存储基于传统的磁盘阵列实现,将存储区域划分成固定大小的块,以卷的方式挂载到主机操作系统后,操作系统可将其格

一、存储服务的类型

存储服务的类型根据数据类型的不同,一般分为块存储、文件存储和对象存储三类。

块存储基于传统的磁盘阵列实现,将存储区域划分成固定大小的块,以卷的方式挂载到主机操作系统后,操作系统可将其格式化成文件系统,或以裸数据的方式作为数据库的存储。块存储方式不存在数据打包和解包过程,因此应用系统跟存储系统耦合程度紧密,数据访问延迟低、性能高。

文件存储指的是存储介质上存储的是目录-子目录-文件这种形式的数据结构。这种数据结构是我们自然人所能容易识别的数据,绝大部分由作为自然人的程序员所编写的各种软件程序也使用这种方式来访问文件。因此文件存储的特点是一方面可读性高,另一方面访问数据需要先遍历多层文件目录。

对象存储采用基于键值访问机制的扁平化存储架构设计,它没有多层树级文件目录。在对象存储系统中,对象是数据存储的基本单元,所有对象都有一个对象标识,通过对象标识OSD命令访问该对象,使用简单,小IO性能好。

二、云环境下的存储技术

随着电子商务、云原生、微服务、分布式应用、DevOps等现代应用架构的流行,用户开始将越来越多的传统应用进行改造和重构,迁移到云环境。 那么在云环境下有哪些存储技术可供选择使 用呢? 下面针对云环境提供的块存储、文件存储和对象存储三类存储服务,简单讲讲对应的存储技术。

1. 块存储

云环境的块存储技术主要包括使用集中式块存储和分布式块存储两种技术路线。

1) 集中式块存储

作为目前流行的IaaS框架 ,OpenStack架构中有一个独立的组件叫Cinder。 Cinder是OpenStack中提供存储服务的API框架,用来为后端不同的存储结构提供统一的接口。 不同的块设备服务厂商在Cinder中实现其驱动支持。 后端的存储可以是DAS、NAS、SAN、对象存储或者分布式文件系统。 由于在云计算领域OpenStack受欢迎度非常高,因此众多存储厂商如NetAPP、IBM、 DellEMC、华为和众多开源块存储系统均提供了对Cinder的支持,这也为在云平台基础架构层使用集中式SAN存储提供了技术基础。

当用户规划在云平台下使用集中式块存储时,需要首先考虑两个方面。

第一,自己使用的云平台是不是基于OpenStack开发的,如果不是,那可能没有SAN的接口。国内的主流云平台产品大都是基于OpenStack开发的,但也存在少量的自研云平台。

第二,基于OpenStack的云平台通过使用Cinder来对接FC-SAN集中式存储,Cinder只提供框架,需要通过调用FC-SAN设备厂商提供的Driver来使用和管理。这方面需要云平台厂商配合。目前国内大部分基于OpenStack开发的云平台产品中已经集成主流存储厂家的FC驱动,可以让Cinder与存储底层对接,得到更高和更稳定的性能表现。

2)分布式块存储

分布式块存储是分布式存储架构下的一个存储接口。目前主流分布式存储技术主要分HCI超融合基础架构和SDS软件定义分布式存储。主流SDS分布式存储又分为Ceph系和非Ceph系。在大规模云环境下,SDS软件定义分布式存储适配度更高。

2. 文件存储

文件存储技术按照底层硬件架构可以分为集中式NAS存储和分布式文件系统。

集中式NAS存储生态完善,在各大企业数据中心文件共享服务中占据很大比例。集中式NAS存储设备由机头和扩展柜组成,集成度高,运维相对简单。

分布式文件系统与集中式NAS相比,区别在于提供了并行化和横向扩展的能力。分布式文件系统按照架构有无中心分为两类,一种是有中心架构的分布式文件系统架构,包括GFS、HDFS等。另外一种是完全无中心的分布式存储架构,包括CephFS、GlusterFS等。其中CephFS和GlusterFS支持POSFIX 接口。

GFS和HDFS的默认最小存储单元为64M、128M甚至更高,是适合大文件尤其是GB级别的大文件存储场景的分布式存储系统。

GlusterFS是采用无中心对称式架构,没有专用的元数据服务器,元数据存在于文件的属性和扩展属性中。数据分片分布,也更适合大文件存储。

CephFS是分布式存储系统Ceph面向文件存储的接口,CephFS 构建在RADOS(Ceph的核心技术-分布式对象存储)之上,继承RADOS的容错性和扩展性,支持冗余副本和数据高可靠性。

3. 对象存储

对象存储采用基于键值访问机制的扁平化存储架构设计,它没有多层树级文件目录,天生具有分布式的架构优点,扩展方便。

对象存储使用简单,客户端调用API就能进行数据存储和读取,其接口就是简单的GET、PUT、DEL等。对象存储提供了基于对象的访问接口,有效地合并了NAS和SAN的存储结构优势。

三、云环境下的各类存储技术的适用场景

1. 块存储

分布式块存储的优势在于扩展性,所以适用于云环境下大规模的虚拟机、容器场景。另外,MySQL、MongoDB等轻量级数据库场景也可以选择使用分布式块存储。

对于IO密集型数据库应用来讲,当前最好的存储模式仍是采用高性能低延迟的集中式高端存储阵列。

另外,针对云规模相对不大,但业务重要性较高的业务场景,可以选择使用基于OpenStack的云平台通过Cinder接口来对接集中式存储,为该类重要应用获得更高和更稳定的存储性能。

2. 文件存储

集中式NAS支持POSFIX接口,与现有应用集成简单,适合小规模应用环境的快速部署。

GFS适合存储大文件,尤其是GB级别的大文件存储的场景。HDFS适合单次写多次读的大文件流式读取的场景。

GlusterFS基于无中心化架构,没有元数据服务器,具有高扩展性、高可用性、高性能,能够处理千数量级的客户端,可配置性较强。

CephFS也支持POSFIX接口,它使用Ceph存储集群来存储数据,因此能够解决NAS 产品scale-out横向扩展不足的缺点,与使用Ceph存储的云环境最适配。

GlusterFS和CephFS可以作为在大规模云环境下代替NAS的通用分布式文件系统存储技术,也是现在分布式NAS的发展方向。

3. 对象存储

对象存储接近无限扩展能力使其可以真正意义上实现非结构化数据的海量存储。其扁平化的存入和读取数据对象方式,使其使用方式简单,应用经过标准 API 接口进行调用,十分契合互联网大数据的存储。对象存储适合存储包括多媒体、音乐、图片、视频监控文件、软件、镜像、扫描件等种类在内的海量文件。

另一方面也要注意,对象存储不支持随机读写操作,只能全读全写,其面向的是一次写入,多次读取的非结构化数据存储的需求场景


延伸 · 阅读

精彩推荐
  • 云计算企业需要更多的云计算透明度

    企业需要更多的云计算透明度

    云计算提供商提高了对其平台的可见性,但是企业仍然需要更多有关信息。如今,很多企业提高了云平台的安全性和抵御外部攻击者的能力,但他们仍然担...

    企业网D1Net2992019-10-15
  • 云计算云计算这么火,那么如何进入云计算行业呢?

    云计算这么火,那么如何进入云计算行业呢?

    云计算 早已红透半边天,成为人们茶余饭后谈论的新焦点。现如今,很多企业的业务几乎完全都在云计算软件上运行,而许多传统成熟的公司也选择性地采...

    挖链网6192019-06-09
  • 云计算需要认识部署不安全容器的影响

    需要认识部署不安全容器的影响

    已经部署或正在部署容器技术的企业会受到容器托管应用程序缺乏安全性的影响。这对许多企业将容器纳入数据中心现代化战略的整个过程产生了不利的影...

    企业网D1Net3362020-04-26
  • 云计算云计算端点安全优秀做法

    云计算端点安全优秀做法

    端点安全策略在任何企业IT环境中都至关重要。然而,对于具有云部署的企业而言,这些策略可能特别复杂。...

    TechTarget中国11772021-11-29
  • 云计算如何在云中寻求竞争优势和节省成本

    如何在云中寻求竞争优势和节省成本

    采用云计算服务仍然很复杂。埃森哲公司的调查表明,企业将业务迁移到云平台可能需要付出代价,但如果不进行此类投资,可能会让企业在市场竞争中陷...

    企业网D1Net11742021-07-24
  • 云计算云计算如何成为分析的理想平台

    云计算如何成为分析的理想平台

    云分析是处理大量数据和生成可操作的、质量驱动的见解的极好方法。云计算是分析的理想平台,这要归功于较低的成本和几乎无限的可扩展性。虽然云平...

    360机房9582021-02-22
  • 云计算Docker+k8s 容器云建设中 10 个常见难点

    Docker+k8s 容器云建设中 10 个常见难点

    以Docker为代表的容器技术,是目前有效的应用交付模式之一;以Kubernetes为代表的容器编排技术,是目前流行的应用部署方案。...

    twt企业IT社区4112020-04-15
  • 云计算亚马逊云计算业务CEO:AWS正在自我重塑中改变游戏规则

    亚马逊云计算业务CEO:AWS正在自我重塑中改变游戏规则

    12月4日消息,据外媒报道, 亚马逊 云计算 平台首席执行官安迪贾西(Andy Jassy)日前接受媒体专访,谈及他对云计算服务未来、竞争、市场变化、客户需求以...

    腾讯科技3012019-12-06