顺势而为,戴尔加速流动文件系统进化-程序员宅基地

技术标签: 系统架构  


   来自第三方机构的数据显示:全球基于文件应用与基于数据块应用的存储容量发货量对比来看,从2008年到2015年,文件应用方面的存储容量发货量的增长较数据块应用高出数倍。出现这样变化,根源在于虚拟化、电子资料存储、文件共享、数字记录保存、Web2.0技术,以及新型应用的广泛性与活跃性。

为此,对客户需求保持极高敏感度的戴尔不断推出创新技术,同时也在自己的流动文件系统Fluid File System (FluidFS)上加速进化。

FluidFS的更新迭代有故事想听听吗?为了便于大家对戴尔流动文件系统的理解,我们就从FluidFS的源头说起。

 

FluidFS源自戴尔在2010年收购以色列的Exanet公司,作为富有代表性的NAS技术厂商,Exanet在与EMC(iSILON)、NetApp、HDS(BlueARC)之间曾经有过激烈的竞争。不过,在归队戴尔之后,Exanet很快获得了新的发展和进步。

从FluidFS v2算起,这应该是戴尔Compellent使用的第一代可扩展的NAS技术。然后,戴尔一代一代地升级FluidFS,通过技术更新迭代,帮助企业级用户实现数据存储未来就绪。

随后,FluidFS v3出现,将文件系统技术进一步升级。FluidFS v2针对单一文件系统限制在1PB容量大小;FluidFS v3允许单一文件系统大小比上一代翻倍,高达2PB的容量。

不仅如此,FluidFS v3采用了来自戴尔2010年所收购的Ocarina Networks整合而来的重复数据删除和压缩技术。从而,使得戴尔的FluidFS可与存储业界大佬相比肩。

从FluidFS v3开始,戴尔就对外表示:重复数据删除和压缩功能,将随所有戴尔Compellent FS8600控制器免费提供,并对已有的控制器提供更新。这不仅帮助用户合理地利用好文件系统,同时也保护了用户投资,利于用户存储效率的提升,以及达到更佳的存储应用效果。

从另一个侧面也表明,戴尔一贯的收购策略,在整合新的技术厂商资源的基础上,必然会为企业级用户提供更高级别、更完善的解决方案。同时,戴尔也将结合新技术与自有的拳头存储产品,形成更有效的组合,去满足用户在更广泛领域的具体存储需求。

显然,我们看到戴尔通过收购Ocarina和 Exanet,并相应与戴尔Compellent FS8600结合,正在引发更多的变化。

就在2015年10月底,Dell World大会报道《DellWorld2015收官:收购EMC,戴尔构建存储新世界》一文曾提到:“Dell Storage FS8600其实就是之前的Dell Compellent FS8600,非常经典,采用FluidFS第4版规格的FS8600现在支持的存储阵列包括:SC40、SC8000和SC9000控制器,SCOS 6.5.3或更高版本,Enterprise Manager 2015或更高版本。”虽然文章里面没有提及在单一全局命名空间中到底能到达多少PB,但是,后面的版本给了用户一个大大的惊喜。

威武帅气的FluidFS第5版FluidFS第5版的出台,成就了性价比更具竞争力的横向扩展NAS解决方案——FS8600。针对高速存储和较低总拥有成本(TCO)进行了优化,效果和之前的流动文件系统版本到底有何不同呢?

FluidFS v5能够以经济实惠的方式实现更好的每秒文件操作数(OPS),进一步实现了性能的提高和容量的扩展:

借助SPEC SFS 2008,线性性能扩展可实现494000次文件打开次数以及11.9 GB/秒的最大吞吐量。

通过镜像高速缓存和自动负载平衡,即使在添加更多数据的情况下也能提高性能。

最多可在单一横向扩展存储解决方案中配备四台FS8600 NAS设备和八个SC系列存储阵列。

对于存储密度和成本方面,FluidFS v5在软件的帮助下,实现了用户更高的需求。Dell Storage Center搭配FS8600和SCv2080存储阵列可为存储密集型工作负载提供理想的机架密度,可在14U机架空间中存储1 PB的原始容量,同时对于1 PB的原始容量,每GB成本低至0.18美元/GB。

关键在于:借助横向扩展体系结构,以及闪存优化、自动分层功能和块级重复数据删除和压缩功能,可以实现用户存储效率提升,通过NAS精简配置和空间回收,容量不受限制。


另外,为了FluidFS具备更加便捷的灵活性,戴尔还有几个小技术细节需要透露一下。如:虚拟IP方便客户端访问全部命名空间的内容,目录结构用于共享和导出文件,逻辑卷用于管理文件,单一命名空间可以跨集群使用,灵活扩展从1-4个流动文件系统设备,透明分离数据块空间。


这里多说一句:NAS卷精简配置(thin provisioning)要求管理员分配比实际NAS池空间更多的“广告”空间,从而给最终用户或者应用更多灵活性,在增长NAS卷空间上不受物理实际空间的制约。当使用的空间到达用户预先定义的警戒线时,系统会对管理员报警。


精简卷克隆如何实现的?第一步,对一个卷或者文件系统做个快照;第二步,创建一个独立的文件系统元数据结构,展现一个映射了新的目录结构的文件系统的虚拟复制卷给客户;第三步,从独立获得的新的目录结构的克隆卷进行写入操作。精简卷克隆的过程不会有空间占用,直到数据发生了变化。也可以激活编码和工作流测试,而不至于使非生产数据影响正常的应用和容灾。

需要着重指出的是:精简卷克隆以透明的方式按需添加和管理驱动器、存储盘柜或NAS设备,帮助用户即时扩展现有基础架构中的文件存储性能和容量。通过多协议支持,包括支持SMB、NFS和FTP的协议,增强了系统的灵活性。通过使用快照、NDMP 备份、远程复制和快照存档,保护本地数据。

FluidFS v5带来下一代企业级横向扩展NAS新一代Dell Fluid File System第5版(FluidFS v5) 不仅在单一文件系统中最高达4 PB,在单一全局命名空间中超过20 PB。戴尔表示:FluidFS v5可以为企业级用户带来下一代企业级横向扩展NAS,并且总体拥有成本(TCO)将会做到最佳。



那么这一切得以成功实现,是源于以下四个特性:

1. 提供同类最佳性能的NAS组合,采用 FluidFS软件的 Dell Storage FS 系列,可为 SC 和 PS 系列平台提供线性性能扩展和较低的每文件 OPS 成本。

2. 存储容量和性能可以实现无中断的独立扩展,根据需求变化在单一命名空间内进行,不必进行昂贵的断代升级。

3. 支持复制、快照、精简等各种可靠性功能,以确保FluidFS可以带来强大的数据保护和高可用性。

4. 具备重复数据删除和压缩功能,Dell FluidFS 可在不需要冗余数据时,对进行重复数据删除和压缩,最高可将常用企业数据所需的容量减少 48 %。

来自用户端的体验回馈令人兴奋亚利桑那州州立大学ASU 高级计算中心Operations Manager Charlie Collins表示:“得益于 Dell CompellentNAS 解决方案,我们能够向科研人员提供最低的数据存储价格以及灵活的使用期限。”

Phoenix Sky Harbor国际机场是美国十大最为繁忙的机场之一,采用了Dell Fluid File System视频解决方案之后,可以更好地处理日益增长的数据存储需求,并且可以无中断地扩展这个方案,随着需求的变化而增加存储。


ESG在一份《ESG Lab Review - Dell Fluid FS v5 - February 2016》专门的测试报告中指出:随着需求的增长和发展,FS8600 可在单个文件系统内无中断地扩展存储容量和性能,同时保证各扩展部分相互独立,从而避免代价高昂的平台全盘更换。此外,负载均衡功能还可以随着FS8600 系统的扩展持续优化性能。


也就是说:进入的连接访问会被自动均衡到客户端口和集群中所有的FS8600控制器上:单一命名空间意味着在增加了额外的FS8600设备的时候,文件数据不需要被共享或者 分配到新增加的单独的文件管理夹。

FS8600 利用Dell Storage Center 平台的优势,进一步提高性能,最终的关键还是要能交付企业级的弹性和数据保护能力。为此,戴尔每个流动文件系统设备包含两个双活控制器,提供系统高可用性,避免系统资源闲置。

同时,每对控制器之间通过40Gb带宽提供缓存镜像和写回操作。

流动文件系统架构具备电池保护和冗余复制功能,充分保护元数据,提供数据一致性保护能力。而内置硬盘可以用于本地启动,闪盘用于备份配置信息。原生支持NDMP 和 ICAP双重防病毒,帮助企业级用户提供关键业务数据的多重保护。

结语从最早的FluidFS v2到当前FluidFS v5,FluidFS在戴尔存储技术的推动与演进下获得了持续演进,同时FluidFS v5也带来下一代企业级横向扩展NAS解决方案。

戴尔FluidFS v5帮助企业级用户利用最新存储技术,并提供了支持SMB、NFS和FTP协议的灵活平台,在驱动器、 连接选项、 存储系统和 NAS 设备等方面的利用上都带来了新的改变。

作者:佚名
来源:51CTO
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_33843409/article/details/90396095

智能推荐

王斌老师的博客_王斌 github-程序员宅基地

文章浏览阅读480次。http://blog.sina.com.cn/s/blog_736d0b9101018cgc.html_王斌 github

ACM OJ Collection_htt//acm.wydtang.top/-程序员宅基地

文章浏览阅读737次。原文来自:http://blog.csdn.net/hncqp/article/details/4455263 ACM OJ Collection(排名不分先后):中国:浙江大学(ZJU):http://acm.zju.edu.cn/北京大学(PKU):htt_htt//acm.wydtang.top/

ios 自己服务器 苹果支付_修复苹果IOS支付-程序员宅基地

文章浏览阅读467次。更新记录1.0.0(2019-07-01)插件简介专门用来修复苹果IOS支付时出现"您已购买此App内购买项目。此项目将免费恢复"。问题描述首先在IOS平台里面创建“APP内购买项目”,选择的是“消耗型项目”,然后用uni-app官方的支付api进行支付,多支付几次,有时候就会出现提示“您已购买此App内购买项目。此项目将免费恢复”,特别是在沙盒测试里面支付很大几率出现,我明明选的是消耗型项目,应..._ios开发苹果支付恢复权益

spring MVC mock类单元测试(controller)_mvcmock-程序员宅基地

文章浏览阅读5.6k次。Spring从J2EE的Web端为每个关键接口提供了一个mock实现:MockHttpServletRequest几乎每个单元测试中都要使用这个类,它是J2EE Web应用程序最常用的接口HttpServletRequest的mock实现。MockHttpServletResponse此对象用于HttpServletRespons_mvcmock

【我的世界Minecraft-MC】常见及各种指令大杂烩【2022.8版】_summon生成掉落物-程序员宅基地

文章浏览阅读8.5k次,点赞7次,收藏22次。execute as @a at @s run clear @s minecraft:dark_oak_planks{display:{Name:“{“text”:“第三关[阴森古堡]”,“color”:“red”,“italic”:false}”,color:“16711680”},Enchantments:[{id:“protection”,lvl:1}],Unbreakable:1b} 1。Lore:[“{“text”:“免费”,“color”:“blue”,“italic”:false}”]..._summon生成掉落物

CentOS 7安装教程(图文详解)_centos 安装-程序员宅基地

文章浏览阅读10w+次,点赞487次,收藏2.1k次。CentOS 7安装教程: 准备: 软件:VMware Workstation 镜像文件:CentOS-7-x86_64-bin-DVD1.iso (附:教程较为详细,注释较多,故将操作的选项进行了加粗字体显示。) 1、文件--新建虚拟机--自定义 2、..._centos 安装

随便推点

Github项目分享——免费的画图工具drow,前端插件化面试_draw github画图-程序员宅基地

文章浏览阅读333次,点赞3次,收藏3次。项目介绍一款很好用的免费画图软件,支持ER图、时序图、流程图等等在项目的releases就可以下载最新版本同时支持在线编辑。_draw github画图

如何开始学习人工智能?入门的学习路径和资源是什么?_人工智能学习路径-程序员宅基地

文章浏览阅读930次。嗨,大家好!如果你对人工智能充满了好奇,并且想要入门这个领域,那么你来对地方了。本文将向你介绍如何从零基础开始学习人工智能,并逐步掌握核心概念和技能。无论你是大学生、职场新人还是对人工智能感兴趣的任何人,都可以按照以下学习路径逐步提升自己。_人工智能学习路径

Unity3D 导入资源_unity怎么导入压缩包-程序员宅基地

文章浏览阅读4.3k次,点赞2次,收藏8次。打开Unity3D的:window-asset store就会出来这样的界面:我们选择一个天空纹理,注意这里的标签只有一个,如果有多个就会显示所有标签的内容:找个比较小的免费的下载一下试试,比如这个:下载以后:点击import就会出现该窗口:然后再点击最底下的import:就导入到我们这里来了。从上面可以切换场景:..._unity怎么导入压缩包

jqgrid 服务器端验证,javascript – jqgrid服务器端错误消息/验证处理-程序员宅基地

文章浏览阅读254次。在你以前的问题的the answer的最后一部分,我试着给出你当前的问题的答案.也许我表示不够清楚.您不应该将错误信息放在标准成功响应中.您应该遵循用于服务器和客户端之间通信的HTTP协议的主要规则.根据HTTP协议实现网格中的加载数据,编辑行和与服务器的所有Ajax通信.每个HTTP响应都有响应第一行的状态代码.了解这个意义非常重要.典型的JSON数据成功请求如下HTTP/1.1 200 OK...._decode message error

白山头讲PV: 用calibre进行layout之间的比对-程序员宅基地

文章浏览阅读4k次,点赞8次,收藏29次。我们在流片之后,通常还是有机会对layout进行局部小的修改。例如metal change eco或者一些层次的局部修改。当我们修改之后,需要进行与之前gds的对比,以便确认没有因为某些..._calibre dbdiff

java exit方法_Java:如何测试调用System.exit()的方法?-程序员宅基地

文章浏览阅读694次。问题我有一些方法应该在某些输入上调用567779278。不幸的是,测试这些情况会导致JUnit终止!将方法调用放在新线程中似乎没有帮助,因为System.exit()终止了JVM,而不仅仅是当前线程。是否有任何常见的处理方式?例如,我可以将存根替换为System.exit()吗?[编辑]有问题的类实际上是一个命令行工具,我试图在JUnit中测试。也许JUnit根本不适合这份工作?建议使用互补回归测..._检查system.exit