赞
踩
对象存储到底是个什么鬼
小小河
2016-7-23
存储圈真会玩,块存储、文件存储、混合存储,今年又火了一个对象存储。银行,公安局,各大单位一言不合就换成对象存储,有时候真怀疑IT部门的单身狗只是单纯地看上“对象”这两个字了。因为有很多人在问:对象存储的定义是什么?什么叫做对象存储?
对象存储(Object Storage)的始作俑者是亚马逊2006年推出的S3(Simple Storage Service),此后新老厂商一窝蜂地推出各种产品,形态各异,但都号称对象存储。亚马逊没有给出一个定义,也没有看到有业界普通接受的说法,码农也是从自己角度各说各话,夹杂着成堆的缩写名词。
各家产品差异较大,因此从实现技术上定义对象存储比较困难。但从应用场景上理解就相当简单,它的特征如下。
远程访问。对象存储为云计算而生,存储设备在数据中心,用户遍布世界各地,必须通过互连网访问。最好的广域网访问当然是http了,实际上S3协议就是在http的基础上定义的。传统的块存储要求与达客户端之间的延时很小(例如1 ms),因此使用线缆直连或者专用低延时网络连接,相距很近。文件存储称微放松对延时的要求,但仍要求存储设备与客户端位于同一个网段,即一个局域网之内,也不能距离太远。
海量用户。云计算公司至少要计划支持上亿用户吧,否则也太没出息了。各个用户之间还要能够相互授权,例如小红把自己的视频授权给小军看,存储系统要保证其它用户看不到,否则会泄露隐私。传统文件存储也有多租户功能,但它支持的用户数量较少,撑死几千几万个,而且不能把一个文件的权限分享给相互独立的若干个用户。
无限扩容。海量用户自然带来海量的数据,云计算公司自然不到傻到一次采购大量的设备,总是随着数据的增长持续扩容。多大容量是个头呢?没头,永远用不完,无限。相应地,支持的文件数量也要无限个。
廉价。传统存储基本都采用定制硬件,而且厂商故意模糊硬件信息,黑盒子一样,比价困难。银行、电信运营商等单位的数据价值密度高,还土豪不差钱,买得起。而存到云上的数据(视频、照片等)价值密度很低,例如,视频监控数据在不出事的时候就是垃圾。没人会为存放这些数据花大价钱,也花不起。因此,对象存储想尽办法降低成本。
这四个根本特征共同定义了对象存储。如果非要用一句话来概括,那么我希望是:对象存储是支持海量用户远程访问的无限容量廉价存储系统。
从根本特征出发,就能推导出各种表象。
扁平目录结构。数据中心的服务器成千上万台,可能每天都有服务器出故障,会频繁更换设备。如果采用传统的树形目录↓↓↓,一台设备损坏或者扩容时,就需要将巨型目录树中的数据重新分配均衡,实施起来很复杂。索性大幅简化,只保留二级目录结构↓↓↓:根下直接就是桶(bucket,对应Windows下的文件夹),桶中直接存放对象(object,对应Windows下的文件),桶中不能再建桶(禁止多层文件夹)。这样以来,元数据结构十分简单,移动方便。
传输加密:跨越广域网,防止被窃听。
重复数据删除:可能很多用户都上传了同一部电影,只保留一份即可,节省存储空间。
计费信息:云计算公司费这么大劲,为的不就是挣钱吗?
通用服务器:出货量大,竞争激烈,价格低,省成本。
分区下电:省电费。
支持NAS/HDFS接口:兼容老的应用软件,使用户业务更容易迁到云端;便于在云端就近做大数据分析。
存储端加密:防止数据被盗,打消客户的安全顾虑。
剥掉唬的人术语,技术其实挺简单的,你说呢?
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。