一、基于hadoop的云存储实例

基于Hadoop平台的云存储应用实践

云计算（CloudComputing）是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。用户通过电脑、笔记本、手机等方式接人数据中心，按自己的需求进行运算。目前，对于云计算仍没有普遍一致的定义。结合上述定义，可以总结出云计算的一些本质特征，即分布式计算和存储特性、高扩展性、用户友好性、良好的管理性。

1云存储架构图

橘色的作为存储节点（StorageNode）负责存放文件，蓝色作为控制节点（（ControlNode）则是负责文件索引，并负责监控存储节点间容量及负载的均衡，这两个部分合起来便组成一个云存储。存储节点与控制节点都是单纯的服务器，只是存储节点的硬盘多一些，存储节点服务器不需要具备RAID的功能，只要能安装Linux即可，控制节点为了保护数据，需要有简单的RAIDlevelO1的功能。

云存储不是要取代现有的盘阵，而是为了应付高速成长的数据量与带宽而产生的新形态存储系统，因此云存储在设计时通常会考虑以下三点：

（1）容量、带宽的扩容是否简便

扩容是不能停机，会自动将新的存储节点容量纳入原来的存储池。不需要做繁复的设定。

图1云存储架构图

（2）带宽是否线形增长

使用云存储的客户，很多是考虑未来带宽的增长，因此云存储产品设计的好坏会产生很大的差异，有些十几个节点便达到饱和，这样对未来带宽的扩容就有不利的影响，这一点要事先弄清楚，否则等到发现不符合需求时，已经买了几百TB，后悔就来不及了。

（3）管理是否容易。

2云存储关键技术

云存储必须具备九大要素：①性能;②安全性;③自动ILM存储;④存储访问模式;⑤可用性;⑥主数据保护;⑦次级数据保护;⑧存储的灵活;⑨存储报表。

云计算的发展离不开虚拟化、并行计算、分布式计算等核心技术的发展成熟。下面对其介绍如下：

（1）集群技术、网格技术和分布式文件系统

云存储系统是一个多存储设备、多应用、多服务协同工作的**体，任何一个单点的存储系统都不是云存储。

既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。如果没有这些技术的存在，云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结构。

（2）CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。如果云存储中的数据安全得不到保证，也没有人敢用云存储了。

（3）存储虚拟化技术、存储网络化管理技术

云存储中的存储设备数量庞大且分布多在不同地域，如何实现不同厂商、不同型号甚至于不同类型（例如FC存储和IP存储）的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。

二、Linux里面raid和lvm区别是什么

LVM:主要侧重动态磁盘扩容

全称逻辑卷管理，是一个动态扩展磁盘分区容量的功能性工具，对于测试环境，可以用来管理磁分区满了，扩容，但是在大规模环境性能低下，尽量不要使用它。

RAID:主要侧重磁盘性能和数据安全

磁盘阵列可以把多个磁盘驱动器通过不同的连接方式连接在一起协同工作，大大提高了读取速度，同时把磁盘系统的可靠性提高到接近无错的境界，使其可靠性极高。

用RAID直接的好处是：

1）提升数据安全性。2）提升数据读写性能。3）提供更大的单一逻辑磁盘数据容量存储。

三、IBM存储器中的池和卷是什么概念

物理卷(Physical Volume, PV)：LVM是*作系统识别到的物理磁盘(或者RAID提交的逻辑磁盘LUN)改了个叫法，叫物理卷，物理卷可以是一个磁盘，也可以是磁盘中的一个分区。它为LVM提供了存储介质。

•逻辑卷组(Logical Volume Group, LVG)：多个PV可以被逻辑的放到一个VG中，逻辑卷组是一个虚拟的打存储空间，逻辑上是连续的，它可以由多块PV组成，此时VG会将所有PV首尾相连，组成一个逻辑上连续编址的大存储池，这就是VG。在一个VG上可以创建多个逻辑卷(LV)。

•物理区块(Physical Partion)：它是在逻辑上再将一个VG分割成连续的小块（注意，是逻辑上的分割，而不是物理上），也就是说LVM会记录每个PP的大小(具体有几个扇区组成啊)，还会记录PP的序号偏移。这样就相当于在VG这个大池中顺序切割，比如我们假设一个PP的大小是4MB，那么由之前的知识知道一个扇区是512B,所以4MB/512B=8192个扇区。 如果PV是实际的一块物理磁盘，那么这些扇区就是连续的。如果PV本身是经过RAID控制器虚拟化形成的虚拟盘（LUN），那么这些扇区可能位于若干条带中：也就是说这8192个扇区物理上不一定连续。