一、如何构建高可用的分布式系统

开源软件已经成为许多大型网站的基本组成部分，随着这些网站的逐步壮大，他们的网站架构和一些指导原则也出现在开发者们的面前，给予切实有用的指导和帮助。本文旨在介绍一些核心问题以及通过构建模块来制作大型网站，实现终目标。这篇文章主要侧重于Web系统，并且也适用于其他分布式系统。 Web分布式系统设计的原则构建并运营一个可伸缩的Web站点或应用程序到底指的是什么?在初，仅是通过互联网连接用户和访问远程资源。和大多数事情一样，当构建一个Web服务时，需要提前抽出时间进行规划。了解大型网站创建背后的注意事项以及权衡可能会给你带来更加明智的决策，当你在创建小网站时。下面是设计大型Web系统时，需要注意的一些核心原则： 1.可用性 2.性能 3.可靠性 4.可扩展 5.易管理 6.成本上面的这些原则给设计分布式Web架构提供了一定的基础和理论指导。然而，它们也可能彼此相左，例如实现这个目标的代价是牺牲成本。一个简单的例子：选择地址容量，仅通过添加更多的服务器(可伸缩性)，这个可能以易管理(你不得不*作额外的服务器)和成本作为代价(服务器价格)。无论你想设计哪种类型的Web应用程序，这些原则都是非常重要的，甚至这些原则之间也会互相羁绊，做好它们之间的权衡也非常重要。基础当涉及到系统架构问题时，这几件事情是必须要考虑清楚的：什么样的模块比较合适?如何把它们组合在一起?如何进行恰当地权衡?在扩大投资之前，它通常需要的并不是一个精明的商业命题，然而，一些深谋远虑的设计可以帮你在未来节省大量的时间和资源。讨论的重点几乎是构建所有大型Web应用程序的核心：服务、冗余、分区和故障处理能力。这里的每个因素都会涉及到选择和妥协，特别是前面所讨论的那些原则。解释这些核心的佳办法就是举例子。图片托管应用程序有时，你会**上传图片，而一些大型网站需要托管和传送大量的图片，这对于构建一个具有成本效益、高可用性并具有低延时(快速检索)的架构是一项挑战。在一个图片系统中，用户可以上传图片到一个**服务器里，通过网络连接或API对这些图片进行请求，就像Flickr或者Picasa。简单点，我们就假设这个应用程序只包含两个核心部分：上传(写)图片和检索图片。图片上传时好能够做到高效，传输速度也是我们关心的，当有人向图片发出请求时(例如是一个Web页面或其他应用程序)。这是非常相似的功能，提供Web服务或内容分发网络(一个CDN服务器可以在许多地方存储内容，所以无论是在地理上还是物理上都更加接近用户，从而导致更快的性能)边缘服务器。该系统需要考虑的其他重要方面： 1.图片存储的数量是没有限制的，所以存储应具备可伸缩，另外图片计算也需要考虑 2.**/请求需要做到低延迟 3.用户上传一张图片，那么图片就应该始终在那里(图片数据的可靠性) 4.系统应该易于维护(易管理) 5.由于图片托管不会有太高的利润空间，所以系统需要具备成本效益图1是个简化的功能图图1图片托管系统的简化结构图在这个例子中，系统必须具备快速、数据存储必须做到可靠和高度可扩展。构建一个小型的应用程序就微不足道了，一台服务器即可实现托管。如果这样，这篇文章就毫无兴趣和吸引力了。假设我们要做的应用程序会逐渐成长成Flickr那么大。服务当我们考虑构建可伸缩的系统时，它应有助于解耦功能，系统的每个部分都可以作为自己的服务并且拥有清晰的接口定义。在实践中，这种系统设计被称作面向服务的体系结构(SOA)。对于此类系统，每个服务都有它自己的独特功能，通过一个抽象接口可以与外面的任何内容进行互动，通常是面向公众的另一个服务 API。把系统分解成一组互补性的服务，在互相解耦这些*作块。这种抽象有助于在服务、基本环境和消费者服务之间建立非常清晰的关系。这种分解可以有效地隔离问题，每个块也可以互相伸缩。这种面向服务的系统设计与面向对象设计非常相似。在我们的例子中，所有上传和检索请求都在同一台服务器上处理。然而，因为系统需要具备可伸缩性，所以把这两个功能打破并集成到自己的服务中是有意义的。快进并假设服务正在大量使用;在这种情况下，很容易看到写图片的时间对读图片时间有多大影响(他们两个功能在彼此竞争共享资源)。根据各自体系，这种影响会是巨大的。即使上传和**速度相同(这是不可能的，对于大多数的IP网络来说，**速度：上传速度至少是3:1)，通常，文件可以从缓存中读取，而写入，终是写到磁盘中(也许在终一致的情况下，可以被多写几次)。即使是从缓存或者磁盘(类似SSD)中读取，数据写入都会比读慢(Pole Position，一个开源DB基准的开源工具和结果)。这种设计的另一个潜在问题是像Apache或者Lighttpd这些Web服务器通常都会有一个并发连接数上限(默认是500，但也可以更多)，这可能会花费高流量，写可能会迅速消掉所有。既然读可以异步或利用其他性能优化，比如gzip压缩或分块传输代码，Web服务可以快速切换读取和客户端来服务于更多的请求，超过每秒的大连接数(Apache的大连接数设置为500，这种情况并不常见，每秒可以服务几千个读取请求)。另一方面，写通常倾向于保持一个开放的链接进行持续上传，所以，使用家庭网络上传一个1 MB的文件花费的时间可能会超过1秒，所以，这样的服务器只能同时满足500个写请求。图2：读取分离规划这种瓶颈的一个非常好的做法是把读和写进行分离，如图2所示。这样我们就可以对它们单独进行扩展(一直以来读都比写多)但也有助于弄明白每个点的意思。这种分离更易于排除故障和解决规模方面问题，如慢读。这种方法的优点就是我们能够彼此独立解决问题——在同种情况下，无需写入和检索*作。这两种服务仍然利用全球语料库的图像，但是他们可以自由地优化性能和服务方法(例如排队请求或者缓存流行图片——下面会介绍更多)。从维护和成本角度来看，每一个服务都可以根据需要独立进行扩展，但如果把它们进行合并或交织在一起，那么有可能无意中就会对另一个性能产生影响，如上面讨论的情景。当然，如果你有两个不同的端点，上面的例子可能会运行的很好(事实上，这非常类似于几个云存储供应商之间的实现和内容分发网络)。虽然有很多种方法可以解决这些瓶颈，但每个人都会有不同的权衡，所以采用适合你的方法才是重要的。例如，Flickr解决这个读/写问题是通过分发用户跨越不同的碎片，每个碎片只能处理一组用户，但是随着用户数的增加，更多的碎片也会相应的添加到群集里(请参阅Flickr的扩展介绍)。在第一个例子中，它更容易基于硬件的实际用量进行扩展(在整个系统中的读/写数量)，而Flickr是基于其用户群进行扩展(but forces the assumption of equal usage across users so there can be extra capacity)。而前面的那个例子，任何一个中断或者问题都会降低整个系统功能(例如任何人都没办法执行写*作)，而Flickr的一个中断只会影响到其所在碎片的用户数。在第一个例子中，它更容易通过整个数据集进行*作——例如，更新写服务，包括新的元数据或者通过所有的图片元数据进行搜索——而 Flickr架构的每个碎片都需要被更新或搜索(或者需要创建一个搜索服务来收集元数据——事实上，他们就是这样做的)。当谈到这些系统时，其实并没有非常正确的答案，但有助于我们回到文章开始处的原则上看问题。确定系统需求(大量的读或写或者两个都进行、级别并发、跨数据查询、范围、种类等等)，选择不同的基准、理解系统是如何出错的并且对以后的故障发生情况做些扎实的计划。冗余为了可以正确处理错误，一个Web架构的服务和数据必须具备适当的冗余。例如，如果只有一个副本文件存储在这台单独的服务器上，那么如果这台服务器出现问题或丢失，那么该文件也随即一起丢失。丢失数据并不是什么好事情，避免数据丢失的常用方法就是多创建几个文件或副本或冗余。同样也适用于服务器。如果一个应用程序有个核心功能，应确保有多个副本或版本在同时运行，这样可以避免单节点失败。在系统中创建冗余，当系统发生危机时，如果需要，可以消除单点故障并提供备份或备用功能。例如，这里有两个相同的服务示例在生产环境中运行，如果其中一个发生故障或者降低，那么该系统容错转移至那个健康的副本上。容错转移可以自动发生也可以手动干预。服务冗余的另一重要组成部分是创建一个无共享架构。在这种体系结构中，每个节点都能相互独立运行，并且没有所谓的**“大脑”管理状态或协调活动其他节点。这对系统的可扩展帮助很大，因为新节点在没有特殊要求或知识的前提下被添加。然而，重要的是，这些系统是没有单点故障的，所以失败的弹性就更大。例如在我们的图片服务器应用程序中，所有的图片在另一个硬件上都有冗余副本(理想情况下是在不同的地理位置，避免在数据中心发生一些火灾、地震等自然事故)，服务去访问图片将被冗余，所有潜在的服务请求。(参见图3：采用负载均衡是实现这点的好方法，在下面还会介绍更多方法)图3图片托管应用程序冗余分区数据集有可能非常大，无法安装在一台服务器上。也有可能这样，某*作需要太多的计算资源、性能降低并且有必要增加容量。在这两种情况下，你有两种选择：纵向扩展或横向扩展。纵向扩展意味着在单个服务器上添加更多的资源。所以，对于一个非常大的数据集来说，这可能意味着添加更多(或更大)的硬件设备，来使一台服务器能容下整个数据集。在计算*作下，这可能意味着移动计算到一个更大的服务器上，拥有更快的CPU或更大的内存。在各种情况下，纵向扩展可以通过提升单个资源的处理能力来完成。横向扩展在另一方面是添加更多的节点，在大数据集下，这可能会使用第二服务器来存储部分数据集，对于计算资源来说，这意味着分割*作或跨节点加载。为了充分利用横向扩展，它应作为一种内在的系统架构设计原则，否则修改或拆分*作将会非常麻烦。当谈到横向扩展时，常见的做法是把服务进行分区或碎片。分区可以被派发，这样每个逻辑组的功能就是独立的。可以通过地理界限或其他标准，如非付费与付费用户来完成分区。这些方案的优点是他们会随着容量的增加提供一个服务或数据存储。在我们的图片服务器案例中，用来存储图片的单个文件服务器可能被多个文件服务器取代，每个里面都会包含一套自己独特的图像。(见图4)这种架构将允许系统来填充每一个文件/图片服务器，当磁盘填满时会添加额外的服务器。这样的设计需要一个命名方案，用来捆绑图片文件名到其相应的服务器上。图像名字可以形成一个一致的哈希方案并映射到整个服务器上;或者给每张图片分配一个增量ID，当客户端对图片发出请求时，图片检索服务只需要检索映射到每个服务器上(例如索引)的ID。图4图片托管应用程序冗余和分区当然，跨越多个服务器对数据或功能进行分区还是有许多挑战的。其中的关键问题是数据本地化。在分布式系统中，数据*作或计算点越接近，系统性能就会越好。因此，它也可能是个潜在问题，当数据分散在多个服务器上时。有时数据不是在本地，那么就要迫使服务器通过网络来获取所需的信息，这个获取的过程就会设计到成本。另一潜在问题是不一致。当这里有多个服务对一个共享资源执行读写*作时，潜在可能会有另一个服务器或数据存储参与进来，作为竞选条件——一些数据需要更新，但是读的优先级高于更新——在这种情况下，数据就是不一致的。例如在图片托管方案中，有可能出现的不一致是：如果一个客户端发送更新“狗”图片请求，进行重新命名，把“Dog”改成“Gizmo”，但同时，另一个客户端正在读这张图片。在这种情况下，标题就是不清楚的。“Dog”或“Gizmo”应该被第二个客户端接收。当然，在进行数据分区时会产生一些障碍，但是分区允许把每个问题拆分到管理群里——通过数据、负载、使用模式等。这样对可扩展和易管理都是有帮助的，但也不是没有风险的。这里有很多方式来降低风险和故障处理;然而，为了简便起见，并未在本文中详细说明，如果你有兴趣，可以访问我的博客。总结以上介绍的都是设计分布式系统需要考虑的核心要素。可用性、性能、可靠性、可扩展、易管理、成本这几个原则非常重要，但在实际应用中可能会以牺牲某个原则来实现另外一个原则，在这个过程中就要做好权衡工作，做到因时制宜。在下面的构建分布式系统实战中，我们将会深入介绍如何设计可扩展的数据访问，包括负载均衡、代理、全局缓存、分布式缓存等。英文地址：Dr.Dobb's文：CSDN

二、分布式是什么

分布式系统是建立在网络上的软件系统。处理协助任务，然后整合结果。在分布式系统中，一组独立的计算机向用户呈现一个统一的整体，就像一个系统一样。系统具有多种通用的物理和逻辑资源，可以动态分配任务，分散的物理和逻辑资源可以通过计算机网络实现信息交换。系统中有一个分布式*作系统，以全局方式管理计算机资源。通常，对于用户来说，分布式系统只有一个模型或范例。在*作系统之上，一个软件中间件层负责实现这个模型。分布式系统的一个著名例子是万维网，在万维网中，一切看起来都像一个文档(网页)。在计算机网络中，这种统一性、模型和软件是不存在的。用户看到的是实际的机器，计算机网络并没有让这些机器看起来千篇一律。如果这些机器有不同的硬件或不同的*作系统，那么这些差异对用户来说是完全可见的。如果用户想要在远程机器上运行程序，他必须登录到远程机器上并在该机器上运行程序。分布式系统和计算机网络系统的共同点是大部分分布式系统都是建立在计算机网络上的，所以分布式系统和计算机网络的物理结构基本相同。两者的区别在于分布式*作系统和网络*作系统的设计思想不同，这就决定了它们在结构、工作方式和功能上也是不同的。网络*作系统要求网络用户在使用网络资源时首先了解网络资源。网络用户必须了解网络中每台计算机的功能和配置、软件资源和网络文件结构。如果用户想要读取网络中的共享文件，他们必须知道该文件放在哪个计算机和目录中。分布式*作系统以全局方式管理系统资源，可以随意为用户调度网络资源，调度过程“透明”。当用户提交作业时，分布式*作系统可以根据需要选择系统中合适的处理器，将用户的作业提交给处理程序，在处理程序完成作业后将结果传递给用户。在这个过程中，用户并没有意识到多个处理器的存在，系统就像一个处理器。

三、分布式存储是什么

什么是分布式存储系统？

就是将数据分散存储在多***立的设备上

分布式存储是什么？选择什么样的分布式存储更好？

分布式存储系统，是将数据分散存储在多***立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

联想超融合ThinkCloud AIO超融合云一体机是联想针对企业级用户推出的核心产品。ThinkCloud AIO超融合云一体机实现了对云管理平台、计算、网络和存储系统的无缝集成，构建了云计算基础设施即服务的一站式解决方案，为用户提供了一个高度简化的一站式基础设施云平台。这不仅使得业务部署上线从周缩短到天，而且与企业应用软件、中间件及数据库软件完全解耦，能够有效提升企业IT基础设施运维管理的效率和关键应用的性能

什么是分布式数据存储

定义：

分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获取更大的存储容量和更高的并发访问量。近年来，随着数据量的高速增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式架构发展，基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下，从集中式存储走向分布式存储，从集中式计算走向分布式计算。

特点：

1.高可扩展性：分布式数据库必须具有高可扩展性，能够动态地增添存储节点以实现存储容量的线性扩展。

2高并发性：分布式数据库必须及时响应大规模用户的读/写请求，能对海量数据进行随机读/写。

3.高可用性：分布式数据库必须提供容错机制，能够实现对数据的冗余备份，保证数据和服务的高度可靠性。

分布式块存储和分布式文件存储有是什么区别

分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。但是分布式文件系统比较暴力，可以当做key/value的存取。分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元组的schema，存入取出删除的粒度较小。

分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。分布式数据库现在出名的有Hbase，oceanbase。其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。

统一存储和融合存储以及分布式存储的区别

统一存储具体概念：

统一存储，实质上是一个可以支持基于文件的网络附加存储（NAS）以及基于数据块的SAN的网络化的存储架构。由于其支持不同的存储协议为主机系统提供数据存储，因此也被称为多协议存储。

基本简介：

统一存储（有时也称网络统一存储或者NUS）是一个能在单一设备上运行和管理文件和应用程序的存储系统。为此，统一存储系统在一个单一存储平台上整合基于文件和基于块的访问，支持基于光纤通道的SAN、基于IP的SAN（iSCSI）和NAS（网络附加存储）。

工作方式：

既然是一个集中化的磁盘阵列，那么就支持主机系统通过IP网络进行文件级别的数据访问，或通过光纤协议在SAN网络进行块级别的数据访问。同样，iSCSI亦是一种非常通用的IP协议，只是其提供块级别的数据访问。这种磁盘阵列配置多端口的存储控制器和一个管理接口，允许存储管理员按需创建存储池或空间，并将其提供给不同访问类型的主机系统。通常的协议一般都包括了NAS和FC，或iSCSI和FC。当然，也可以同时支持上述三种协议的，不过一般的存储管理员都会选FC或iSCSI中的一种，它们都提供块级别的访问方式，和文件级别的访问方式（NAS方式）组成统一存储。

分布式存储支持多节点，节点是什么，一个磁盘还是一个主控？

一个节点是存储节点的简称，存储节点一般是一个存储服务器（必然带控制器），服务器之间通过高速网络互连。

现在越来越多的存储服务器使用arm CPU+磁盘阵列节省能耗，提高“容量能耗比”。

分布式文件系统有哪些主要的类别？

分布式存储在大数据、云计算、虚拟化场景都有勇武之地，在大部分场景还至关重要。munity.emc/message/655951下面简要介绍*nix平台下分布式文件系统的发展历史：

1、单机文件系统

用于*作系统和应用程序的本地存储。

2、网络文件系统（简称：NAS）

基于现有以太网架构，实现不同服务器之间传统文件系统数据共享。

3、集群文件系统

在共享存储基础上，通过集群锁，实现不同服务器能够共用一个传统文件系统。

4、分布式文件系统

在传统文件系统上，通过额外模块实现数据跨服务器分布，并且自身集成raid保护功能，可以保证多台服务器同时访问、修改同一个文件系统。性能优越，扩展性很好，成本低廉。

分布式存储都有哪些，并阐述其基本实现原理

神州云科 DCN NCS DFS2000（简称DFS2000）系列是面向大数据的存储系统，采用分布式架构，真正的分布式、全对称群集体系结构，将模块化存储节点与数据和存储管理软件相结合，跨节点的客户端连接负载均衡，自动平衡容量和性能，优化集群资源，3-144节点无缝扩展，容量、性能岁节点增加而线性增长，在 60秒钟内添加一个节点以扩展性能和容量。

什么是Hadoop分布式文件系统 10分

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通浮计算机网络与节点相连。

Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分散式档案系统，与MapReduce和Google档案系统的概念类似。

HDFS（Hadoop分布式文件系统）是其中的一部分。

分布式文件存储系统采用什么方式

一。分布式Session的几种实现方式1.基于数据库的Session共享2.基于NFS共享文件系统3.基于memcached的session，如何保证 memcached本身的高可用性？4.基于resin/tomcat web容器本身的session**机制5.基于TT/Redis或 jbosscache进行 session共享。6.基于cookie进行session共享或者是：一、Session Replication方式管理(即session**)简介：将一台机器上的Session数据广播**到集群中其余机器上使用场景：机器较少，网络流量较小优点：实现简单、配置较少、当网络中有机器Down掉时不影响用户访问缺点：广播式**到其余机器有一定廷时，带来一定网络开销二、Session Sticky方式管理简介：即粘性Session、当用户访问集群中某台机器后，强制指定后续所有请求均落到此机器上使用场景：机器数适中、对稳定性要求不是非常苛刻优点：实现简单、配置方便、没有额外网络开销缺点：网络中有机器Down掉时、用户Session会丢失、容易造成单点故障三、缓存集中式管理简介：将Session存入分布式缓存集群中的某台机器上，当用户访问不同节点时先从缓存中拿Session信息使用场景：集群中机器数多、网络环境复杂优点：可靠性好缺点：实现复杂、稳定性依赖于缓存的稳定性、Session信息放入缓存时要有合理的策略写入二。Session和Cookie的区别和联系以及Session的实现原理1、session保存在服务器，客户端不知道其中的信息；cookie保存在客户端，服务器能够知道其中的信息。 2、session中保存的是对象，cookie中保存的是字符串。 3、session不能区分路径，同一个用户在访问一个网站期间，所有的session在任何一个地方都可以访问到。而cookie中如果设置了路径参数，那么同一个网站中不同路径下的cookie互相是访问不到的。 4、session需要借助cookie才能正常工作。如果客户端完全禁止cookie，session将失效。是无状态的协议，客户每次读取web页面时，服务器都打开新的会话......