摘要：分布式与集群的区别是什么？简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。 例如： 如果一个任务由10个子任务组成，每个子任务单独执行需1...

分布式与集群的区别是什么？

简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

例如： 如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。

采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。

（这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型） 而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。

假设有10个任务同时到达，10个服务器将同时工作，10小后，10个任务同时完成，这样，整身来看，还是1小时内完成一个任务！ 以下是摘抄自网络文章： 一、集群概念 1. 两大关键特性 集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。

在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。

与单一服务实体相比较，集群提供了以下两个关键特性： · 可扩展性--集群的性能不限于单一的服务实体，新的服务实体可以动态地加入到集群，从而增强集群的性能。

· 高可用性--集群通过服务实体冗余使客户端免于轻易遇到out of service的警告。

在集群中，同样的服务可以由多个服务实体提供。

如果一个服务实体失败了，另一个服务实体会接管失败的服务实体。

集群提供的从一个出 错的服务实体恢复到另一个服务实体的功能增强了应用的可用性。

2. 两大能力 为了具有可扩展性和高可用性特点，集群的必须具备以下两大能力： · 负载均衡--负载均衡能把任务比较均衡地分布到集群环境下的计算和网络资源。

· 错误恢复--由于某种原因，执行某个任务的资源出现故障，另一服务实体中执行同一任务的资源接着完成任务。

这种由于一个实体中的资源不能工作，另一个实体中的资源透明的继续完成任务的过程叫错误恢复。

负载均衡和错误恢复都要求各服务实体中有执行同一任务的资源存在，而且对于同一任务的各个资源来说，执行任务所需的信息视图（信息上下文）必须是一样的。

3. 两大技术 实现集群务必要有以下两大技术： · 集群地址--集群由多个服务实体组成，集群客户端通过访问集群的集群地址获取集群内部各服务实体的功能。

具有单一集群地址（也叫单一影像）是集群的一个基本特征。

维护集群地址的设置被称为负载均衡器。

负载均衡器内部负责管理各个服务实体的加入和退出，外部负责集群地址向内部服务实体地址的转换。

有的负载均衡器实现真正的负载均衡算法，有的只支持任务的转换。

只实现任务转换的负载均衡器适用于支持ACTIVE-STANDBY的集群环境，在那里，集群中只有一个服务实体工作，当正在工作的服务实体发生故障时，负载均衡器把后来的任务转向另外一个服务实体。

· 内部通信--为了能协同工作、实现负载均衡和错误恢复，集群各实体间必须时常通信，比如负载均衡器对服务实体心跳测试信息、服务实体间任务执行上下文信息的通信。

具有同一个集群地址使得客户端能访问集群提供的计算服务，一个集群地址下隐藏了各个服务实体的内部地址，使得客户要求的计算服务能在各个服务实体之间分布。

内部通信是集群能正常运转的基础，它使得集群具有均衡负载和错误恢复的能力。

二、集群分类 Linux集群主要分成三大类（高可用集群， 负载均衡集群，科学计算集群）高可用集群（High Availability Cluster）负载均衡集群（Load Balance Cluster）科学计算集群（High Performance Computing Cluster） 具体包括： Linux High Availability 高可用集群 （普通两节点双机热备，多节点HA集群，RAC, shared, share-nothing集群等） Linux Load Balance 负载均衡集群 （LVS等....） Linux High Performance Computing 高性能科学计算集群 （Beowulf 类集群....） 三、详细介绍 1. 高可用集群（High Availability Cluster） 常见的就是2个节点做成的HA集群，有很多通俗的不科学的名称，比如＂双机热备＂，＂双机互备＂，＂双机＂。

高可用集群解决的是保障用户的应用程序持续对外提供服务的能力。

（请注意高可用集群既不是用来保护业务数据的，保护的是用户的业务程序对外不间断提供服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度）。

2. 负载均衡集群（Load Balance Cluster） 负载均衡系统：集群中所有的节点都处于活动状态，它们分摊系统的工作负载。

一般Web服务器集群、数据库集群和应用服务器集群都属于这种类型。

负载均衡集群一般用于相应网络请求的网页服务器，数据库服务器。

这种集群可以在接到请求时，检查接受请求较少，不繁忙的服务器，并把请求转到这些服务器上。

从检查其他服务器状态这一点上看，负载均衡和容错集群很接近，不同之处是数量上更多。

3. 科学计算集群（High Performance Computing Cluster） 高性能计算（High Perfermance Computing）集群，简称HPC集群。

这类集群致力于提供单个计算机所不能提供的强大的计算能力。

3.1 高性能计算分类 3.1.1 高吞吐计算（High-throughput ...

高性能计算集群hp 使用什么集群软件

越来越多的企业开始使用Hadoop来对大数据进行处理分析，但Hadoop集群的整体性能却取决于CPU、内存、网络以及存储之间的性能平衡。

而在这篇文章中，我们将探讨如何为Hadoop集群构建高性能网络，这是对大数据进行处理分析的关键所在。

关于Hadoop “大数据”是松散的数据集合，海量数据的不断增长迫使企业需要通过一种新的方式去管理。

大数据是结构化或非结构化的多种数据类型的大集合。

而Hadoop则是Apache发布的软件架构，用以分析PB级的非结构化数据，并将其转换成其他应用程序可管理处理的形式。

Hadoop使得对大数据处理成为可能，并能够帮助企业可从客户数据之中发掘新的商机。

如果能够进行实时处理或者接近实时处理，那么其将为许多行业的用户提供强大的优势。

Hadoop是基于谷歌的MapReduce和分布式文件系统原理而专门设计的，其可在通用的网络和服务器硬件上进行部署，并使之成为计算集群。

Hadoop模型 Hadoop的工作原理是将一个非常大的数据集切割成一个较小的单元，以能够被查询处理。

同一个节点的计算资源用于并行查询处理。

当任务处理结束后，其处理结果将被汇总并向用户报告，或者通过业务分析应用程序处理以进行进一步分析或仪表盘显示。

为了最大限度地减少处理时间，在此并行架构中，Hadoop“movesjobstodata”，而非像传统模式那样“movingdatatojobs”。

这就意味着，一旦数据存储在分布式系统之中，在实时搜索、查询或数据挖掘等操作时，如访问本地数据，在数据处理过程中，各节点之间将只有一个本地查询结果，这样可降低运营开支。

Hadoop的最大特点在于其内置的并行处理和线性扩展能力，提供对大型数据集查询并生成结果。

在结构上，Hadoop主要有两个部分： Hadoop分布式文件系统（HDFS）将数据文件切割成数据块，并将其存储在多个节点之内，以提供容错性和高性能。

除了大量的多个节点的聚合I/O，性能通常取决于数据块的大小——如128MB。

而传统的Linux系统下的较为典型的数据块大小可能是4KB。

MapReduce引擎通过JobTracker节点接受来自客户端的分析工作，采用“分而治之”的方式来将一个较大的任务分解成多个较小的任务，然后分配给各个TaskTrack节点，并采用主站/从站的分布方式（具体如下图所示）：Hadoop系统有三个主要的功能节点：客户机、主机和从机。

客户机将数据文件注入到系统之中，从系统中检索结果，以及通过系统的主机节点提交分析工作等。

主机节点有两个基本作用：管理分布式文件系统中各节点以及从机节点的数据存储，以及管理Map/Reduce从机节点的任务跟踪分配和任务处理。

数据存储和分析处理的实际性能取决于运行数据节点和任务跟踪器的从机节点性能，而这些从机节点则由各自的主机节点负责沟通和控制。

从节点通常有多个数据块，并在作业期间被分配处理多个任务。

部署实施Hadoop 各个节点硬件的主要要求是市县计算、内存、网络以及存储等四个资源的平衡。

目前常用的并被誉为“最佳”的解决方案是采用相对较低成本的旧有硬件，部署足够多的服务器以应对任何可能的故障，并部署一个完整机架的系统。

Hadoop模式要求服务器与SAN或者NAS进行直接连接存储（DAS）。

采用DAS主要有三个原因，在标准化配置的集群中，节点的缩放数以千计，随着存储系统的成本、低延迟性以及存储容量需求不断提高，简单配置和部署个主要的考虑因素。

随着极具成本效益的1TB磁盘的普及，可使大型集群的TB级数据存储在DAS之上。

这解决了传统方法利用SAN进行部署极其昂贵的困境，如此多的存储将使得Hadoop和数据存储出现一个令人望而却步的起始成本。

有相当大一部分用户的Hadoop部署构建都是采用大容量的DAS服务器，其中数据节点大约1-2TB，名称控制节点大约在1-5TB之间，具体如下图所示：来源：BradHedlund,DELL公司 对于大多数的Hadoop部署来说，基础设施的其他影响因素可能还取决于配件，如服务器内置的千兆以太网卡或千兆以太网交换机。

上一代的CPU和内存等硬件的选择，可根据符合成本模型的需求，采用匹配数据传输速率要求的千兆以太网接口来构建低成本的解决方案。

采用万兆以太网来部署Hadoop也是相当不错的选择。

万兆以太网对Hadoop集群的作用 千兆以太网的性能是制约Hadoop系统整体性能的一个主要因素。

使用较大的数据块大小，例如，如果一个节点发生故障（甚至更糟，整个机架宕机），那么整个集群就需要对TB级的数据进行恢复，这就有可能会超过千兆以太网所能提供的网络带宽，进而使得整个集群性能下降。

在拥有成千上万个节点的大型集群中，当运行某些需要数据节点之间需要进行中间结果再分配的工作负载时，在系统正常运行过程中，某个千兆以太网设备可能会遭遇网络拥堵。

每一个Hadoop数据节点的目标都必须实现CPU、内存、存储和网络资源的平衡。

如果四者之中的任意一个性能相对较差的话，那么系统的潜在处理能力都有可能遭遇瓶颈。

添加的CPU和内存组建，将影响存储和网络的平衡，如何使Hadoop集群节点在处理数据时更有效率，减少结果...

当前主流分布式文件系统有哪些？

目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。

1.PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目，目前PVFS还存在以下不足： 1）单一管理节点：只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈； 2）对数据的存储缺乏容错机制：当某一I/O节点无法工作时，数据将出现不可用的情况； 3）静态配置：对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。

2.Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie Mellon University启动，Lustre也是一个开源项目。

它只有两个元数据管理节点，同PVFS类似，当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。

3.PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。

4.GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。

5.相对其它的文件系统，GPFS的主要优点有以下三点： 1）使用分布式锁管理和大数据块策略支持更大规模的集群系统，文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担； 2）拥有多个元数据服务器，元数据也是分布式，使得元数据的管理不再是系统瓶颈； 3）令牌管理以字节作为锁的最小单位，也就是说除非两个请求访问的是同一文件的同一字节数据，对于数据的访问请求永远不会冲突....

什么是cluster技术

而且可实现无缝切换？也就是说每年会有1%的非预计停机时间，让我们来具体算一下。

365（天 / 年）* 24（小时 / 天） * 1% = 87.6 （小时 /。

我的这些分类更偏重于工程而不是技术性。

1. HA集群实现高可用性，但对单个应用性能没有提高，Novell HA Server,Microsoft Cluster Server，但其购买价格和维护费用就将会上升几十倍甚至更多，不同的人有不同的理解，大家可以充分讨论，SUN Clusters, Veritas Cluster Server (FirstWatch). 基于系统切换的双机系统特点是利用双机。

典型市场产品：Novell SFT III,NeoHigh Rose HA，虽然这种商业性文章在公共社区里发表犯了大忌，Microsoft Windows NT Load Balance Service二.负载均衡负载均衡是提高系统性能的一种前沿技术。

还是沿用前面的例子，一台IA服务器的处理能力是每秒几万个，显然无法在一秒钟内处理几十万个请求，但如果我们能够有10台这样的服务器组成一个系统，如果有办法将所有的请求平均分配到所有的服务器，那么这个系统就拥有了每秒处理几十万个请求的能力。

这就是负载均衡的基本思想。

实际上，目前市场上有多家厂商的负载均衡产品。

由于其应用的主要技术的不同，也就有着不同的特点和不同的性能。

1.轮询DNS轮询DNS方案可以说是技术上最简单也最直观的一种方案。

当然，这种方案只能够实现负载均衡的功能，却无法实现对高可用性的保证。

它的原理是在DNS服务器中设定对同一个Internet主机名的多个IP地址的映射。

这样，在DNS收到查询主机名的请求时，会循环的将所有对应的IP地址逐个返回。

这样，就能够将不同的客户端连接定位到不同的IP主机上，也就能够实现比较简单的负载均衡功能。

但是，这种方案有两个比较致命的缺点：l 只能够实现对基于Internet主机名请求的负载均衡，如果是直接基于IP地址的请求则无能为力。

l 在集群内有节点发生故障的情况下，DNS服务器仍会将这个节点的IP地址返回给查询方，也就仍会不断的有客户请求试图与已故障的节电建立连接。

这种情况下，即使你手工修改DNS服务器的对应设置，将故障的IP地址删除，由于Internet上所有的DNS服务器都有缓存机制，仍会有成千上万的客户端连接不到集群，除非等到所有的DNS缓存都超时。

2.硬件解决方案有些厂商提供对负载均衡的硬件解决方案，制造出带有NAT（网络地址转换）功能的高档路由器或交换机来实现负载均衡功能。

NAT本身的原理就是实现多个私有IP地址对单个公共IP地址的转换。

代表产品是Cicso公司和Alteon公司的某些高档硬件交换机系列。

这种方案有如下缺点：l 由于采用了特殊的硬件，使得整个系统中存在非工业标准部件，极大的影响系统的扩充和维护、升级工作。

l 价格极其昂贵，和软件的解决方案根本是数量级上的差别。

l 一般只能实现对节点系统一级的状态检查，无法细化到服务一级的检查。

l 由于采用NAT机制，集群管理节点本身要完成的工作量很大，很容易成为整个系统的瓶颈。

l 此特殊硬件本身就是单一故障点。

l 实现异地节点的集群非常困难。

3.协商式处理（并行过滤）这种方案的原理是客户请求会同时被所有的节点所接收，然后所有节点按照一定的规则协商决定由哪个节点处理这个请求。

此种方案中比较显著的特点就是整个集群中没有显著的管理节点，所有决定由全体工作节点共同协商作出。

代表产品是Microsoft公司的Microsoft Load Balancing Service这种方案的特点是：l 由于各节点间要进行的通讯量太大，加重了网络的负担，一般需要增加节点通讯的专用网络，也就加大了安装和维护的难度和费用。

l 由于每个节点都要接收所有的客户请求并进行分析，极大的加大了网络驱动层的负担，也就减低了节点本身的工作效率，同时也时网络驱动层很容易成为节点系统的瓶颈。

l 由于要更改网络驱动层的程序，所以并不是一个通用的方案，只能够实现对特殊平台的支持。

l 在小量节点的情况下协商的效率还可以接受，一旦节点数量增加，通讯和协商将变得异常复杂和低效，整个系统的性能会有非线性的大幅度下降。

所以此类方案，一般在理论上也只允许最多十几个的节点。

l 无法实现异地节点的集群。

l 由于集群内没有统一的管理者，所以可能出现混乱的异常现象。

4.流量分发流量分发的原理是所有的用户请求首先到达集群的管理节点，管理节点可以根据所有服务节点的处理能力和现状来决定将这个请求分发给某个服务节点。

当某个服务节点由于硬件或软件原因故障时，管理节点能够自动检测到并停止向这个服务节点分发流量。

这样，既通过将流量分担而增加了整个系统的性能和处理能力，又可以很好的提高系统的可用性。

通过将管理节点本身做一个子集群可以消除由于管理节点自身的单一性带来的单一故障点。

有些传统技术人员认为，因为所有的客户流量都将通过管理节点，所以管理节点很容易成为整个系统的瓶颈。

但TurboCluster Server通过先进的直接路由或IP隧道转发机制巧妙的解决了问题。

使得所有对客户响应的流量都由服务节点直接返回给客户端，而并不需要再次通过管理节点。

众所周知，对于服务提供商而言，进入的流量要远远小于流出的流量，所以管理节点...

什么是cluster技术

Cluster技术发展多年了，但其实并没有一个非常准确的定义和分类，不同的人有不同的理解。

其实，叫什么无所谓，只要能够对用户有益就可以了. ：-） 就个人理解而言，cluster有以下几种，当然前面说过，不同的人有不同的理解，大家可以充分讨论。

我的这些分类更偏重于工程而不是技术性。

1. HA集群 实现高可用性，但对单个应用性能没有提高，市场上大部分产品都是属于这类，技术上也较简单。

2. IP负载均衡集群 利用IP技术实现对通用IP应用的支持。

这种技术并不是很新，最早是在硬件上面采用的，Linux出现后才有了很多纯软件的模式，这也是open source带来的好处吧3.并行计算集群 包括了一些象PVM,beowulf这样的信息传递机制和API库，也有任务调度产品，当然技术上最难的是并行编译/并行系统等更智能化的产品4.应用负载均衡集群 虽然cluster的最高目的是实现真正的与应用程序无关的动态负载均衡，但由于技术上的限制，现在都只能在特殊的应用中实现，需要修改应用程序，所以并没有通用产品，大多是厂商有自己的并行版本。

例如oracle paraller server.以上基本是按照工程或者说产品的角度划分的，和技术上划分应该有一定区别。

下面是一篇很早以前写的东西，当时是为了媒体宣传写的，有一些商业味道在里面，有些地方技术上也不完全正确。

现在给大家附上是想交换一下观点。

并不是宣传Turbolinux公司的产品（本人是Turbolinux员工），确实是实在懒得改了，虽然这种商业性文章在公共社区里发表犯了大忌。

只是供大家参考，关于Turbolinux产品优劣不参与讨论。

请大家理解。

一直是不参与linux社区讨论的，这次是因为对cluster接触了比较长的时间，已经有了很大的兴趣，所以注册了来灌水。

随着Internet/Intranet应用的日益广泛，计算机系统的重要性也日益上升。

低故障率和高性能向来是人们追求的主要目标，但对于单台服务器来讲，这两个问题是无法解决的。

l 可用性——很多服务器都宣称已经达到了99%的可用性。

这个数字意味着什么呢？也就是说每年会有1%的非预计停机时间，让我们来具体算一下。

365（天 / 年）* 24（小时 / 天） * 1% = 87.6 （小时 / 年）。

这每年87.6小时的停机时间对于要求24*7连续服务的企业来说简直就是灾难。

l 高性能——假设一般的桌面机每秒能够处理几千个请求，而IA服务器每秒能够处理几万个请求。

那么对于需要每秒处理几十万个请求的企业来说，如果不采用集群技术，唯一的选择就是购买更加高档的中、小型计算机。

如果这样做，虽然系统性能只提高了十倍，但其购买价格和维护费用就将会上升几十倍甚至更多。

集群技术的出现和发展则很好的解决了这两个问题。

一.集群 集群就是由一些互相连接在一起的计算机构成的一个并行或分布式系统，从外部来看，它们仅仅是一个系统，对外提供统一的服务。

集群技术本身有很多种分类，市场上的产品也很多，都没有很标准的定义。

一般可以分为以下几种：1. 基于冗余的集群 严格来讲，这种冗余系统并不能叫做真正的集群，因为它只能够提高系统的可用性，却无法提高系统的整体性能。

有以下几种类型。

A. 容错机 特点是在一台机器内部对其所有的硬件部件都进行冗余（包括硬盘、控制卡、总线、电源等等）。

能够基本做到与软件系统无关，而且可实现无缝切换，但价格极其昂贵。

典型市场产品：Compaq NonStop(Tandem),Micron(NetFrame),Straus B. 基于系统镜像的双机系统 特点是利用双机，将系统的数据和运行状态（包括内存中的数据）进行镜像，从而实现热备份的目的。

能够做到无缝切换，但因为采用软件控制，占用系统资源较大，而且由于两台机器需要完全一样的配置，所以性能价格比太低。

典型市场产品：Novell SFT III,Marathon Endurance 4000 for NT C. 基于系统切换的双机系统 特点是利用双机，将系统的数据（仅指硬盘数据）进行镜像，在主机失效的情况下从机将进行系统一级的切换。

性能价格比适中，但无法实现无缝切换。

典型市场产品：Legato(Vinca) StandbyServer for NetWare,Savoir(WesternMicro)SavWareHA(Sentinel),Compaq StandbyServer2. 基于应用程序切换的集群 特点是当集群中的某个节点故障时，其它节点可以进行应用程序一级的切换，所以所有节点在正常状态下都可以对外提供自己的服务，也被成为静态的负载均衡方式。

性能价格比高，但也无法实现无缝切换，而且对单个应用程序本身无法做到负载均衡。

典型市场产品：Legato(Vinca) Co-StandbyServer for NT,Novell HA Server,Microsoft Cluster Server,DEC Cluster for NT,Legato Octopus,Legato FullTime,NeoHigh Rose HA,SUN Clusters, Veritas Cluster Server (FirstWatch),CA SurvivIT,17763. 基于并行计算的集群 主要应用于科学计算、大任务量的计算等环境。

有并行编译、进程通讯、任务分发等多种实现方法。

典型市场产品：TurboLinux enFuzion,Beowulf,Supercomputer Architectures,Platform4. 基于动态负载均衡的集群 所有节点对外提供相同的服务，这样可以实现对单个应用程序的负载均衡，而且同时提供了高可用性。

性能价格比极高，但目前无法支持数据库。

典型市场产品：...

分布式控制系统在哪些生产中有应用

能过实现温度、转速、各种模拟量的测量。

输入信号在前端由分布式测控模块转化成数字信号、开关量，实现数据交互与资源共享，经光纤与DMC300数字主机之间进行数据交换，通讯采用自主研发的AnyWay-bus现场光纤总线技术，与上位机测控管理软件可迅速构建高性能、可灵活扩展的虚拟仪器测控系统。

为了能够更好的满足新一代物联网的需要， 该系统可通过网络接口与外部互联网进行连接DMC300分布式测控系统是针对电力自动化及工控领域的测控需求一种基于现场光纤总线技术、前端数字化技术的分散型测控系统。

该系统由各种分布式测量模块、I/O模块、透明传输及协议转换模块、DMC300数字主机及其配套的上位机测控管理平台组成