今天鞋百科给各位分享集群配置的步骤有哪些主要的知识,其中也会对kettle集群怎么配置(kettle集成)进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在我们开始吧!

kettle集群怎么配置

slave节点启动carte服务
master节点配置slave地址就可以了啊

如何最快搭建LINUX服务器集群

  1.2.并行技术
  这是一个非常简单的建造四节点的小集群系统的例子,它是构建在Linux操作系统上,通过MPICH软件包实现的,希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
  2.使用MPICH构建一个四节点的集群系统
  这是一个非常简单的建造四节点的小集群系统的例子,它是构建在Linux操作系统上,通过MPICH软件包实现的,希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
  2.1 所需设备
  1).4台采用Pentium II处理器的PC机,每台配
  置64M内存,2GB以上的硬盘,和EIDE接口的光盘驱动器。
  2).5块100M快速以太网卡,如SMC 9332 EtherPower 10/100(其中四块卡用于连接集群中的结点,另外一块用于将集群中的其中的一个节点与其它网络连接。)
  3).5根足够连接集群系统中每个节点的,使用5类非屏蔽双绞线制作的RJ45缆线
  4).1个快速以太网(100BASE-Tx)的集线器或交换机
  5).1张Linux安装盘
  2.2 构建说明
  对计算机硬件不熟的人,实施以下这些构建步骤会感到吃力。如果是这样,请找一些有经验的专业人士寻求帮助。
  1. 准备好要使用的采用Pentium II处理器的PC机。确信所有的PC机都还没有接上电源,打开PC机的机箱,在准备与网络上的其它设备连接的PC机上安装上两块快速以太网卡,在其它的 PC机上安装上一块快速以太网卡。当然别忘了要加上附加的内存。确定完成后盖上机箱,接上电源。
  2. 使用4根RJ45线缆将四台PC机连到快速以太网的集线器或交换机上。使用剩下的1根RJ45线将额外的以太网卡(用于与其它网络相连的那块,这样机构就可以用上集群)连接到机构的局域网上(假定你的机构局域网也是快速以太网),然后打开电源。
  3. 使用LINUX安装盘在每一台PC机上安装。请确信在LINUX系统中安装了C编译器和C的LIB库。当你配置TCP/IP时,建议你为四台PC分别指定为192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台PC为你的服务器节点(拥有两块网卡的那台)。在这个服务器节点上的那块与机构局域网相连的网卡,你应该为其指定一个与机构局域网吻合的IP地址。
  4.当所有PC都装好Linux系统后,编辑每台机器的/etc/hosts文件,让其包含以下几行:
  192.168.1.1 node1 server
  192.168.1.2 node2
  192.168.1.3 node3
  192.168.1.4 node4
  编辑每台机器的/etc/hosts.equiv文件,使其包含以下几行:
  node1
  node2
  node3
  node4
  $p#
  以下的这些配置是为了让其能使用MPICH’s p4策略去执行分布式的并行处理应用。
  1. 在服务器节点
  ,建一个/mirror目录,并将其配置成为NFS服务器,并在/etc/exports文件中增加一行:
  /mirror node1(rw) node2(rw) node3(rw) node4(rw)
  2. 在其他节点上,也建一个/mirror目录,关在/etc/fstab文件中增加一行:
  server:/mirror /mirror nfs rw,bg,soft 0 0
  3. /mirror这个目录从服务器上输出,装载在各个客户端,以便在各个节点间进行软件任务的分发。
  4. 在服务器节点上,安装MPICH。MPICH的文档可在
  5.任何一个集群用户(你必须在每一个节点新建一个相同的用户),必须在/mirror目录下建一个属于它的子目录,如 /mirror/username,用来存放MPI程序和共享数据文件。这种情况,用户仅仅需要在服务器节点上编译MPI程序,然后将编译后的程序拷贝到在/mirror目录下属于它的的子目录中,然后从他在/mirror目录下属于它的的子目录下使用p4 MPI策略运行MPI程序。
  2.3 MPICH安装指南
  1.如果你有gunzip,就d下载mpich.tar.gz,要不然就下载mpich.tar.Z。你可以到http://****mcs.anl.gov/mpi/mpich/downloa下载,也可以使用匿名FTP到ftp.mcs.anl.gov的pub/mpi目录拿。(如果你觉得这个东西太大,你可以到pub/mpi/mpisplit中取分隔成块的几个小包,然后用cat命令将它们合并)
  2.解压:gunzip ;c mpich.tar.gz  tar xovf-(或zcat mpich.tar.Z tar xovf-)
  3.进入mpich目录
  4.执行:./configure为MPICH选择一套适合你的实际软硬件环境的参数组,如果你对这些默认选择的参数不满意,可以自己进行配置(具体参见MPICH的配置文档)。最好选择一个指定的目录来安装和配置MPICH,例如:
  ./configure -prefix=/usr/local/mpich-1.2.0
  5.执行:make >&make.log 这会花一段较长的时间,不同的硬件环境花的时间也就不同,可能从10分钟到1个小时,甚至更多。
  6.(可选)在工作站网络,或是一台单独的工作站,编辑mpich/util/machines/machines.xxx(xxx是MPICH对你机器体系结构取的名称,你能很容易的认出来)以反映你工作站的当地主机名。你完全可以跳过这一步。在集群中,这一步不需要。
  7.(可选)编译、运行一个简单的测试程序:
  cd examples/basic
  make cpi
  ln ;s ../../bin/mpirun mpirun
  ./mpirun ;np 4 cpi
  此时,你就在你的系统上运行了一个MPI程序。
  8.(可选)构建MPICH其余的环境,为ch_p4策略使
  用安全的服务会使得任何启动速度加快,你可以执行以下命令构建:
  make serv_p4
  (serv_p4是一个较新的P4安全服务的版本,它包含在MPICH 1.2.0版中),nupshot程序是upshot程序的一个更快版本,但他需要tk 3.6版的源代码。如果你有这个包,你就用以下命令可以构建它:
  make nupshot
  9.(可选)如果你想将MPICH安装到一个公用的地方让其它人使用它,你可以执行:
  make install 或 bin/mpiinstall
  你可以使用-prefix选项指定MPICH安装目录。安装后将生成include、lib、bin、sbin、www和man目录以及一个小小的示例目录,
到此你可以通告所有的用户如何编译、执行一个MPI程序。

搭建Hadoop集群,一个月6T的数量需要几台服务器

最好是两个做成HA
关于硬盘:
6T的数据容量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要18T硬盘,稍微大一点20T吧;这仅仅是HDFS存储;(这里我说的是一个月的,你数据保存几个月,就乘几倍)
如果你集群上面要跑计算,MR计算出来的数据要保存HDFS的,所以,还是要根据你的结果数据来做判断,大小就看你计算任务了.
一般是这样计算硬盘大小

(原始数据+中间数据+结果数据)*副本数量=总硬盘大小

关于内存:
namenode不用说了,主要就是用内存保存block和node之间对应关系的,也是要根据数据大小计算的,6T/Block大小(默认为128M)=有多少block-->M个

一个block占多少内存: 保守地设置每一百万数据块需要1000MB内存
namenode总内存(兆M)=M*1000MB/100万

datanode的内存: 一般问题不大,一般都是用于mr的计算,这个东西根据你性能的需要设置

关于多少台机器?
根据Task任务的数量和你的性能指标来做决定

一个Block对应一个Mapper任务,上面算出来M个Block了,mapper任务也是那么多

实际测试一下,一定数据量在x台机器上运行时间,根据你的指标去评定要多少台机器

hadoop集群的性能和节点个数近似成正向关系

apache+tomcat集群怎么访问项目

可以apache做为反向代理服务器,多个tomcat作为应用服务器。使用apache**80端口,主要使用在域名绑定上,因为域名只能绑定80端口,但是一台服务器上可能有多个tomcat或者只有一个公网ip,这样不同域名可以都跳转到该公网ip的80端口,因为apache**了80端口,所有其实所有域名都是先访问的apache,apache再通过反向代理将不同域名的请求到不同的tomcat地址,这里的tomcat地址就可以使用内网地址了。甚至是不同服务器的,只要apache所在的这台服务器能够访问到你的tomcat地址就可以。

ProxyPreserveHost On
ServerAdmin zhaoyg@letsun***m***
ServerName test1.ebiaoji***m
DirectoryIndex index.do index.html index.php
ProxyPass / http://127.0.0.1:81/
ProxyPassReverse / http://127.0.0.1:81/



ProxyPreserveHost On
ServerAdmin zhaoyg@letsun***m***
ServerName test.ebiaoji***m
DirectoryIndex index.do index.html index.htm
ProxyPass / http://192.168.1.3:8087/
ProxyPassReverse / http://192.168.1.3:8087/


例如上方,域名test1.ebiaoji***m和test.ebiaoji***m都绑定了同一个公网ip,但在访问时,test1.ebiaoji***m会访问这台服务器的81端口**的服务(tomcat),test.ebiaoji***m会访问到内网中的192.168.1.3服务器8087端口的服务(tomcat);

如何在Ubuntu上配置Tomcat集群

kettle集群怎么配置

多安装几个tomcat,并配置不同的端口号。关键在于修改这一行,添加jvmRoute="jvm1"
,不同的tomcat修改成不同的值,可以叫jvm1、jvm2、jvm3,自己定。

然后通过apache(或ngix或其它web服务器),通过代理或Jk方式,配置一个负载均衡。如下apache tomcat集群配置。

APACHE 2.2.8 TOMCAT6.0.14配置负载均衡
目标:
使用 apache 和 tomcat 配置一个可以应用的 web 网站,要达到以下要求:
1、 Apache 做为 HttpServer ,后面连接多个 tomcat 应用实例,并进行负载均衡。
2、 为系统设定 Session 超时时间,包括 Apache 和 tomcat
3、 为系统屏蔽文件列表,包括 Apache 和 tomcat
注:本例程以一台机器为例子,即同一台机器上装一个apache和4个Tomcat。
一、前期准备工作:安装用的程序(前提保证已安装了JDK1.5以上的版本)
APAHCE 2.2.8下载:apache_2.2.8-win32-x86-no_ssl.msi
TOMCAT6.0.14下载:apache-tomcat-6.0.14.zip直接解压。
二、安装过程
APAHCE安装目录:D:\Apache。
四个TOMCAT目录:自行解压到(D:\Tomcat集群服务器\)下。分别为 tomcat6.0,tomcat6.01,tomcat6.02,tomcat6.03
这几个安装过程就不详细说明了。
三、配置
1、Apache配置
1.1、httpd***nf配置
修改APACHE的配置文件D:\Apache \conf\httpd***nf
将以下Module的注释去掉,这里并没有使用mod_jk.so进行apache和tomcat的链接,从2.X以后apache自身已集成了mod_jk.so的功能。只需简单的把下面几行去掉注释,就相当于以前用mod_jk.so比较繁琐的配置了。这里主要采用了代理的方法,就这么简单。
LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_connect_module modules/mod_proxy_connect.so
LoadModule proxy_ftp_module modules/mod_proxy_ftp.so
LoadModule proxy_http_module modules/mod_proxy_http.so
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
LoadModule proxy_balancer_module modules/mod_proxy_balancer.so
再找到加上index.jsp修改成

DirectoryIndex index.html

如何卸载 2012 r2 故障转移群集

一、问题描述建立双节点的WindowsServer2008故障转移集群,为Hyper-v的高可用和SQLServer集群做好准备。二、配置集群群前的准备1、每个节点主机配备至少两块网卡,一块用于连接共享存储,一块用于网络通信。不能两者使用同一网络适配器2、每个节点服务器链接到共享存储,本例采用windo搜索wsstorageserver2008模拟iSCSI软件共享存储添加iSCSI的具体过程参给Windows2008ServerwithHyper-V添加Openfiler的iSCSI3、集群中的节点服务器必须属于同一个域。4、用于管理集群的用户,不必使用域管理员账户,只要添加到本地管理员即可,同时是DomainUser组。本例为方便起见均采用与管理员账号三、安装故障转移集群1、登录其中一个集群节点,打开服务器管理器,定位到功能项2、点击添加功能,点选故障转移集群,点击下一步3、在向导最后,点击安装4、在其他节点的服务器上重复以上操作四、验证集群配置在创建集群之前,建议运行验证集群配置,确认服务器、网络、存储是否符合要求1、开始——管理工具——故障转移集群管理,打开故障转移集群管理单元2、在管理界面的中间位置,点击验证配置3、点击下一步,添加节点服务器4、可以选择运行所有测试,也可分类选择,建议运行所有测试5、检查完毕后,可以点击查看报告,也可以到C:\Windows\Cluster\Reports路径下去查看五、建立集群1、开始——管理工具——故障转移集群管理,打开故障转移集群管理单元2、在中间位置点击创建一个集群3、点击下一步,添加集群内的节点服务器4、填入集群名称,和使用的虚拟IP地址,途中10段的ip地址用来连接iSCSI存储,可以将其去掉。在生产环境的IP地址段,选择一个空闲IP当做集群的IP地址。5、确认之后,点击下一步继续,则开始创建集群6、最后点击完成,完成集群建立。现在集群还没有对任何服务和应用提供集群服务。需要使用服务和应用进行添加。下一篇文章将会介绍如何利用建立好的集群为Hyper-V提供在线迁移功能。

两台或两台以上PC是否可以像服务器一样集群,用Windows server 2003系统可以吗? 需要什么设备

可以用集群,windows也可以,用软件集群也可以,windows server带这样功能。可以不用加设备,通过网络来实现,但是有可能会造成网络繁忙。如果需要更可靠强劲,还是用硬件支持更好,可以买磁盘阵列卡,光通道磁盘阵列柜,光纤交换机来完成。

但是集群定义是容错和互补,多点支持,数据冗余,操作系统,应用程序冗余,网络冗余,电力冗余等。
希望运算能力更强建议应该在电脑的CPU,内存方便去增强。

做集群用,电脑配置确实是需要一样,大的差异性会造成集群故障。