查看: 6019|回复: 4

F3平台部署手册(v3.7.2集群模式)

[复制链接]

109

主题

150

帖子

3万

积分

管理员

Rank: 64Rank: 64Rank: 64Rank: 64

积分
33324
QQ
发表于 2018-5-11 12:08:31 | 显示全部楼层 |阅读模式
本帖最后由 王贞程 于 2019-10-14 10:11 编辑

以下示例所用到的服务器信息、局域网IP:
四台虚拟机,系统均为CentOS 7.2,CPU均为四核,内存均为8G。
备注说明:F3平台集群模式要求服务3台以上,每台至少要求4核8G,系统要求CentOS 7.2;所有服务器要求时区、时间一致;集群端密码需要一致。
Web端IP:192.168.24.50
集群端IP:192.168.24.51(主节点),192.168.24.52,192.168.24.53

部署前准备工作:
1.检查、修改每台服务器/etc/hosts文件,保证每台服务器的hosts文件只有以下两行
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

2.部分最小化安装的系统可能缺少部分基础工具及重要组件,每台服务器都需要安装以下工具,工具的安装会自动补全其它所缺组件,安装指令:
yum -y install net-tools wget vim ntpdate

部署步骤:
1. 将平台安装包(clbs_install_universal_x.x.x_2018xxxx.tar.gz)上传到web端服务器后,输入clbs_install_universal_3.7.2_20xxxxxx.tar.gz解压安装包。

2. 解压后进入安装包根目录下的conf文件夹下,修改以下三个文件:
1). 输入vi host.conf修改host.conf文件设置别名,将文件内IP修改为集群端局域网IP,集群端有几台就填写几台(千万注意:只填写集群端IP,不能填web端IP!),多余的删掉,不够的换行加上,如下图。(vi保存方式:按Esc键后,输入:wq再按回车)
image001.jpg

2). 输入vi init.conf修改init.conf文件,将文件内密码修改为集群端密码,引号需保留,如下图。
image002.jpg

3). 输入vi params.conf修改params.conf文件,将文件内密码修改为集群端密码,将别名填入NODES这一项,有几台集群端就填写几个,和host.conf中对应的一样,如下图。
image003.jpg

4). 输入vi video.conf修改video.conf,将文件中的IP、密码修改为自己服务器的信息,如下图。
2.jpg

5). 输入vi zwlbs.conf修改zwlbs.conf文件,将文件内平台名称和IP修改为自己平台的信息,如下图。
image004.jpg

3. 进入安装包根目录下输入sh install.sh 执行安装(过程中服务器会重启),等待如下图提示安装完成。
image005.jpg

4. 浏览器打开http://主节点IP:8080登录Ambari,默认帐号密码为admin,按以下步骤依次操作:

1).
image006.jpg

2).
image007.jpg

3). 如下图修改选项后填入资源路径,其它地方默认,再点击next进入下一步:
以下为中位科技提供的资源地址1(推荐,使用前请先访问确认是否能正常打开):
http://120.220.247.11:53990/HDP/centos7/
http://120.220.247.11:53990/HDP-UTILS-1.1.0.21/repos/centos7/


或者(官方网站,资源在国外,国内服务器下载很慢):
http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7
image008.jpg

4). Target Hosts这项填入集群别名,用回车换行隔开。然后登录集群主节点,将/root/.ssh路径下id_rsa文件下载下来,下图中选择文件的时候需要上传id_rsa文件。依次点击Register and Confirm → OK。
image009.jpg

5). 如下图全部Success后,依次点击Next → OK。
image010.jpg

6).只勾选下图4项,依次Next → Proceed Anyway → Proceed Anyway → Next
image011.jpg

7).如下图全部勾选后Next。
image012.jpg

8).如下图,选择Hbase开启Phoenix SQL开关,依次点击Next → Deploy。
image013.jpg

9). 如下图全部Success后(需要下载、安装6G左右的资源,需要等待较长时间),依次点击Next → Complete。
image014.jpg
备注:

①.由于网络波动也可能会出现如下图全红色警告的情况,点击Retry即可继续下载安装。
image015.jpg

②.安装完成等几分钟后,如下图框中均为绿勾就代表正常,若一直出现红色标识,可点击圈中全部重启。
image016.jpg

5.升级phoenix
1).关闭hbase服务
1.jpg
2).登录属于集群端的每台服务器,分别进入每台集群端服务器的安装包根目录中的file文件夹下,执行升级脚本:
sh up_ph.sh

3).脚本执行完成后,登录ambari中,将刚刚关闭的hbase服务再开启即可。

6. 导入Hbase数据表结构
1). 登录集群主节点,输入以下命令:
cd /usr/hdp/2.5.0.0-1245/phoenix/bin/ ; phoenix-sqlline localhost:2181:/hbase-unsecure

2).将安装包根目录下file文件夹下的Hbase3.x.x.txt中的内容复制粘贴过来,运行完成后可用!tables命令查看,如下图,蓝色框中为系统默认存在的表结构,红框内为贴入脚本后导入的表结构。
image017.jpg

7.安装storm服务组件
登录主节点服务器,复制安装包到运行路径即可:
cp /root/storm-loa/storm-streaming-3.x.x.jar /home/storm/

8.完成以上步骤后,web端会自动检测服务并启动平台(启动所需时间因服务器配置而定)。可在web端用netstat –lntp命令查看端口和服务启动情况,下图端口都启动则平台已经成功启动完成。
image018.jpg
平台地址http://web端IP:8080/clbs/ 默认初始帐号admin,密码000000。
备注:
Mysql用户名:root   密码:Zwkj@123Mysql
Ldap用户名:Manager   密码:zwkj@123

至此,F3平台已经成功部署完成!

0

主题

16

帖子

323

积分

见习

Rank: 3Rank: 3Rank: 3

积分
323
发表于 2018-5-20 22:40:06 | 显示全部楼层
学习了。
回复

使用道具 举报

0

主题

2

帖子

82

积分

见习

Rank: 3Rank: 3Rank: 3

积分
82
发表于 2018-5-25 15:53:09 | 显示全部楼层
非常详细
回复

使用道具 举报

0

主题

15

帖子

1019

积分

见习

Rank: 3Rank: 3Rank: 3

积分
1019
发表于 2018-5-29 16:31:16 | 显示全部楼层
你好,怎样拿到安装包,需要什么条件

0

主题

8

帖子

498

积分

见习

Rank: 3Rank: 3Rank: 3

积分
498
发表于 2018-12-11 21:03:06 | 显示全部楼层

你好,怎样拿到安装包,需要什么条件,没人回答的。。。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表