本帖最后由 王贞程 于 2019-10-14 10:11 编辑
以下示例所用到的服务器信息、局域网IP: 四台虚拟机,系统均为CentOS 7.2,CPU均为四核,内存均为8G。 备注说明:F3平台集群模式要求服务3台以上,每台至少要求4核8G,系统要求CentOS 7.2;所有服务器要求时区、时间一致;集群端密码需要一致。 Web端IP:192.168.24.50 集群端IP:192.168.24.51(主节点),192.168.24.52,192.168.24.53
部署前准备工作: 1.检查、修改每台服务器/etc/hosts文件,保证每台服务器的hosts文件只有以下两行: 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
2.部分最小化安装的系统可能缺少部分基础工具及重要组件,每台服务器都需要安装以下工具,工具的安装会自动补全其它所缺组件,安装指令:
yum -y install net-tools wget vim ntpdate
部署步骤: 1. 将平台安装包(clbs_install_universal_x.x.x_2018xxxx.tar.gz)上传到web端服务器后,输入clbs_install_universal_3.7.2_20xxxxxx.tar.gz解压安装包。
2. 解压后进入安装包根目录下的conf文件夹下,修改以下三个文件: 1). 输入vi host.conf修改host.conf文件设置别名,将文件内IP修改为集群端局域网IP,集群端有几台就填写几台(千万注意:只填写集群端IP,不能填web端IP!),多余的删掉,不够的换行加上,如下图。(vi保存方式:按Esc键后,输入:wq再按回车)
2). 输入vi init.conf修改init.conf文件,将文件内密码修改为集群端密码,引号需保留,如下图。
3). 输入vi params.conf修改params.conf文件,将文件内密码修改为集群端密码,将别名填入NODES这一项,有几台集群端就填写几个,和host.conf中对应的一样,如下图。
4). 输入vi video.conf修改video.conf,将文件中的IP、密码修改为自己服务器的信息,如下图。
5). 输入vi zwlbs.conf修改zwlbs.conf文件,将文件内平台名称和IP修改为自己平台的信息,如下图。
3. 进入安装包根目录下输入sh install.sh 执行安装(过程中服务器会重启),等待如下图提示安装完成。
4. 浏览器打开http://主节点IP:8080登录Ambari,默认帐号密码为admin,按以下步骤依次操作:
1).
2).
3). 如下图修改选项后填入资源路径,其它地方默认,再点击next进入下一步: 以下为中位科技提供的资源地址1(推荐,使用前请先访问确认是否能正常打开): http://120.220.247.11:53990/HDP/centos7/ http://120.220.247.11:53990/HDP-UTILS-1.1.0.21/repos/centos7/
或者(官方网站,资源在国外,国内服务器下载很慢): http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.0.0/ http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7
4). Target Hosts这项填入集群别名,用回车换行隔开。然后登录集群主节点,将/root/.ssh路径下id_rsa文件下载下来,下图中选择文件的时候需要上传id_rsa文件。依次点击Register and Confirm → OK。
5). 如下图全部Success后,依次点击Next → OK。
6).只勾选下图4项,依次Next → Proceed Anyway → Proceed Anyway → Next
7).如下图全部勾选后Next。
8).如下图,选择Hbase开启Phoenix SQL开关,依次点击Next → Deploy。
9). 如下图全部Success后(需要下载、安装6G左右的资源,需要等待较长时间),依次点击Next → Complete。 备注:
①.由于网络波动也可能会出现如下图全红色警告的情况,点击Retry即可继续下载安装。
②.安装完成等几分钟后,如下图框中均为绿勾就代表正常,若一直出现红色标识,可点击圈中全部重启。
5.升级phoenix 1).关闭hbase服务 2).登录属于集群端的每台服务器,分别进入每台集群端服务器的安装包根目录中的file文件夹下,执行升级脚本: sh up_ph.sh
3).脚本执行完成后,登录ambari中,将刚刚关闭的hbase服务再开启即可。
6. 导入Hbase数据表结构 1). 登录集群主节点,输入以下命令: cd /usr/hdp/2.5.0.0-1245/phoenix/bin/ ; phoenix-sqlline localhost:2181:/hbase-unsecure
2).将安装包根目录下file文件夹下的Hbase3.x.x.txt中的内容复制粘贴过来,运行完成后可用!tables命令查看,如下图,蓝色框中为系统默认存在的表结构,红框内为贴入脚本后导入的表结构。
7.安装storm服务组件 登录主节点服务器,复制安装包到运行路径即可: cp /root/storm-loa/storm-streaming-3.x.x.jar /home/storm/
8.完成以上步骤后,web端会自动检测服务并启动平台(启动所需时间因服务器配置而定)。可在web端用netstat –lntp命令查看端口和服务启动情况,下图端口都启动则平台已经成功启动完成。 平台地址http://web端IP:8080/clbs/ 默认初始帐号admin,密码000000。 备注: Mysql用户名:root 密码:Zwkj@123Mysql Ldap用户名:Manager 密码:zwkj@123
至此,F3平台已经成功部署完成!
|