README.md · pcy/playground

# playground
大数据环境一键安装脚本

**在gitee版本中：**

master分支是最新的代码。

**在github版本中：**

master分支的hive安装脚本在安装hive时只能适配1.x，而hive分支的脚本可以适配2.x以及较新版本的安装。

推荐使用**hive分支**的脚本，增加了更多组件的支持，master分支的代码为了保持和教程的同步，暂时不会做大的更新。

**注意：github中脚本因网络原因，暂时不会更新。**

# 支持安装组件版本

| 产品 | 支持版本 | 安装包名 |
| ------- | ------- | ------- |
| hadoop | 3.3.6 | hadoop-3.3.6.tar.gz |
| hadoop | 2.10.2 | hadoop-2.10.2.tar.gz |
| flink | 1.12.2 | flink-1.12.2-bin-scala_2.11.tgz |
| flink | 1.17.2 | flink-1.17.2-bin-scala_2.12.tgz |
| flink | 1.20.0 | flink-1.20.0-bin-scala_2.12.tgz |
| hbase | 1.7.2 | hbase-1.7.2-bin.tar.gz |
| dolphinscheduler | 3.1.8 | apache-dolphinscheduler-3.1.8-bin.tar.gz |
| hive | 2.3.7 | apache-hive-2.3.7-bin.tar |
| tez | 0.9.1 | apache-tez-0.9.1-bin.tar.gz |
| kafka | 2.11 | kafka_2.11-0.11.0.2.tgz |
| elasticsearch | 6.2.4 | elasticsearch-6.2.4.tar.gz |
| elasticsearch | 8.9.1 | elasticsearch-8.9.1-linux-x86_64.tar.gz |
| spark | 3.5.1 | spark-3.5.1-bin-hadoop3.tgz |
| spark | 3.4.3 | spark-3.4.3-bin-hadoop3.tgz |
| spark | 3.2.4 | spark-3.2.4-bin-hadoop2.7.tgz |
| spark | 2.4.7 | spark-2.4.7-bin-without-hadoop.tgz |
| sqoop | 1.4.7 | sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz |
| flume | 1.7.0 | apache-flume-1.7.0-bin.tar.gz |
| zookeeper | 3.4.10 | zookeeper-3.4.10.tar.gz |
| zookeeper | 3.9.2 | apache-zookeeper-3.9.2-bin.tar.gz |
| presto | 0.196 | presto-server-0.196.tar.gz |
| zeppelin | 0.10.1 | zeppelin-0.10.1-bin-all.tgz |
| azkaban | 2.5.0 | azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz、azkaban-web-server-2.5.0.tar.gz |
| kylin | 3.1.3 | apache-kylin-3.1.3-bin-hbase1x.tar.gz |
| scala | 2.10.6 | scala-2.10.6.tgz |
| java | 8u191 | jdk-8u191-linux-x64.tar.gz |
| maven | 3.6.3 | apache-maven-3.6.3-bin.tar.gz |
| mysql | 5.7.28 | mysql-rpm-pack-5.7.28 |

# 注意事项

- azkaban建议使用手动安装方法。

```
# 在各个节点手动执行安装脚本
sh $PLAY_HOME/hadoop/installAzkaban.sh
```

- dolphinscheduler目前只支持安装standalone版本。

```
# 在需要安装的节点上执行脚本即可
# 安装前请准备mysql-connector-java-8.0.16.jar到/root目录，或者根据脚本提示填写路径
sh $PLAY_HOME/hadoop/installDolphinScheduler.sh install
```

# 适用环境
CentOS 7以上，需要中文字符环境（脚本中自动生成密钥需要）

# 使用方法
## 环境准备
1. 进行脚本下载。

```
# 使用gitee源
git clone https://gitee.com/several-boats/playground.git

# 使用github源
# github版本较早，且使用方法不同，如需要使用请参考github文档
git clone https://github.com/MTlpc/automaticDeploy.git
```

2. 执行安装，安装后可以删除当前目录。全部文件已经被移动到/opt中。
```
chmod +x playground.sh
./playground.sh install

# 安装后更新环境变量
# $PLAY_HOME记录脚本的安装位置
source /etc/profile
```

3. 配置host_ip.txt

```
# 执行以下命令，根据提示更新节点信息
playground nodes update

# 或者直接手动修改$PLAY_HOME/host_ip.txt
# 配置集群信息，格式为：ip hostname user password
192.168.56.151 node01 root 123456
192.168.56.152 node02 root 123456
192.168.56.153 node03 root 123456
```

4. 使用命令添加安装包，安装包会放置到$PLAY_HOME/frames目录
```
playground add pkg_name
```

- 推荐安装包如下：

```
链接：https://pan.baidu.com/s/1kExXiiEki4FYY-tVkEEIJg?pw... 
提取码：6imd 
--来自百度网盘超级会员V5的分享
```

- 使用方法：

```
1. 解压后，进入解压缩目录
2. 执行playground add ./\*命令将目录下的安装包批量添加到脚本管理目录即可。
```

5. 配置$PLAY_HOME/frames.txt，填写安装包全称，以及需要安装的节点

```
# 配置文件基本格式
# 安装包名 [是否安装true or false] [需要安装的节点] [主节点（如有）]
# eg:
# hadoop-2.7.7.tar.gz true node01,node02,node03 node01
# jdk-8u144-linux-x64.tar.gz true node01,node02,node03

# 通用环境
jdk-8u191-linux-x64.tar.gz true node01,node02,node03
mysql-connector-c-6.1.11-1.el7.src.rpm true
# Node01
hadoop-2.7.7.tar.gz true node01,node02,node03 node01
hbase-2.0.0-bin.tar.gz true node01,node02,node03 node02
# Node02
mysql-rpm-pack-5.7.28 true node02
azkaban-sql-script-2.5.0.tar.gz true
azkaban-executor-server-2.5.0.tar.gz true node02
azkaban-web-server-2.5.0.tar.gz true node02
# Node03
apache-hive-2.3.7-bin.tar.gz true node03
apache-tez-0.9.1-bin.tar.gz true node03
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz true node03
yanagishima-18.0.zip true node03
# Muti
apache-flume-1.7.0-bin.tar.gz true node01,node02,node03
zookeeper-3.4.10.tar.gz true node01,node02,node03
kafka_2.11-0.11.0.2.tgz true node01,node02,node03
docker true node01,node02,node03
k8s true node01,node02,node03 node01
presto-server-0.196.tar.gz true node01,node02,node03 node02
```

- 目前部分产品支持命令行配置。

```
playground config jdk
playground config hadoop
playground config mysql
playground config hive
```

6. 如安装hive、mysql、azkaban，需配置configs.txt，填写相关配置

```
# Hive相关配置
hive-mysql-node node02 END
mysql-hive-password DBa2020* END

# Mysql相关配置
mysql-root-password DBa2020* END
mysql-drive mysql-connector-java-5.1.26-bin.jar END

# azkaban相关配置
azkaban-mysql-user root END
azkaban-mysql-password DBa2020* END
azkaban-keystore-password 123456 END
```

## 一键安装方式（推荐）
1. 一键初始化集群（会在集群各个节点：配置集群hosts文件、设置免密SSH登录、关闭防火墙、关闭SELinux、分发安装脚本、分发安装包、安装JDK。）。
```
playground init
```

2. 一键安装组件
```
# playground install [组件名]
# 支持的组件有：
# scala、maven、nodejs、mysql、hadoop、hive、zookeeper、hbase、kafka
# spark、flink、sqoop、flume、presto、azkaban、hue、yanagishima
# es、docker、k8s、zeppelin、kylin
eg: 
playground install hadoop
```

## 手动安装方式（不推荐）

1. 进入systems目录执行batchOperate.sh脚本初始化环境

```
# 在各节点都需要执行
/home/hadoop/automaticDeploy/systems/batchOperate.sh
```

2. 进入hadoop目录中，选择对应组件的安装脚本，依次进行安装（在各节点都需要执行）

```
# 安装flume
/home/hadoop/automaticDeploy/systems/installFlume.sh
# 安装zookeeper
/home/hadoop/automaticDeploy/systems/installZookeeper.sh
# 安装kafka
/home/hadoop/automaticDeploy/systems/installKafka.sh
```

# 注意事项
1、安装MySQL时，需要下载RPM包，并放在一个特定目录中。如`mysql-rpm-pack-5.7.28`。在frames.txt中配置目录名即可。
```
# 需要的RPM包，以5.7.28为例
mysql-community-client-5.7.28-1.el7.x86_64.rpm
mysql-community-common-5.7.28-1.el7.x86_64.rpm
mysql-community-devel-5.7.23-1.el7.x86_64.rpm
mysql-community-libs-5.7.28-1.el7.x86_64.rpm
mysql-community-server-5.7.28-1.el7.x86_64.rpm
```
2、一些需要的依赖要放在$PLAY_HOME/frames/lib目录下。
```
# lzo
hadoop-lzo-0.4.20.jar
# 日志采集
log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar
# jdbc，安装mysql、hive均会用到
mysql-connector-java-5.1.26-bin.jar
# presto客户端
presto-cli-0.196-executable.jar
```

# 致谢

项目基于[BigData_AutomaticDeploy](https://github.com/SwordfallYeung/BigData_AutomaticDeploy)开发而成，当我有了写一键搭建脚本的时候，在github上搜索到的一个项目，帮我减少了很多造轮子的时间，非常感谢。

在此基础上，增加了不少的大数据组件，并适配了CentOS7 1511，并做了不少的改动。

这个项目，同样会持续开源和维护，后续会增加更多的大数据组件。再次感谢！！！

pcy/playground

简介

发行版

贡献者

近期动态

pcy/playground .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

pcy/playground