Prometheus+Grafana

1、打开安装好的的sublime，选择“Preferences”下面的“Package Contorol”选项，出现弹窗方框。

2、在弹窗中输入 “install package” ，选择对应(默认第一个)命令点击进入。



3、在弹窗中输入 “chinese” ，选择插件ChineseLocaloztions点击安装。

4、等待安装完成，出现中文字体，一般出现就算安装完成了。

5、此时，可在Help下面的Language处自由切换成简体中文语言。

6、切换之后，菜单栏就变成中文的了

SublimeText设置成中文简体

# Nginx 安全加固配置规范

Nginx 是目前应用最广泛的 Web 服务器之一，但是在使用过程中，我们也需要注意 Nginx 的安全问题。本文将介绍一些 Nginx 安全加固规范。



## 修改默认端口
默认情况下，Nginx 使用的是 80 和 443 端口。攻击者可以利用这个漏洞进行端口扫描和攻击。因此，我们需要修改默认端口，增加服务器的安全性。

## 禁止服务信息泄露
攻者可以通过查看服务版本信息来了解服务器的漏洞和弱点。因此，我们需要禁止服务信息泄露。具体方法为，在 Nginx 配置文件中http模块添加以下代码：
```
autoindex off; #禁止目录浏览
server_tokens off; #隐藏版本信息
```

## 开启 SSL/TLS 加密
SSL/TLS 加密可以保护数据传输过程中的机密性和完整性，防止数据被窃取或篡改。因此，我们应该开启 SSL/TLS 加密功能。具体方法为，在 Nginx 配置文件中添加以下代码：
```
listen 443 ssl;
ssl_certificate /path/toyour/cert.pem;
ssl_certificate_key /path/to/your/key.pem;
```

## 防止 DDOS 攻击
DDOS 攻击是指利用多个主机向目标服务器发送大量请求，以达到消耗服务器资源、拒绝服务等目的。为了防止 DDOS 攻击，我们可以在 Nginx 配置文件，在http模块中添加以下代码：
```
limit_conn_zone $binary_remote_addr zone=addr:10m;
limit_conn addr 100;
```

## 设置NGINX缓冲区
目的：防止缓冲区溢出攻击
```
#编辑nginx配置文件，在server模块中需要限制的location中添加以下参数
client_body_buffer_size 1K;
client_header_buffer_size 1k;
client_max_body_size 1k;
large_client_header_buffers 2 1k;
```

## 日志配置
目的：统一使用规定好的日志格式
```
#编辑nginx配置文件,在http模块中添加如下参数
log_format main 
'$remote_addr - $remote_user [$time_local] "$request" ' 
'$status $body_bytes_sent "$http_referer" ' 
'"$http_user_agent" "$http_x_forwarded_for"'
access_log logs/host.access.log main;
```

## Nginx日志切割
目的：切割nginx日志，避免日志文件过大
```
#新建日志切割脚本 如下:
#!/bin/bash
#设置日志文件存放目录
logspath="/usr/local/nginx/logs/"
#设置pid文件
pidpath="/usr/local/nginx/nginx.pid"
#重命名日志文件
mv ${logspath}access.log ${logspath}access$(date -d "yesterday" +"%Y%m%d").log
#向nginx主进程发信号重新打开日志
kill -USR1 `cat ${pidpath}`
```

## 错误页面重定向
目的：nginx默认错误页面包含服务器版本信息，使用自定义错误页面避免版本信息泄露
```
#新建错误页面,放到静态目录中,编辑Nignx配置文件，
#在http模块中添加如下参数:
fastcgi_intercept_errors on;
errorpage 401 /401.html;
errorpage 402 /402.html;
errorpage 403 /403.html;
errorpage 404 /404.html;
errorpage 405 /405.html;
errorpage 500 /500.html
```

## 防止 SQL 注入攻击
SQL 注入攻击是指通过构造恶意 SQL 语句来访问、修改或数据库中的数据。为了防止 SQL 注入攻击，我们应该对输入进行过滤和验证，并使用参数化查询等安全措施。

## 限制HTTP请求方法
目的：限制nginx请求方法,仅允许常用的get post head
```
if ($request_method !~ ^(GET|HEAD|POST)$ ) {
return 444;
}
```

## 限制IP访问
目的：限制访问IP,仅允许指定ip访问指定资源
```
location / {
deny 192.168.1.1; #拒绝IP
allow 192.168.1.0/24; #允许IP
allow 10.1.1.0/16; #允许IP
deny all; #拒绝其他所有IP
}
```

## 限制并发速度
目的：限制用户连接数及速度来预防DDOS攻击
```
limit_zone one $binary_remote_addr 10m;
server
{
 listen 80;
 server_name down.test.com;
 index index.html index.htm index.php;
 root /usr/local/www;
 #Zone limit;
 location / {
 limit_conn one 1;
 limit_rate 20k;
 }
………
}
```

## 控制超时时间timeout
目的：设低来防御DOS攻击，保护服务器资源，硬件cpu、mem
```
# 在http模块下，配置如下配置，具体时间根据业务需要进行调整;
client_body_timeout 10; # 设置客户端请求主体读取超时时间
client_header_timeout 10; # 设置客户端请求头读取超时时间
keepalive_timeout 5 5; # 第一个参数指定客户端连接保持活动的超时时间，第二个参数是可选的，它指定了消息头保持活动的有效时间
send_timeout10; # 指定响应客户端的超时时间
```

## Nginx降权
```
user nobody;
```

## 防盗链
目的：防止第三方引用链接访问我们的图片，消耗服务器资源和网络流量
```
location ~* ^.+\.(gif|jpg|png|swf|flv|rar|zip)$ {
 valid_referers none blocked server_names *.nsfocus.com http://localhost baidu.com;
 if ($invalid_referer) {
 rewrite ^/ [img]http://www.XXX.com/images/default/logo.gif[/img];
 # return 403;
 }
}
```

## Nginx配置WAF模块
目的：nginx配置waf模块，提升服务器的安全性
```
#下载waf模块，wget https://github.com/loveshell/ngx_lua_waf/archive/master.zip
#配置waf相关Lua规则、目录、脚本等，
(nginx需要加载nginx_lua_module模块)
#编辑nginx配置文件，在http模块中添加如下参数:
lua_package_path “/usr/local/nginx/conf/waf/?.lua”;
lua_shared_dict limit 10m;
init_by_lua_file /usr/local/nginx/conf/waf/init.lua;
access_by_lua_file /usr/local/nginx/conf/waf/waf.lua;
#新建攻击日志目录
mkdir -p /data/logs/hack/
chown -R nobody:nobody /data/logs/hack/
chmod -R 755 /data/logs/hack/
#重启Nignx服务
```

以上就是 Nginx 安全加固规范的介绍。希望本文能够帮助大家更好地保护服务器安全。

Nginx 安全加固配置规范

## 一、安装MySQL
### 1.1 二进制
#### 安装MySQL
下载地址：https://downloads.mysql.com/archives/community/ 


:::info{title="相关信息"}
	Product Version:5.7.37 (选择需要的安装的版本)
	Operating System:Linux - Generic
	OS Version:Linux - Generic (glibc 2.12) (x86, 64-bit)
:::

1、安装依赖
```
yum -y install libaio
yum -y install autoconf
```
2、上传到服务器并解压
```
tar -xvf mysql-5.7.37-linux-glibc2.12-x86_64.tar.gz
```
3、移动并重命名一下
```
mv mysql-5.7.37-linux-glibc2.12-x86_64 /usr/local/mysql
```
4、创建mysql用户组和用户并修改权限
```
groupadd mysql 
useradd -r -g mysql mysql
```
5、创建数据目录并赋予权限
```
mkdir -p /data/mysql #创建目录 
chown mysql:mysql -R /data/mysql #赋予权限
```
6、修改环境变量:
```
vim /etc/profile

# 文档末尾添加一行：
export PATH=/usr/local/mysql/bin:$PATH
# 使配置生效
source /etc/profile
```
7、修改配置文件：vi /etc/my.cnf
```
[mysqld]
bind-address=0.0.0.0
port=3306
user=mysql
basedir=/usr/local/mysql
datadir=/data/mysql
socket=/tmp/mysql.sock
plugin-load-add=validate_password.so
validate-password=FORCE_PLUS_PERMANENT

[mysqld_safe] 
log-error=/data/mysql/mysql.err
pid-file=/data/mysql/mysql.pid
#character config
character_set_server=utf8mb4
symbolic-links=0
explicit_defaults_for_timestamp=true
lower_case_table_names=1
```
8、初始化数据库
```
cd /usr/local/mysql/bin/
./mysqld --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql/ --datadir=/data/mysql/ --user=mysql --initialize 
```

9、将mysql.server放置到/etc/init.d/mysql中
```
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
```
10、启动
```
service mysql start
```
11、创建软连接
```
ln -s /usr/local/mysql/bin/mysql /usr/bin
```
12、登录`mysql：mysql -u root -p`密码为前面初始化提示的密码

13、设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）
```
mysql> set password=password("Qs23=zs32");
```
14、更改MySQL密码策略
```
mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
```
15、设置简单好记的密码
```
mysql> set password=password("000000");
```
16、进入MySQL库
```
mysql> use mysql
```
17、查询user表
```
mysql> select user, host from user;
```
18、修改user表，把Host表内容修改为%
```
mysql> update user set host="%" where user="root";
```
19、刷新
```
mysql> flush privileges;
```
20、退出
```
mysql> quit;
```
#### 设置开机启动

1、将服务文件拷贝到init.d下，并重命名为mysql
```
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
```
2、赋予可执行权限
```
chmod +x /etc/init.d/mysqld
```
3、添加服务
```
chkconfig --add mysqld
```
4、显示服务列表
```
chkconfig --list
```

### 1.2 YUM安装

1、更新yum
```
yum update -y
```
这里会更新好多内容，需要等待一会。

2、安装wget工具
```
yum install -y wget 
```
3、使用wget下载mysql yum源
```
wget https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
```
4、添加 mysql yum 源
```
yum localinstall mysql80-community-release-el7-3.noarch.rpm -y
```
5、安装 yum 工具 yum-utils 
```
yum install -y yum-utils
```
6、查看可用的 mysql 
```
yum repolist enabled | grep "mysql.*-community.*"
```
```
[root@hadoop101 mysql]# yum repolist enabled | grep "mysql.*-community.*"
mysql-connectors-community/x86_64 MySQL Connectors Community 234
mysql-tools-community/x86_64 MySQL Tools Community 102
mysql80-community/x86_64 MySQL 8.0 Community Server 446
```

这里默认mysql8.0

7、查看所有的 mysql 版本
```
yum repolist all | grep mysql
```
```
[root@hadoop101 mysql]# yum repolist all | grep mysql
mysql-cluster-7.5-community/x86_64 MySQL Cluster 7.5 Community 禁用
mysql-cluster-7.5-community-source MySQL Cluster 7.5 Community - 禁用
mysql-cluster-7.6-community/x86_64 MySQL Cluster 7.6 Community 禁用
mysql-cluster-7.6-community-source MySQL Cluster 7.6 Community - 禁用
mysql-cluster-8.0-community/x86_64 MySQL Cluster 8.0 Community 禁用
mysql-cluster-8.0-community-source MySQL Cluster 8.0 Community - 禁用
mysql-connectors-community/x86_64 MySQL Connectors Community 启用: 234
mysql-connectors-community-source MySQL Connectors Community - S 禁用
mysql-tools-community/x86_64 MySQL Tools Community 启用: 102
mysql-tools-community-source MySQL Tools Community - Source 禁用
mysql-tools-preview/x86_64 MySQL Tools Preview 禁用
mysql-tools-preview-source MySQL Tools Preview - Source 禁用
mysql55-community/x86_64 MySQL 5.5 Community Server 禁用
mysql55-community-source MySQL 5.5 Community Server - S 禁用
mysql56-community/x86_64 MySQL 5.6 Community Server 禁用
mysql56-community-source MySQL 5.6 Community Server - S 禁用
mysql57-community/x86_64 MySQL 5.7 Community Server 禁用
mysql57-community-source MySQL 5.7 Community Server - S 禁用
mysql80-community/x86_64 MySQL 8.0 Community Server 禁用
mysql80-community-source MySQL 8.0 Community Server - S 禁用
```
8、使用指定版本MySQL 
假如我想使用MySQL5.7，那么我就需要先关闭MySQL8.0 
 关闭MySQL8.0 
```
yum-config-manager --disable mysql80-community
```
开启MySQL5.7
```
yum-config-manager --enable mysql57-community
```
9、查看当前启用的MySQL版本 
```
yum repolist enabled | grep mysql
```
```
yum repolist enabled | grep mysql
mysql-connectors-community/x86_64 MySQL Connectors Community 234
mysql-tools-community/x86_64 MySQL Tools Community 102
mysql57-community/x86_64 MySQL 5.7 Community Server 696
```
10、安装MySQL
```
yum install -y mysql-community-server
```
期间等待很长时间，等待安装完成。，如果下载速度只有几十kb，请更换网络，或者使用手机热点进行下载。更换热点后，再次执行此命令即可。


```
yum install -y mysql-community-server
```
11、启动MySQL
```
service mysqld start
```
12、查看MySQL服务状态
```
service mysqld status
```
13、初始化MySQL
查看初始化密码：
```
grep 'temporary password' /var/log/mysqld.log
```
使用初始密码进行登录：
```
mysql -u root -p
```
初始化密码
```
ALTER USER 'root'@'localhost' IDENTIFIED BY 'daasan7ujm^YHN';
```
14、设置MySQL密码策略
查询MySQL初始的密码策略
```
SHOW VARIABLES LIKE 'validate_password%'; 
```
```
mysql> SHOW VARIABLES LIKE 'validate_password%'; 
+--------------------------------------+--------+
| Variable_name | Value |
+--------------------------------------+--------+
| validate_password_check_user_name | OFF |
| validate_password_dictionary_file | |
| validate_password_length | 8 |
| validate_password_mixed_case_count | 1 |
| validate_password_number_count | 1 |
| validate_password_policy | MEDIUM |
| validate_password_special_char_count | 1 |
+--------------------------------------+--------+
7 rows in set (0.00 sec)

```
修改密码验证强度
```
set global validate_password_policy=LOW; 
```
修改密码长度
```
set global validate_password_length=6;
```
此时密码已经可以设置简单密码了。
```
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
```
注意，密码长度最低为4位，设置的密码长度小于4时，默认改成4.
15、设置MySQL远程连接，在sql里面设置
```sql
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
```
这里的密码时你自己的设置的密码 

刷新权限
```
FLUSH PRIVILEGES;
```
16、设置 MySQL开机启动,在linux里面设置
不在sql里面配置，在Linux命令行执行。！！！不是在sql里面
```
systemctl enable mysqld

（这只是提示目录所在）MySQL的配置文件目录：
/etc/my.cnf 
```
17、配置防火墙 
设置3306端口开放
```
firewall-cmd --zone=public --add-port=3306/tcp --permanent
```
看到success表示添加成功。
 
重启防火墙
```
firewall-cmd --reload
```
看到success表示添加成功。

验证3306是否开放成功
```
firewall-cmd --zone=public --query-port=3306/tcp
```
### 1.3 离线RPM安装
#### 安装MySQL
1、安装包准备 
将安装包上传到服务器并解压
```
[root@localhost ~]# ll
总用量 533104
-rw-r--r--. 1 root root 545894400 3月 11 19:15 mysql-5.7.37-1.el7.x86_64.rpm-bundle.tar

[root@localhost ~]# tar -xvf mysql-5.7.37-1.el7.x86_64.rpm-bundle.tar 
mysql-community-client-5.7.37-1.el7.x86_64.rpm
mysql-community-common-5.7.37-1.el7.x86_64.rpm
mysql-community-devel-5.7.37-1.el7.x86_64.rpm
mysql-community-embedded-5.7.37-1.el7.x86_64.rpm
mysql-community-embedded-compat-5.7.37-1.el7.x86_64.rpm
mysql-community-embedded-devel-5.7.37-1.el7.x86_64.rpm
mysql-community-libs-5.7.37-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.37-1.el7.x86_64.rpm
mysql-community-server-5.7.37-1.el7.x86_64.rpm
mysql-community-test-5.7.37-1.el7.x86_64.rpm
```
2、如果是虚拟机按照如下步骤执行 
卸载自带的Mysql-libs（如果之前安装过MySQL，要全都卸载掉）
```
rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps
```
3、如果是阿里云服务器按照如下步骤执行 
说明：由于阿里云服务器安装的是Linux最小系统版，没有如下工具，所以需要安装。
（1）卸载MySQL依赖，虽然机器上没有装MySQL，但是这一步不可少
```
 yum remove mysql-libs
```
（2）下载依赖并安装
```
yum -y install libaio
yum -y install autoconf
```
4、安装MySQL依赖
```
rpm -ivh mysql-community-common-5.7.37-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-5.7.37-1.el7.x86_64.rpm 
rpm -ivh mysql-community-libs-compat-5.7.37-1.el7.x86_64.rpm 
 20 
 21 
 22 
```
5、安装mysql-client
```
rpm -ivh mysql-community-client-5.7.37-1.el7.x86_64.rpm
```
6、安装mysql-server
```
rpm -ivh mysql-community-server-5.7.37-1.el7.x86_64.rpm 
```
注意：如果报如下错误，这是由于yum安装了旧版本的GPG keys所造成，从rpm版本4.1后，在安装或升级软件包时会自动检查软件包的签名。
```
warning: 05_mysql-community-server-5.7.37-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
error: Failed dependencies:
libaio.so.1()(64bit) is needed by mysql-community-server-5.7.37-1.el7.x86_64
```
解决办法
```
rpm -ivh mysql-community-server-5.7.37-1.el7.x86_64.rpm --force --nodeps
```
7、启动MySQL
```
systemctl start mysqld
```
8、查看MySQL密码
```
cat /var/log/mysqld.log | grep password
```
#### 配置MySQL
配置只要是root用户 + 密码，在任何主机上都能登录MySQL数据库。
1、用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）
```
mysql -uroot -p'password'
```
2、设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）

```
mysql> set password=password("Qs23=zs32");
```
3、更改MySQL密码策略
```
mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
```
4、设置简单好记的密码
```
mysql> set password=password("000000");
```
5、进入MySQL库
```
mysql> use mysql
```
6、查询user表
```
mysql> select user, host from user;
```
7、修改user表，把Host表内容修改为%
```
mysql> update user set host="%" where user="root";
```
8、刷新
```
mysql> flush privileges;
```
9、退出
```
mysql> quit;
```
## 二、卸载MySQL

### 2.1 卸载二进制文件安装
1、关闭MySQL服务
```
systemctl stop mysql.service 
```
2、查找MySQL对应的所有文件夹
```bash
find / -name mysql 

rm -rf [显示的文件夹路径] 

# 检查mysql是否删除干净
whereis mysql 
```
3、删除mysql配置文件
```
rm -rf /etc/my.cnf
```
4、删除相关文件
```
rm -rf /etc/init.d/mysqld
```
### 2.2 卸载YUM安装
1、筛选过滤出mysql相关组件
```
rpm -qa | grep mysql
```
2、关闭MySQL服务
```
systemctl stop mysql.service 
```
3、卸载已安装的所有mysql组件
```bash
rpm -qa | grep mysql

# 卸载对应组件命令如下：

rpm -ev --nodeps [显示的组件名称] 
```
4、查找MySQL对应的所有文件夹
```bash
find / -name mysql 

rm -rf [显示的文件夹路径] 

# 检查mysql是否删除干净

whereis mysql 
```
5、删除mysql用户及用户组
```bash
# 使用命令查看指定文件夹下的mysql

more /etc/passwd | grep mysql 

more /etc/shadow | grep mysql 

more /etc/group | grep mysql 

# 使用命令删除mysql用户和用户组

userdel mysql 

groupdel mysql
```
删除完成后再次检查文件夹mysql信息是否清空

MySQL5.7安装

# 1 概述

## 1.1背景
基于 ARM架构下（银河麒麟v10内核版本4.19.90-17）版本的鲲鹏服务器，搭建原生的Apache hadoop集群，配置相关所需要的服务组件，如hive、spark。

## 1.2 版本说明
| | 版本 |
| --- | --- |
| Jdk | 1.8（aarch64版） |
| Hadoop | 3.3.1（aarch64版） |
| Hive | 3.1.2 |
| Mysql | 8.0.28（aarch64版） |
| Spark | 2.4.7（纯净版-without hadoop） |




# 2 前期准备

## 2.1 安装包
在部署之前，提前准备好以下安装包，主节点创建目录 /opt/software 存放


![image2-1.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-1.png)


| | 下载地址 |
| --- | --- |
| MySQL | [https://cdn.mysql.com/archives/mysql-8.0/mysql-8.0.28-1.el8.aarch64.rpm-bundle.tar](https://cdn.mysql.com/archives/mysql-8.0/mysql-8.0.28-1.el8.aarch64.rpm-bundle.tar) |
| JDBC | https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.28/[mysql-connector-java-8.0.28.jar](https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.28/mysql-connector-java-8.0.28.jar) |
| JDK | [https://www.oracle.com/java/technologies/downloads/](https://www.oracle.com/java/technologies/downloads/) 注：需要登陆 |
| Hive | https://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz |
| Spark | https://archive.apache.org/dist/spark/spark-2.4.7/[spark-2.4.7-bin-without-hadoop.tgz](https://archive.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-without-hadoop.tgz) |


## 2.2 host映射(所有节点)
1. 修改每台机器的hostname
```shell
vim /etc/hostname
```

2. 添加host映射
```shell
vim /etc/hosts
#填入自己集群节点的IP对应关系
10.168.60.21 hadoop102
10.168.60.22 hadoop103
10.168.60.23 hadoop104
```

## 2.3 关闭防火墙和Selinux(所有节点)
关闭防火墙
```shell
systemctl status firewalld #查看防火墙
systemctl stop firewalld #关闭防火墙
systemctl disable firewalld #永久关闭防火墙
```

关闭selinux
```shell
vi /etc/selinux/sconfig
# SELINUX=enforcing 改为SELINUX=disabled
```


## 2.4 免密钥(所有节点)

1）生成公钥和私钥：
```shell
[root@hadoop102 .ssh]$ ssh-keygen -t rsa
```
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） 2）将公钥拷贝到要免密登录的目标机器上
```shell
[root@hadoop102 .ssh]$ ssh-copy-id hadoop102
[root@hadoop102 .ssh]$ ssh-copy-id hadoop103
[root@hadoop102 .ssh]$ ssh-copy-id hadoop104
```
3）重复1和2的操作，配置hadoop103对hadoop102、hadoop103、hadoop104三台服务器免密登录。

## 2.5 分发脚本
rsync系统自带会有，检查下，没有就自己安装下 #检查
```shell
rpm -q rsync
```
为后面方便快速分发配置文件准备
```shell
mkdir ~/bin
vim xsync
```
填写如下内容
```shell
#!/bin/bash
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

p1=$1
fname=`basename $p1`
echo fname=$fname
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
user=`whoami`
for((host=103; host<105; host++)); do
echo ------------------- hadoop$host --------------
rsync -av $pdir/$fname $user@hadoop$host:$pdir
done
```
添加执行权限
```shell
chmod +x ~/bin/xsync
```

# 3 部署环境

## 3.1 部署Jdk

### 3.1.1 卸载系统自带Jdk(所有节点)
查看系统自带jdk
```shell
rpm -qa | grep jdk
java -version
```
![image2-2.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-2.png)

卸载Jdk
```shell
yum remove java-1.8.0-openjdk-1.8.0.242.b08-1.h5.ky10.aarch64
yum remove java-1.8.0-openjdk-headless-1.8.0.242.b08-1.h5.ky10.aarch64
yum remove java-11-openjdk-11.0.6.10-4.ky10.ky10.aarch64
yum remove java-11-openjdk-headless-11.0.6.10-4.ky10.ky10.aarch64
```

### 3.1.2 安装jdk
```shell
mkdir /opt/module
tar -zxvf /opt/software/jdk-8u341-linux-aarch64.tar.gz -C /opt/module/
mv /opt/module/jdk1.8.0_341 jdk

# 配置环境变量
# 编辑/etc/profile文件，加入以下内容
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
```

验证

![image2-3.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-3.png)

分发
```shell
xsync /opt/module/jdk
xsync /etc/profile
```

## 3.2 部署hadoop

### 3.2.1 安装hadoop
```shell
# 解压
tar -zxvf /opt/software/hadoop-3.3.1-aarch64.tar.gz -C /opt/module/
mv /opt/module/hadoop-3.3.1 /opt/module/hadoop

# 编辑/etc/profile文件，配置hadoop的环境变量
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
```
验证

![image2-4.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-4.png)


### 3.2.2 修改配置文件
1、修改hadoop-env.sh、mapred-env.sh和yarn-env.sh 添加如下内容
```shell
export JAVA_HOME=/opt/module/jdk
```

![image2-5.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-5.png)

2、修改core-site.xml 
```xml
<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://hadoop102:9000</value>
 </property>

 <property>
 <name>hadoop.tmp.dir</name>
 <value> /data/hadoop/tmp</value>
 </property>
</configuration>
```
3、修改hdfs-site.xml
```xml
<configuration>
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop102:50070</value>
	</property>

	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/data/hadoop/dfs/name</value>
	</property>

	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/data/hadoop/dfs/data</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>

	<property>
		<name>dfs.blocksize</name>
		<value>128m</value>
	</property>
</configuration>
```
创建文件目录
```shell
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/dfs/name
mkdir -p /data/hadoop/dfs/data
xsync /data/hadoop/
```

4、修改mapred-site.xml
```xml
<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>

 <property>
 <name>mapreduce.jobhistory.address</name>
 <value>hadoop102:10020</value>
 </property>

 <property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>hadoop102:19888</value>
 </property>
</configuration>
```
5、修改yarn-site.xml
```xml
<configuration>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>hadoop103:8088</value>
	</property>

	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>12288</value>
	</property>

	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>12288</value>
	</property>

	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
 
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>hadoop103:8032</value>
	</property>

	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>hadoop103:8030</value>
	</property>

	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>hadoop103:8031</value>
	</property>

	<property>
		<name>yarn.application.classpath</name>
		<value>
/opt/module/hadoop/etc/hadoop,
/opt/module/hadoop/share/hadoop/common/lib/*,
/opt/module/hadoop/share/hadoop/common/*,
/opt/module/hadoop/share/hadoop/hdfs,
/opt/module/hadoop/share/hadoop/hdfs/lib/*,
/opt/module/hadoop/share/hadoop/hdfs/*,
/opt/module/hadoop/share/hadoop/mapreduce/*,
/opt/module/hadoop/share/hadoop/yarn,
/opt/module/hadoop/share/hadoop/yarn/lib/*,
/opt/module/hadoop/share/hadoop/yarn/*
		</value>
	</property>
 
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
 
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>
```
修改work文件，编辑 /opt/module/hadoop/etc/hadoop/workers 添加以下内容
```shell
hadoop102
hadoop103
hadoop104
```

### 3.3.3 修改启动文件
```shell
# 编辑/opt/module/hadoop/sbin/start-dfs.sh文件，在第一行增加以下内容：
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

# 编辑/opt/module/hadoop/sbin/stop-dfs.sh文件，在第一行增加以下内容：
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

# 编辑/opt/module/hadoop/sbin/start-yarn.sh文件，在第一行增加以下内容：
YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=root
YARN_NODEMANAGER_USER=root

# 编辑/opt/module/hadoop/sbin/stop-yarn.sh文件，在第一行增加以下内容：
YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=root
YARN_NODEMANAGER_USER=root
```

### 3.3.4 分发
```shell
xsync /opt/module/hadoop/
xsync /etc/profile
# 下面这个所有节点执行
source /etc/profile
```

### 3.3.5 启动测试
```shell
# 初始化 name node
hdfs namenode -format
# 启动hadoop
start-all.sh

# hadoop103 执行
start-yarn.sh
```

## 3.3 部署mysql
```shell
# 解压
mkdir -p /opt/software/mysql
tar -xvf /opt/software/mysql-8.0.28-1.el8.aarch64.rpm-bundle.tar -C /opt/software/mysql

# 安装,必须按照顺序执行
rpm -ivh mysql-community-client-plugins-8.0.28-1.el8.aarch64.rpm
rpm -ivh mysql-community-common-8.0.28-1.el8.aarch64.rpm
rpm -ivh mysql-community-libs-8.0.28-1.el8.aarch64.rpm
rpm -ivh mysql-community-client-8.0.28-1.el8.aarch64.rpm
rpm -ivh mysql-community-icu-data-files-8.0.28-1.el8.aarch64.rpm
rpm -ivh mysql-community-server-8.0.28-1.el8.aarch64.rpm

# 启动mysql
systemctl start mysqld
systemctl enable mysqld
# 获取密码，复制root@localhost: 后面的内容
grep 'temporary password' /var/log/mysqld.log
```
用上面复制的密码
```shell
mysql -uroot -p
```
配置mysql
```sql
#在原先密码基础上改一个字母我之前的是 A)fsU_mu#6%h 否则啥也执行不了
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'A)fsU_mu#6%q';

# 修改密码策略
set global validate_password.policy=0;
set global validate_password.length=6;
ALTER user 'root'@'localhost' IDENTIFIED BY 'root@guoyun';
FLUSH PRIVILEGES;
use mysql;
update user set host='%' where user='root';
FLUSH PRIVILEGES;
ALTER USER 'root'@'%' IDENTIFIED BY 'root@guoyun' PASSWORD EXPIRE NEVER;
```
修改my.conf 修改配置文件
```shell
vim /etc/my.cnf
```
添加下面的内容，解决group by 报错
```sql
sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION'
```
验证
```shell
systemctl status mysqld
```

![image2-6.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-6.png)


## 3.4 部署Hive
```shell
# 解压
tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/
mv /opt/module/apache-hive-3.1.2-bin/ /opt/module/hive

# 拷贝jdbc包
cp /opt/software/mysql-connector-java-8.0.28.jar /opt/module/hive/lib/
# 拷贝hive-site.xml文件
cd /opt/module/hive/conf
cp hive-default.xml.template hive-site.xml
```
修改配置文件hive-site.xml文件
```xml
<property>
 <name>javax.jdo.option.ConnectionUserName</name>
 <value>root</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionPassword</name>
 <value>root@guoyun</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionURL</name>
 <value>jdbc:mysql://hadoop102:3306/hive</value>
</property>

<property>
 <name>javax.jdo.option.ConnectionDriverName</name>
 <value>com.mysql.cj.jdbc.Driver</value>
</property>

<property>
 <name>hive.metastore.schema.verification</name>
 <value>false</value>
</property>
```

将hive-site.xml文件里3215行的“& 8;”删除，如下图

![image2-7.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-7.png)

将hive-site.xml文件中的“system:”替换为空，如${system:java.io.tmpdir}替换为${java.io.tmpdir}，文件中中有多处，全部搜索替换掉

![image2-8.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-8.png)

在mysql上创建一个hive库

![image2-9.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-9.png)

添加环境变量，编辑 /etc/profile添加如下内容,source使其生效
```shell
export HIVE_HOME=/opt/module/apache-hive
export PATH=$PATH:$HIVE_HOME/bin
```
初始化hive
```shell
schematool -dbType mysql -initSchema
```
出现如下，初始化成功

![image2-10.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-10.png)

启动验证

![image2-11.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-11.png)

启动hiveserver2
```shell
hive --service metastore &
hive --service hiveserver2 &
```
验证

![image2-12.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-12.png)


## 3.5 部署spark
```shell
# 解压
tar -zxvf /opt/software/spark-2.4.7-bin-without-hadoop.tgz -C /opt/module/
mv /opt/module/spark-2.4.7-bin-without-hadoop /opt/module/spark


# 添加环境变量，编辑 /etc/profile添加如下内容,source使其生效
# SPARK_HOME
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin


# 在hive 中创建 spark 配置文件
vim /opt/module/hive/conf/spark-defaults.conf

添加如下内容
spark.master yarn
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:9000/spark-history
spark.executor.memory 2g 
spark.driver.memory 1g

# 在HDFS 创建如下路径
hadoop fs -mkdir /spark-history

# 删除orc-core-1.5.5-nohive 包
rm -r /opt/moudle/spark/jars/orc-core-1.5.5-nohive.jar

# 向 HDFS 上传 Spark 纯净版 jar 包
hadoop fs -mkdir /spark-jars
hadoop fs -put /opt/moudle/spark/jars/* /spark-jars

# 拷贝jar包到hive路径下
cp /opt/module/spark/jars/scala-compiler-2.11.12.jar /opt/module/hive/lib/
cp /opt/module/spark/jars/scala-library-2.11.12.jar /opt/module/hive/lib/
cp /opt/module/spark/jars/scala-reflect-2.11.12.jar /opt/module/hive/lib/
cp /opt/module/spark/jars/spark-core_2.11-2.4.7.jar /opt/module/hive/lib/
cp /opt/module/spark/jars/spark-network-common_2.11-2.4.7.jar /opt/module/hive/lib/
cp /opt/module/spark/jars/spark-unsafe_2.11-2.4.7.jar /opt/module/hive/lib/
cp /opt/module/spark/jars/spark-yarn_2.11-2.4.7.jar /opt/module/hive/lib/
```
编辑 /opt/module/hive/conf/hive-site.xml 文件，并在末尾添加如下内容
```xml
<property>
 <name>spark.yarn.jars</name>
 <value>hdfs://hadoop102:9000/spark-jars/*</value>
</property>

<property>
 <name>hive.execution.engine</name>
 <value>spark</value>
</property>

<property>
 <name>hive.spark.client.connect.timeout</name>
 <value>10000ms</value>
</property>
<property>
 <name>spark.home</name>
 <value>/opt/module/spark</value>
</property>
```
配置/opt/module/spark/conf/spark-env.sh
```shell
cd /opt/module/spark/conf
cp spark-env.sh.template spark-env.sh

# 末尾添加如下内容
export TERM=xterm-color
export JAVA_HOME=/opt/module/jdk
export HADOOP_HOME=/opt/module/hadoop
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export SPARK_HOME=/opt/module/spark
export SPARK_DIST_CLASSPATH=$(hdfs classpath)
export MASTER_WEBUI_PORT=8079
export SPARK_LOG_DIR=/opt/module/spark/logs
export SPARK_LIBRARY_PATH=${SPARK_HOME}/jars
export SPARK_DIST_CLASSPATH=$(hadoop classpath)
```
验证,启动hive执行sql
```sql
-- 启动hive，执行sql
create table demo (id int);
insert into table demo values (1),(2);
select * from demo;
```

![image2-13.png](https://9iw.ink/pic/home/bl/img/U1/bigdata/image2-13.png)

Prometheus+Grafana

一、Prometheus基本介绍

Nginx 安全加固配置规范

一、安装MySQL

1.1 二进制

安装MySQL

1 概述

1.1背景