理论教育 如何搭建Hive环境?

如何搭建Hive环境?

时间:2023-06-14 理论教育 版权反馈
【摘要】:set password = password创建hive 用户,数据库CREATE USER hive@localhost IDENTIFIED BY 'Hive123@';create database hive;设置权限grant all on hive.* to hive@'%' identified by 'Hive123@';grant all on hive.* to hive@'localhost' identified by 'Hive123@';flush privileges;验证mysql -u hive -p "Hive123@"show databases;显示hive 用户所拥有的数据库,如图6-5 所示:图6-5hive 用户登录后的数据库三、安装HiveHive 下载页面http://mirrors.hust.edu.cn/apache/hive/,同时下载bin 和src 两个文件。

如何搭建Hive环境?

一、MySQL 安装

1.通过网络安装

(1)下载mysql57-community-release-el7-8.noarch.rpm 的yum 源

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

(2)安装mysql57-community-release-el7-8.noarch.rpm

rpm -ivh mysql57-community-release-el7-8.noarch.rpm

(3)安装MySQL

yum install mysql-server

2.通过rpm 包安装

在https://dev.mysql.com/downloads/file/?id=471503 下 载mysql-5.7.19-1.el7.x86_64.rpm-bu

二、启动MySQL 并创建用户

servcie mysqld start

(1)查找MySQL 登录密码

CentOS7 中MySQL 安装完毕后,会在/var/log/mysqld.log 文件中会自动生成一个随机的密码,需要先取得这个随机密码,以用于登录MySQL 服务端:

grep "password" /var/log/mysqld.log

得到密码如图6-3 所示:

图6-3 查找root 登录密码

(2)登录MySQL

由于密码有=字符,在输入密码的时候需要加双引号,如图6-4 所示:

图6-4 MySQL 登录

(3)设置root 新密码

由于MySQL5.7 采用了密码强度验证插件,故此需要设置一个有一定强度的密码。

set password = password(‘Aa123456@’)

(4)创建hive 用户,数据库

CREATE USER hive@localhost IDENTIFIED BY 'Hive123@';

create database hive;

(5)设置权限

grant all on hive.* to hive@'%' identified by 'Hive123@';

grant all on hive.* to hive@'localhost' identified by 'Hive123@';

flush privileges;

验证

mysql -u hive -p "Hive123@"

show databases;

显示hive 用户所拥有的数据库,如图6-5 所示:

(www.daowen.com)

图6-5 hive 用户登录后的数据库

三、安装Hive

Hive 下载页面http://mirrors.hust.edu.cn/apache/hive/,同时下载bin 和src 两个文件。

1. 压

tar -zxvf apache-hive-1.0.1-bin.tar.gz -C /hadoop/

2. cp mysql-connector-java-5.1.40-bin.jar /hadoop/apache-hive-1.0.1-bin/lib/

3.设置环境变量

将/hadoop/apache-hive-1.0.1-bin/bin 加入环境变量中。

4.进入Hive 的conf 目录配置hive-env.sh

cp hive-env.sh.template hive-env.sh

在hive-env.sh 文件新增:

export HADOOP_HOME=/hadoop/hadoop-2.6.5

export HIVE_CONF_DIR=/hadoop/apache-hive-1.0.1-bin/conf

5.新建hive-site.xml

hive-site.xml 文件修改为:

四、运行Hive

在Hive 中执行如下命令:

create table t1(a int, b int, c int) ROW FORMAT DELIMITED FIELDS TERMINATED BY'\t';

可以在MySQL 中看到存储了t1 表的元数据,如图6-6 所示:

图6-6 t1 元数据信息

在Hive 中可以看到表的存在,如图6-7 所示:

图6-7 Hive 中查看t1

在HDFS 中存在了t1 目录,如图6-8 所示:

图6-8 HDFS t1 显示

在Hive 中将本地文件中的数据加载到t1

LOAD DATA LOCAL INPATH '/soft/t1.txt' OVERWRITE INTO TABLE t1;

执行select 语句,查看数据是否存在,如图6-9 所示:

图6-9 查询t1 所有数据

在HDFS 的t1 目录下多一个t1.txt 文件,如图6-10 所示:

图6-10 HDFS 中t1 数据

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈