感谢支持
我们一直在努力

Hive安装(本地独立模式,MySQL为元数据库)

Hive安装(本地独立模式,MySQL为元数据库)

部署环境:

系统

Red Hat linux 6.4

Hadoop版本

1.2.1

Hive版本

0.11.0

Mysql数据库版本

5.6.15

目前Hive已经更新到0.13.1版本

安装步骤:

1. 安装mysql

2. 安装hive

3. 测试

基于Hadoop集群的Hive安装 http://www.linuxidc.com/Linux/2013-07/87952.htm

Hive内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htm

Hadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htm

Hive本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htm

Hive学习之WordCount单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htm

一. 安装Mysql

1. 由于部署系统使用的是[b]Red hat linux 6.4 [/b],所以要先删除系统系带的Mysql。

2. 安装Mysql server

3. 安装Mysql client

查看一下:

4. 启动Mysql服务

不启动登陆会报错:

启动服务:

5. 登陆mysql 并修改密码

这个密码是随机生成的,在一个隐藏文件件(各种查资料都说不用初始密码…但我装好后必须要用这个随机密码,找这个密码文件真是泪流满面…最后才发现时隐藏文件)

修改密码并用新密码登陆:

使用mysqladmin -u root -p password root修改root用户密码

6. 创建hive元数据库

create database hive; –元数据要看 hive配置文件配置的数据库名

7. 对Hadoopuser授权

注意,此处的密码必须和hive-site.xml中Javax.jdo.option.ConnectionPassword的密码一致

[b]grant all on hive.* to ‘hadoopuser’@’localhost’ identified by ‘root’;[/b]

二.安装Hive

2.1 解压安装Hive

2.2 修改配置文件

1. 复制一份hive-env.sh.template 模板重命名为hive-env.sh

cp hive-env.sh.template hive-env.sh

2. 更改hive-env.sh 内容

更多详情见请继续阅读下一页的精彩内容: http://www.linuxidc.com/Linux/2014-06/103822p2.htm

3. 复制一份hive-default.xml.template重命名为hive-site.xml

cp hive-default.xml.template hive-site.xml

4. 更改hive-site.xml 内容

注意:

Javax.jdo.option.ConnectionURL

jdbc:MySQL://localhost/hive_metastore?createDatabaseIfNotExist=true

JDBC connect string for a JDBC metastore

标红位置是使用的mysql数据库名字,所以一定要赋予mysql用户对hive_metastore的全部权限。

这里是配置用户名和密码,mysql 的

最后这部分可以不添加(我使用的版本不需要),有些本版需要,有些版本不需要…

详细的配置方式可参考:

[url=http://blog.csdn.net/reesun/article/details/8556078]http://blog.csdn.net/reesun/article/details/8556078[/url]

5. 添加lib目录下缺少的mysql-connector-java-5.1.29.tar 包。

到官网下载即可

6. 配置环境变量

7. 切换进hvie目录,启动thrift服务

./bin/hive –service hiveserver 注意:两个杠

切换进hvie目录,进入hive

./bin/hive

验证启动成功,效果应如下图:

Show tables;

Create table;

hive> create table t_demo(d_id string,d_str string)

> row format delimited

> fields terminated by ‘|’

> stored as textfile

> ;

查看Hadoop hdfs 是否生成了文件

三.过程中可能遇到的问题

hive> show tables;

FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

用下面的命令,重新启动hive

[b]./hive -hiveconf hive.root.logger=DEBUG,console [/b][b]进行[/b][b]debug[/b]

问题1.

Caused by: org.datanucleus.store.rdbms.datasource.DatastoreDriverNotFoundException: The specified datastore driver (“com.mysql.jdbc.Driver”) was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

解决方法:

这说明没有添或者添加错了mysql-connector-java-5.1.29.jar 包添加jar包即可

问题2.

Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Access denied for user ‘hadoopuser’@’localhost’ to database ‘hive_metastore’

解决方法:

这是因为mysql数据库用户hadoopuser 的权限不足,赋予权限

grant all on hive_metastore.* to ‘hadoopuser’@’localhost’ ;

Hive 的详细介绍:请点这里
Hive 的下载地址:请点这里

本文永久更新链接地址:http://www.linuxidc.com/Linux/2014-06/103822.htm

赞(0) 打赏
转载请注明出处:服务器评测 » Hive安装(本地独立模式,MySQL为元数据库)
分享到: 更多 (0)

听说打赏我的人,都进福布斯排行榜啦!

支付宝扫一扫打赏

微信扫一扫打赏