博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ambari hdp 集成 impala
阅读量:7141 次
发布时间:2019-06-29

本文共 3271 字,大约阅读时间需要 10 分钟。

1.下载ambari-impala-service
VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`sudo git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA
2./etc/yum.repos.d新建impala.repo
[cloudera-cdh5]# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat	or CentOS 6 x86_64name=Cloudera's Distribution for Hadoop, Version 5baseurl=https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/gpgkey =https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera    gpgcheck = 1
3.重启ambari-server
sudo service ambari-server restart
4.安装impala
Actions-->Add service -->impala,然后一步一步安装
因为要去cloudera官网下载impala的rpm文件,安装过程比较慢,可能会失败,多试几次就好了
5.hdfs增加配置
#HDFS config we need add below config to /etc/hadoop/conf/core-site.xml
dfs.client.read.shortcircuit
true
dfs.client.read.shortcircuit.skip.checksum
false
dfs.datanode.hdfs-blocks-metadata.enabled
true
we need add below config to /etc/hadoop/conf/hdfs-site.xml
dfs.datanode.hdfs-blocks-metadata.enabled
true
dfs.block.local-path-access.user
impala
dfs.client.file-block-storage-locations.timeout.millis
60000

 6.重启hdfs

7.启动impala

8.把hbase的jar包拷贝到 /usr/lib/impala/lib 并创建软连接

这里注意根据安装的impala的版本对应的cdh的版本选择对应的hbase的版本,否则可能出现版本不兼容的问题
ln -s hbase-annotations-1.2.0-cdh5.11.0.jar hbase-annotations.jarln -s hbase-client-1.2.0-cdh5.11.0.jar hbase-client.jarln -s hbase-common-1.2.0-cdh5.11.0.jar hbase-common.jarln -s hbase-examples-1.2.0-cdh5.11.0.jar hbase-examples.jarln -s hbase-external-blockcache-1.2.0-cdh5.11.0.jar hbase-external-blockcache.jarln -s hbase-hadoop2-compat-1.2.0-cdh5.11.0.jar hbase-hadoop2-compat.jarln -s hbase-hadoop-compat-1.2.0-cdh5.11.0.jar hbase-hadoop-compat.jarln -s hbase-it-1.2.0-cdh5.11.0.jar hbase-it.jarln -s hbase-prefix-tree-1.2.0-cdh5.11.0.jar hbase-prefix-tree.jarln -s hbase-procedure-1.2.0-cdh5.11.0.jar hbase-procedure.jarln -s hbase-protocol-1.2.0-cdh5.11.0.jar hbase-protocol.jarln -s hbase-resource-bundle-1.2.0-cdh5.11.0.jar hbase-resource-bundle.jarln -s hbase-rest-1.2.0-cdh5.11.0.jar hbase-rest.jarln -s hbase-rsgroup-1.2.0-cdh5.11.0.jar hbase-rsgroup.jarln -s hbase-server-1.2.0-cdh5.11.0.jar hbase-server.jarln -s hbase-shell-1.2.0-cdh5.11.0.jar hbase-shell.jarln -s hbase-spark-1.2.0-cdh5.11.0.jar hbase-spark.jarln -s hbase-thrift-1.2.0-cdh5.11.0.jar hbase-thrift.jar
如果没有拷贝hbase的jar到/usr/lib/impala/lib 下则会报错:
光拷贝hbase jar包到/usr/lib/impala/lib 下如果不修改名字的话会识别不到,impala-server启动时会报类似的错:F0510 04:53:11.157616 25119 impalad-main.cc:64] NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan
CAUSED BY: ClassNotFoundException: org.apache.hadoop.hbase.client.Scan
 

 

转载于:https://www.cnblogs.com/zwgblog/p/6846030.html

你可能感兴趣的文章
抓住热门话题一对一直播,如何在风浪四起的直播市场劈风斩浪? ...
查看>>
手把手教你用owncloud搭建属于自己的云盘
查看>>
epoll+socket实现 socket并发 linux服务器
查看>>
阿里巴巴人事再调整,将打通淘宝、天猫两个消费场景 ...
查看>>
Kubernetes + CRI + Kata + Firecracker
查看>>
菜鸟成都未来园区启动,无人车首次进入园区调拨运输环节 ...
查看>>
算法不扎实的程序员,每个都很慌
查看>>
4个需要避免的常见Kubernetes监控陷阱
查看>>
规划一个智能工厂应避免的十个坑
查看>>
Linux 虚拟网络设备详解之 Bridge 网桥
查看>>
LaTeX的简单使用方法
查看>>
IO流
查看>>
第二十四章:页面导航(四)
查看>>
数字对讲系统开发札记(前端linux c 后端 c#)
查看>>
海外共享公寓品牌Tripalink完成A轮融资,险峰长青领投
查看>>
阿里在使用一种更灵活的软件集成发布模式
查看>>
自己实现一个StringBuffer
查看>>
SpringBoot使用Nacos配置中心
查看>>
星矿科技完成千万元融资,专注明星IP价值商业化
查看>>
SOP 1.2.0 发布,开放平台解决方案项目
查看>>