kylin 安装相关

孤独比酒暖° 15天前   阅读数 27 0

su hdfs 使用hdfs安装防止创建hdfs目录权限问题

tar -zxvf apache-kylin-3.1.0-bin-hadoop3.tar.gz
hive添加自定义参数 hive-site新增自定义参数 
<property> 
 <name>hive.security.authorization.sqlstd.confwhitelist</name>
 <value>mapred.*|hive.*| mapreduce.*|spark.*</value> 
</property>  

<property> 
 <name>hive.security.authorization.sqlstd.confwhitelist.append</name>
 <value>mapred.*| hive.*|mapreduce.*|spark.*</value> 
</property> 

./check-env.sh 检查环境
./kylin.sh start 启动脚本
./kylin.sh stop 停止脚本


1.执行./sample.sh 错误
erro 
 Cannot modify dfs.replication at runtime

解决方法
https://www.jianshu.com/p/ef383f6b91cc
修改conf/kylin_hive_conf.xml
注释掉dfs.replication这个属性,还有mapreduce.job.split.metainfo.maxsize这个属性也注释掉

2.kylin  Cannot modify mapreduce.job.name at runtime 
hive添加自定义参数 hive-site新增自定义参数 
<property> 
 <name>hive.security.authorization.sqlstd.confwhitelist</name>
 <value>mapred.*|hive.*| mapreduce.*|spark.*</value> 
</property>  

<property> 
 <name>hive.security.authorization.sqlstd.confwhitelist.append</name>
 <value>mapred.*| hive.*|mapreduce.*|spark.*</value> 
</property> 

原文链接:https://blog.csdn.net/zhouyuanlinli/article/details/102952151

3 流式调用kafka中的数据

第一步

https://blog.csdn.net/qq_28356739/article/details/89534665  需要修改页面

第二步

vim sample-streaming.sh文件修改

hdp使用连接kafka使用6667端口 ${dir}/kylin.sh org.apache.kylin.source.kafka.util.KafkaSampleProducer --topic kylin_streaming_topic --broker ambari1:6667

手动安装kafka端口为9092

测试kafka是否正常方法:

创建topic

sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

启动生产者命令行模式:

sh kafka-console-producer.sh --broker-list 192.168.1.134:6667 --topic test

启动消费者命令行模式:

sh kafka-console-consumer.sh --bootstrap-server 192.168.1.134:6667 --topic test --from-beginning


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: