Kylin的关键配置参考

自身的配置:conf/kylin.properties文件

kylin.cube.algorithm : 建立cube的算法,默认是auto , 可以选择的是 “layer” or “inmem” ,“inmem”更快,但是更消耗内存。
kylin.hbase.region.cut : hbase 的每个region 大小,默认是5G。
kylin.hbase.default.compression.codec : 在hbase中的压缩方式。

hadoop 相关的配置:kylin_job_conf.xml & kylin_job_conf_inmem.xml 文件

kylin.job.mr.config.override.mapreduce.map.java.opts=-Xmx7g
kylin.job.mr.config.override.mapreduce.map.memory.mb=8192
kylin.job.mr.config.override.mapreduce.job.queuename=myQueue

hive 相关的配置:kylin_hive_conf.xml

默认情况下 ,这三个配置文件是一样的,配置在哪个文件中都可以,只是名字上做了区分。
若是想开启压缩的话:
hive要开启压缩,修改 kylin_hive_conf.xml
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description></description>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description></description>
</property>

MR作业想开启压缩的话: 修改kylin_job_conf.xml & kylin_job_conf_inmem.xml

<property>
<name>mapreduce.map.output.compress.codec</name><value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description></description>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description></description>
</property>

#
Kylin 自身的启动参数
bin/setenv.sh
示例:
export KYLIN_JVM_SETTINGS=”-Xms1024M -Xmx4096M -Xss1024K -XX:MaxPermSize=128M -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:$KYLIN_HOME/logs/kylin.gc.$$ -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=64M”

# export KYLIN_JVM_SETTINGS=”-Xms16g -Xmx16g -XX:MaxPermSize=512m -XX:NewSize=3g -XX:MaxNewSize=3g -XX:SurvivorRatio=4 -XX:+CMSClassUnloadingEnabled -XX:+CMSParallelRemarkEnabled -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode -XX:CMSInitiatingOccupancyFraction=70 -XX:+DisableExplicitGC -XX:+HeapDumpOnOutOfMemoryError”

开启邮箱通知:
配置文件: kylin.properties
mail.enabled=true
mail.host=smtp.126.com
mail.username=bili12@126.com
mail.password=
mail.sender=
#

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 前几天上心理课,老师给我们讲了一句话,叫做‘’永远不要在别人不需要建议的时候去指手画脚‘’。 仔细想想,确实如此。...
    木子愚阅读 816评论 0 1
  • 黑色天空,魔鬼偷去天使翅膀.一抹白帕,飞过人群,疑似上帝回归人间. 一直想为<<香水>>写点什么,在我最近的这几个...
    苏清澈阅读 395评论 4 3
  • 寒假的早晨,许是精神放松了,每天都是日上三竿才醒来。今天却例外,第一次醒来是00:15,看时间太早,强制自己再次入...
    爱如你我阅读 823评论 1 6

友情链接更多精彩内容