经典指数          
原因
448
浏览数
0
收藏数
 

关于hive的优化,如下正确的选项有()
  • 做好数据模型
  • 减少数据倾斜
  • 必要时做小文件合并
  • 添加索引

     举报   纠错  
 
切换
1 个答案
选A,B,C,D 下面列出一些在工作有效可行的优化手段: 好的模型设计事半功倍。 解决数据倾斜问题。 减少job数。 设置合理的map reduce的task数,能有效提升性能。(比如,10w+级别的计算,用160个reduce,那是相当的浪费,1个足够)。 了解数据分布,自己动手解决数据倾斜问题是个不错的选择。set hive.groupby.skewindata=true;这是通用的算法优化,但算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,可以通过业务逻辑精确有效的解决数据倾斜问题。 数据量较大的情况下,慎用count(distinct),count(distinct)容易产生倾斜问题。 对小文件进行合并,是行至有效的提高调度效率的方法,假如所有的作业设置合理的文件数,对云梯的整体调度效率也会产生积极的正向影响。 优化时把握整体,单个作业最优不如整体最优。
 
切换
撰写答案
扫描后移动端查看本题