登录
|
注册
公司
标签
文章
搜索
经典指数
单选题
|
海量数据
类别
公司
职位
年份
其他
添加
原因
删除
448
浏览数
0
收藏数
关于hive的优化,如下正确的选项有()
做好数据模型
减少数据倾斜
必要时做小文件合并
添加索引
还没有评论
分享到:
举报
纠错
0
/
512字
选择纠错区域
题目内容有错
题目标签有错
提交纠错
切换
提交评论
请先
登录
后评论.
1 个答案
0
0
选A,B,C,D 下面列出一些在工作有效可行的优化手段: 好的模型设计事半功倍。 解决数据倾斜问题。 减少job数。 设置合理的map reduce的task数,能有效提升性能。(比如,10w+级别的计算,用160个reduce,那是相当的浪费,1个足够)。 了解数据分布,自己动手解决数据倾斜问题是个不错的选择。set hive.groupby.skewindata=true;这是通用的算法优化,但算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,可以通过业务逻辑精确有效的解决数据倾斜问题。 数据量较大的情况下,慎用count(distinct),count(distinct)容易产生倾斜问题。 对小文件进行合并,是行至有效的提高调度效率的方法,假如所有的作业设置合理的文件数,对云梯的整体调度效率也会产生积极的正向影响。 优化时把握整体,单个作业最优不如整体最优。
还没有评论
举报
切换
提交评论
请先
登录
后评论.
撰写答案
提交回答
通往牛逼的路上,请先登录!
扫描后移动端查看本题
我也分享一个题目
×
登录
注册
找回密码
记住登录
登录
快速注册
直接第三方登录
×
保存答案