Hadoop内hive:间,hive和DB、ES等:间数据交互的问题和解决方案
之前做大数据处理,经常遇到各种问题。很多时候是项目作业简单项配置问题,也可能是导入导出参数配置的问题,也可能是公司Hadoop平台的问题。那么如何排查问题,解决问题?这种事情,除了自己要积累一些大数据的知识和技能外,也需要一些获得一些排查问题的技巧、方法。
排查问题:
1、查看公司平台给的报错信息;
2、检查创建作业的配置是否正确;
3、直接去公司的hadoop平台查运行报错的日志
看日志排查问题技巧方法:
查看日志,搜关键字“caused by”,“error”,“connect”,“memory”等,看其上下文日志
不要总想着一点点看,一点点分析。搜关键字。
常见问题与解决方案:
1、hive2hive作业数据量太大,导致内存溢出
解决方案:
1)扩大hive数据作业的MapReduce、Spark这些计算引擎的参数
2)数据做切分后再加工处理
2、ES服务器设置的导入数据内存量太小,导致的内存溢出,hive2es导出数据失败
解决方案:扩大es内存参数。
3、连接关系数据库超时
这种问题有两种情况,我们的关系型数据库(MySQL、Oracle等)与大数据平台关联配置没成功,或者配置的账号、密码错误。还要一种情况,大数据平台关联的数据库有问题。这两种情况属于哪一种,需要看具体日志。
解决方案:正确配置关系型数据库的关联,或者启动那个未成功启动的数据库。
4、数据从hive导出经常报错,但是不是很频繁。网络抖动导致的问题导致的失败。
设置Spark这种计算工具的心跳参数。
心跳参数:spark.executor.heartbeatInterval
5、
其他问题,后续补充……
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhghcaeb
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13