Spark:Container killed on request.Exit code is 137
项目场景:
今天从MySQL中读取数据导入到Doris里面,写入批次是10万一批,并行度90,MySQL数据量在5亿多条,内存没给够导致部分task出现fail
原因分析
- 当容器(Spark 执行程序)内存不足时,YARN 会自动将其终止。这会导致“Container killed on request.Exit code is 137”(根据要求终止容器。退出代码为 137)错误。这些错误可能发生在不同的作业阶段,无论是否发生shuffle。
- 当操作系统内存不足时,YARN 容器也可能被操作系统 oom_reaper 终止,从而导致“Container killed on request.Exit code is 137”(根据要求终止容器。退出代码为 137)错误。
解决方案:
- 调整driver或者executor内存
--executor-memory 10g --driver-memory 10g
- 增加分区
如果无法增加容器内存(例如,如果在节点上使用的是 maximizeResourceAllocation),则增加 Spark 分区的数量。这可减少单个 Spark 任务处理的数据量,从而减少单个执行程序使用的总内存。
df.repartition(200)
- 增加随即分区数量
如果在shuffle中发生错误(例如 join 或 groupBy),则添加更多的随机分区。默认值为 200
--conf spark.sql.shuffle.partitions=500
- 缩减executor核数
减少executor核的数量会减少执行程序同时处理的最大任务数,从而减少container使用的内存量
- 增加实例大小
当
操作系统内存不足
时,YARN 容器也可能被操作系统 oom_reaper 终止
。如果此错误是因 oom_reaper 引起的,请使用具有更多 RAM 内存的更大实例。您还可以降低 yarn.nodemanager.resource.memory-mb,以防止 YARN 容器耗尽 Amazon EC2 的所有 RAM 内存。
可以通过检查 服务器日志来获取 dmesg 命令输出,从而检测错误是否是因 oom_reaper 引起的。首先找到运行被终止 YARN 容器的核心节点或任务节点。可以使用 YARN 资源管理器 UI 或日志查找此信息。然后检查容器被终止之前和之后在此节点上的 Amazon EMR 实例状态日志,确定导致进程终止的原因。
在下例中,对应于 YARN container_165487060318_0001_01_000244 的 ID 36787 进程被内核(Linux 的内存耗尽终止程序)终止:
dmesg | tail -n 25
[ 3910.032284] Out of memory: Kill process 36787 (java) score 96 or sacrifice child
[ 3910.043627] Killed process 36787 (java) total-vm:15864568kB, anon-rss:13876204kB, file-rss:0kB, shmem-rss:0kB
[ 3910.748373] oom_reaper: reaped process 36787 (java), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgffijf
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13