Spark任务提交第1关spark-submit提交

是草莓熊吖

2024-04-20 帮助1人

相关知识

为了完成本关任务，你需要掌握：1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。

课程视频《spark-submit提交》

spark-submit参数

参数	介绍
`--master`	`提交到哪里执行，如 standalone，local，yarn，mesos等`
`--name`	`应用程序的名称`
`--class`	`应用程序的主类`
`--deploy-mode`	`Driver 程序运行的地方，client 或者 cluster，默认是client`
`--driver-memory`	`Driver内存，默认 1G`
`--executor-memory`	`每个executor的内存，默认是1G`

使用格式：

计算圆周率

这篇好文章是转载于：学新通技术网

版权申明：本站部分内容来自互联网，仅供学习及演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，请提供相关证据及您的身份证明，我们将在收到邮件后48小时内删除。
本站站名：学新通技术网
本文地址： /boutique/detail/tanhgcheic

系列文章

photoshop保存的图片太大微信发不了怎么办