客快物流大数据项目(五十六) 编写SparkSession对象工具类

武飞扬头像

Lansonli

2024-04-09 帮助1人

编写SparkSession对象工具类

学新通

后续业务开发过程中，每个子业务（kudu、es、clickhouse等等）都会创建SparkSession对象，以及初始化开发环境，因此将环境初始化操作封装成工具类，方便后续使用

实现步骤：

在公共模块的scala目录的common程序包下创建 SparkUtils 单例对象
实现方法：创建SparkConf对象
实现方法：预定义当前环境的运行模式
实现方法：创建获取SparkSession对象

package cn.it.l

这篇好文章是转载于：学新通技术网

版权申明：本站部分内容来自互联网，仅供学习及演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，请提供相关证据及您的身份证明，我们将在收到邮件后48小时内删除。
本站站名：学新通技术网
本文地址： /boutique/detail/tanhgacakg

系列文章

同类精品

继续加载