Hadoop的shell操作以和sparkPUTHdfs

1 Hadoop-shell操作

创建目录：hadoop fs -mkdir <paths>
创建单个目录：hadoop fs -mkdir /home/myfile/dir1
创建多目录：hadoop fs -mkdir /home/myfile/dir1 /home/myfile/dir2
创建多级目录：hadoop fs -mkdir -p /a/b/c

查看目录：hadoop fs -ls <paths>
hadoop fs -ls /home/myfile/
注：hadoop fs -ls会打印出目录统计信息和详细信息，对文件批处理需注意格式。

上传文件：将一个或多个文件从本地系统复制到Hadoop文件系统：
hadoop fs -put <local_files> <hdfs_path>
示例：hadoop fs -put wordcount.txt /text/

下载文件：将文件从HDFS下载到本地文件系统。
用法：hadoop fs -get <hdfs_paths> <local_path>
示例：hadoop fs -get /text/wordcount_res.txt ./

查看文件：hadoop fs -cat <paths>
示例：hadoop fs -cat /text/productScore.txt

复制文件：hadoop fs -cp <source_path> <destination_path>
示例：hadoop fs -cp hadoop fs -cp /text/productScore.txt /code/

移动文件：hadoop fs -mv <source_path> <destination_ path>
示例：hadoop fs -mv /home/myfile/test.sh /home/myfile/dir

删除HDFS上的文件：hadoop fs -rm hdfs_path 
删除HDFS上的文件夹：hadoop fs -rmr hdfs_path

返回指定路径的统计信息：hadoop fs -stat hdfs_path
返回目录中所有文件的大小，或者只指定一个文件时，显示该文件的大小：hadoop fs -du hdfs_path 

hadoop fs -getmerge /text/wordcount_res.txt wc.txt

2 sparkPUTHdfs

package com.spark学习

import com.百度.utils.LoggerTrait
import com.spark学习.SQL.jdbc.utils.WriteUtils
import org.apache.spark.sql.DataFrame

object WriteCommonCsvToHdfs extends LoggerTrait{
  def main(args: Array[String]): Unit = {
    val spark = SparkUtils.getSparkSession("StudyJson")
    val df: DataFrame = WriteUtils.getLocalJDBC(spark, "tb_product")
    val imageDf: DataFrame = df.select("image")
    WriteUtils.writeCommonCsvToHdfs(imageDf, 2, true, "hdfs://localhost:8020/text", "\t")
  }

}

这篇好文章是转载于：学新通技术网