hadoop使用Java API获取HDFS的元信息
查找某个文件的数据块在HDFS的DataNode位置
@Test
public void test1() throws Exception{
//指定NameNode 地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
FileSystem client = FileSystem.get(conf);
//得到该文件的状态
FileStatus status = client.getFileStatus(new Path("/folder1/a.tag.gz"));
//获取该文件的数据块信息
BlockLocation[] list = client.getFileBlockLocations(status, 0, status.getLen());
for(BlockLocation blk:list) {
System.out.println("数据块:主机:" Arrays.toString(blk.getHosts()));
}
client.close();
}
查看HDFS的数据节点
@Test
public void test2() throws Exception{
//指定NameNode 地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
//使用FileSystem的子类
DistributedFileSystem client = (DistributedFileSystem)FileSystem.get(conf);
//获取所有的数据节点
DatanodeInfo[] list =client.getDataNodeStats();
for(DatanodeInfo data:list) {
System.out.println(data.getHostName());
}
client.close();
}
删除HDFS数据
@Test
public void test3() throws Exception{
//指定NameNode 地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://192.168.157.111:9000");
FileSystem client = FileSystem.get(conf);
//删除数据
//第二个参数false:是否使用递归
boolean flag = client.delete(new Path("/folder1/a.tag.gz"), false);
System.out.println(flag?"删除成功":"删除失败");
client.close();
}
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfheggg
系列文章
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
photoshop蒙版画笔没反应怎么办
PHP中文网 06-24