admin管理员组文章数量:1130349
java–HDFS文件操作实现
全局静态变量：hdfs的地址和端口号
private static String HDFSUri = "hdfs://10.8.177.29:8020";1. 获取文件系统
/**
* 获取文件系统
*
* @return FileSystem 文件系统
*/
public static FileSystem getFileSystem() {
//读取配置文件
Configuration conf = new Configuration();
// 文件系统
FileSystem fs = null;
String hdfsUri = HDFSUri;
if(StringUtils.isBlank(hdfsUri)){
// 返回默认文件系统 如果在 Hadoop集群下运行，使用此种方法可直接获取默认文件系统
try {
fs = FileSystem.get(conf);
} catch (IOException e) {
e.printStackTrace();
}
}else{
// 返回指定的文件系统,如果在本地测试，需要使用此种方法获取文件系统
try {
URI uri = new URI(hdfsUri.trim());
fs = FileSystem.get(uri,conf);
} catch (Exception e) {
e.printStackTrace();
}
}
return fs;
}2. 创建文件目录
入参是创建的文件目录的地址
/**
* 创建文件目录
*
* @param path 文件路径
*/
public static void mjava–HDFS文件操作实现
全局静态变量：hdfs的地址和端口号
private static String HDFSUri = "hdfs://10.8.177.29:8020";1. 获取文件系统
/**
* 获取文件系统
*
* @return FileSystem 文件系统
*/
public static FileSystem getFileSystem() {
//读取配置文件
Configuration conf = new Configuration();
// 文件系统
FileSystem fs = null;
String hdfsUri = HDFSUri;
if(StringUtils.isBlank(hdfsUri)){
// 返回默认文件系统 如果在 Hadoop集群下运行，使用此种方法可直接获取默认文件系统
try {
fs = FileSystem.get(conf);
} catch (IOException e) {
e.printStackTrace();
}
}else{
// 返回指定的文件系统,如果在本地测试，需要使用此种方法获取文件系统
try {
URI uri = new URI(hdfsUri.trim());
fs = FileSystem.get(uri,conf);
} catch (Exception e) {
e.printStackTrace();
}
}
return fs;
}2. 创建文件目录
入参是创建的文件目录的地址
/**
* 创建文件目录
*
* @param path 文件路径
*/
public static void m版权声明：本文标题：java实现-hdfs上的文件上传下载（windows） 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1741100256a1828654.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论