HDFS javaAPI-windows的IDEA中java文件在linux中的hadoop平台运行

运行前提

一、在IDEA的Maven项目中创建MkDirDemo类

（1）先确认目录结构（Maven 标准目录，必须按这个来）

（2）hdfs java操作代码输入

（3）验证pom.xml文件中hadoop依赖是否和linux中hadoop版本一致

（4）确认 HDFS RPC 地址（关键）

二、Windows 本地配置 Hadoop 运行环境（必做，否则报 winutils 缺失）

（1）下载 Windows 适配 hadoop 二进制包Hadoop3.x 下载对应 win 工具包，解压到无中文路径，例：D:\hadoop-3.x-win

（2）新建系统变量：HADOOP_HOME=D:\hadoop-3.x-win

（3）Path 新增：%HADOOP_HOME%\bin

（4）重启 IDEA（环境变量生效）

三、虚拟机 Linux 网络 & 防火墙配置

（1）虚拟机网络设置VMware/VirtualBox 网卡改为桥接模式，重启虚拟机，IP 固定为 192.168.17.128

（2） Linux 放行端口bash运行

运行前提

1、windows能ping通虚拟机IP地址【虚拟机网络改为桥接模式，改为固定IP】

2、Linux开放端口：9000,9870,8088【使用windows的 PowerShell，执行：Test-NetConnection IP地址 -Port 9000，需要修改linux中hadoop配置文件hdfs-site.xml和core-site.xml】

3、windows配置Hadoop本地依赖

4、Maven中pom.xml文件中引入和linux中hadoop集群版本一致的hadoop依赖

5、hdfs的RPC地址为：hdfs:ip地址:9000，不用9870网页端口

一、在IDEA的Maven项目中创建MkDirDemo类

（1）先确认目录结构（Maven 标准目录，必须按这个来）

项目根目录

└── src

├── main

│ └── java // 业务代码存放位置（创建Java文件在这里）

└── test

└── java // 单元测试代码存放位置

关键前提

main/java 文件夹必须是蓝色源码根目录，否则右键不会出现 Java Class 选项。

（2）hdfs java操作代码输入

1import org.apache.hadoop.conf.Configuration;
2import org.apache.hadoop.fs.FileStatus;
3import org.apache.hadoop.fs.FileSystem;
4
5import org.apache.hadoop.fs.Path;
6import java.io.IOException;
7import java.net.URI;
8import java.net.URISyntaxException;
9
10public class MkdirDemo {
11    public static FileSystem getFileSystem() throws IOException, URISyntaxException, InterruptedException {
12        Configuration conf=new Configuration();
13        URI url=new URI("hdfs://192.168.17.128:9000");
14        final FileSystem fileSystem=FileSystem.get(url,conf,"root");
15        return fileSystem;
16    }
17
18    public static  void list(String dir) throws Exception{
19        FileSystem fileSystem=getFileSystem();
20        FileStatus[] listStatus=fileSystem.listStatus(new Path(dir));
21        for(FileStatus fileStatus : listStatus){
22            boolean isDir=fileStatus.isDirectory();
23            String name=fileStatus.getPath().toString();
24            System.out.println(isDir+" "+name);
25        }
26    }
27
28    public static void mkdir(String path) throws Exception{
29        final FileSystem fileSystem=getFileSystem();
30        fileSystem.mkdirs(new Path(path));
31        //遍历文件夹下的内容
32        list("/");
33    }
34
35    public static void create(String path) throws Exception{
36        final FileSystem fileSystem=getFileSystem();
37        fileSystem.create(new Path(path));
38        //遍历文件夹下的内容
39        list("/");
40    }
41
42    public static void delete(String path) throws Exception{
43        final FileSystem fileSystem=getFileSystem();
44        fileSystem.delete(new Path(path),true);
45        //遍历文件夹下的内容
46        list("/");
47    }
48
49    public static void main(String[] args) throws Exception{
50        mkdir("/bigdata");
51
52//        delete("bigdata");
53
54//        create("demo.txt");
55
56    }
57}