admin管理员组

文章数量:1024652

windows配置Hadoop开发环境

问题描述

windows下连接hadoop集群，报以下错误：

java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache/hadoop/WindowsProblems

在windows下想要连接hadoop集群，又不想安装hadoop环境下，这个时候就需要第三方工具了（hadoop-winutils）

工具地址

工具安装

下载工具

根据自己的安装的hadoop版本来选择对应的工具

我的集群时CDH版本，选择主机->所有主机->选择一个主机-> 组件，进行查看

这里我选择的时3.1.0版本可以兼容3.0.0

安装配置

配置HADOOP_HOME环境变量

点击环境变量，新建系统变量


配置Path

重启系统

SpringBoot配置连接Hbase

maven

        <!-- hbase -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.4.1</version>
        </dependency>

application.yml

hbase:
  config:
    hbase:
      zookeeper:
        quorum: node1
        property:
          clientPort: 2181

node1：指的时zookeeper连接地址

windows配置Hadoop开发环境

问题描述

windows下连接hadoop集群，报以下错误：

java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache/hadoop/WindowsProblems

在windows下想要连接hadoop集群，又不想安装hadoop环境下，这个时候就需要第三方工具了（hadoop-winutils）

工具地址

工具安装

下载工具

根据自己的安装的hadoop版本来选择对应的工具

我的集群时CDH版本，选择主机->所有主机->选择一个主机-> 组件，进行查看

这里我选择的时3.1.0版本可以兼容3.0.0

安装配置

配置HADOOP_HOME环境变量

点击环境变量，新建系统变量


配置Path

重启系统

SpringBoot配置连接Hbase

maven

        <!-- hbase -->
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>2.4.1</version>
        </dependency>

application.yml

hbase:
  config:
    hbase:
      zookeeper:
        quorum: node1
        property:
          clientPort: 2181

node1：指的时zookeeper连接地址

本文标签： 环境WindowsHadoop

版权声明：本文标题：windows配置Hadoop开发环境 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://it.en369.cn/jiaocheng/1743779894a2028342.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。