Hadoop 在mac本地的配置

之前在阿里云上的案例我成功运行了wordcount。但是考虑到实际的编程，在阿里云上的可视化界面显得有些艰难，更不要提eclipse界面有点丑。我觉得还是用jetbrain公司的IDEA来开发，这儿学生可以免费使用专业版，如果有需要可以自行下载。主要是有大数据工具的插件Hadoop，然后就开始我一个礼拜的捣鼓，然后发现好像阿里云的9000端口好像无法打开（网上说什么内网的原因，所以在Hadoop上链接不上）于是偶然发现mac在本地配置的教程，就此汇总一下。

Java的安装

不再赘述，网上有很多的教程，在保证

1	java -version

可以输出如下界面，则我们开始Hadoop的配置

下载Hadoop的原始代码

本文章全程以hadoop-2.9.2为例子，在下面的链接中下载hadoop-2.9.2.tar.gz 既可以

Index of /dist/hadoop/core/hadoop-2.9.2archive.apache.org

解压到本地的目录下面

添加Hadoop的环境变量

这儿我们需要用vim修改 ~/.bash_profile

1	vim ~/.bash_profile

在最下面添加这几行代码，编辑完成后:wq退出

export HADOOP_HOME=/Users/yuxuan/hadoop-2.9.2
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin

1	source ~/.bash_profile

运行保存修改，然后用hadoop version 查看Hadoop是否配置成功，若如下界面则成功

修改Hadoop的配置文件(如下操作都需要cd到Hadoop解压的环境来操作)

这些配置文件都保存在hadoop-2.9.2/etc/hadoop/路径下

1	cd /Users/yuxuan/hadoop-2.9.2/etc/hadoop/

hadoop-env.sh

用vim打开后在JAVA_HOME 和 HADOOP_CONF_DIR和HADOOP_HOME 来进行修改,这些分别对应着本地各自的目录

\2. core_site.xml

<configuration>
        <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>

  <!--用来指定hadoop运行时产生文件的存放目录  自己创建-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/Users/yuxuan/hadoop-2.9.2/tmp</value>
  </property>

</configuration>

\3. 修改hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <!--不是root用户也可以写文件到hdfs-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>    <!--关闭防火墙-->
        </property>
        <!--把路径换成本地的name坐在位置-->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/Users/yuxuan/hadoop-2.9.2/tmp/dfs/name</value>
        </property>
        <!--在本地新建一个存放hadoop数据的文件夹，然后将路径在这里配置一下-->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/Users/yuxuan/hadoop-2.9.2/tmp/dfs/data</value>
        </property>

</configuration>