hadoop安装教程

Hadoop的安装教程如下：

1. 安装Java

在终端中执行以下命令以安装Java:

sudo apt update
sudo apt install openjdk-8-jdk

安装完成后，设置JAVA_HOME:

echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64' >> ~/.bashrc
source ~/.bashrc

2. 下载并配置Hadoop

从Hadoop官方网站下载Hadoop压缩包，解压到目标目录：

wget https://downloads.apache.org/hadoop/common/hadoop-x.x.x/hadoop-x.x.x.tar.gz
tar -xzvf hadoop-x.x.x.tar.gz

配置环境变量，编辑~/.bashrc文件：

echo 'export HADOOP_HOME=~/hadoop-x.x.x' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> ~/.bashrc
source ~/.bashrc

3. 配置HDFS

进入Hadoop配置目录，编辑以下文件：

  • core-site.xml :
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mini:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/app/hadoop/data/tmp</value>
    </property>
</configuration>

4. 验证安装

执行以下命令以验证Java和Hadoop是否安装成功：

java -version
hadoop version

5. 启动Hadoop

执行以下命令以启动Hadoop:

/sbin/start-dfs.sh

6. 关闭Hadoop

执行以下命令以关闭Hadoop:

/sbin/stop-dfs.sh

注意事项

  • 确保所有配置文件中的路径和设置正确无误。

  • 如果使用的是虚拟机，请确保虚拟机的网络配置正确，特别是NAT模式。

  • 在配置Hadoop集群时，确保所有节点的时间同步，并且所有节点的配置文件(如core-site.xml和hdfs-site.xml)一致。

以上是一个基本的Hadoop安装教程，具体步骤可能会根据不同的Hadoop版本和安装环境有所调整。建议参考官方文档和详细的安装指南以确保安装过程顺利。

Top
×
×