聊聊Linux 安装Hadoop和Hbase

Linux 安装Hadoop和Hbase

一、简介

Hadoop和HBase都是Apache软件基金会下的开源项目，Hadoop关键用于处理大规模数据集，而HBase是一个分布式、可扩展的NoSQL数据库，它产生在Hadoop之上，提供对大数据的随机实时读取和写入。

在Linux环境下安装Hadoop和HBase是一个相对错综的过程，需要遵循一系列步骤来确保这两个软件的正常运行。以下是详细的安装步骤。

二、准备工作

在起始安装之前，请确保您的Linux系统满足以下要求：

1. 系统要求：Linux操作系统（推荐使用CentOS或Ubuntu）。

2. 硬件要求：足够的磁盘空间和内存。

3. 网络要求：可以访问互联网，以便下载软件包。

三、安装Java

Hadoop和HBase依存于Java运行环境，于是首先需要安装Java。

bash

# 对于CentOS系统

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

# 对于Ubuntu系统

sudo apt-get update

sudo apt-get install openjdk-8-jdk openjdk-8-jdk-headless

安装完成后，验证Java是否安装顺利：

bash

java -version

四、安装Hadoop

1. 下载Hadoop：从Hadoop官网下载适合您系统的Hadoop版本。

bash

wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz

2. 解压Hadoop：

bash

tar -zxvf hadoop-3.3.4.tar.gz

3. 配置Hadoop：

- 设置Hadoop环境变量：

bash

echo 'export HADOOP_HOME=/path/to/hadoop-3.3.4' >> ~/.bashrc

echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> ~/.bashrc

source ~/.bashrc

- 修改hadoop配置文件：

bash

cd $HADOOP_HOME/etc/hadoop

- 编辑`core-site.xml`：

xml

fs.defaultFS

hdfs://localhost:9000

- 编辑`hdfs-site.xml`：

xml

dfs.replication

1

- 编辑`mapred-site.xml`：

xml

mapreduce.framework.name

yarn

- 编辑`yarn-site.xml`：

xml

yarn.resourcemanager.host

localhost

4. 格式化HDFS：

bash

hdfs namenode -format

5. 启动Hadoop服务：

bash

start-dfs.sh

start-yarn.sh

五、安装HBase

1. 下载HBase：从HBase官网下载适合您系统的HBase版本。

bash

wget http://www.apache.org/dyn/closer.cgi/hbase/2.4.9/hbase-2.4.9-bin.tar.gz

2. 解压HBase：

bash

tar -zxvf hbase-2.4.9-bin.tar.gz

3. 配置HBase：

- 设置HBase环境变量：

bash

echo 'export HBASE_HOME=/path/to/hbase-2.4.9' >> ~/.bashrc

echo 'export PATH=$PATH:$HBASE_HOME/bin' >> ~/.bashrc

source ~/.bashrc

- 修改hbase配置文件：

bash

cd $HBASE_HOME/conf

- 编辑`hbase-site.xml`：

xml

hbase.rootdir

hdfs://localhost:9000/hbase

hbase.zookeeper.quorum

localhost

4. 启动HBase服务：

bash

start-hbase.sh

六、验证安装

1. 验证Hadoop：

bash

jps

``

本文由IT视界版权所有,禁止未经同意的情况下转发