不学网

 找回密码
 立即注册

只需一步,快速开始

手机号码,快捷登录

查看: 53|回复: 0

[学习笔记] 在ubuntu上搭建hadoop服务 (单机模式)

[复制链接]
Ricardo 发表于 2018-6-30 16:42:32 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
在ubuntu上搭建hadoop,记录一下

环境:ubuntu 16.04
hadoop-3.1.0

1.安装JDK
已经使用apt安装了jdk环境
  1. whereis java

  2. ls -l /usr/bin/java

  3. ls -l /etc/alternatives/java
复制代码

默认jdk路径:/usr/lib/jvm/java-8-openjdk-amd64
20180629102126758.png
2.创建hadoop组、hadoop用户
  1. sudo addgroup hadoop

  2. sudo adduser --ingroup hadoop hadoop
复制代码

给hadoop用户添加权限
  1. sudo vi /etc/sudoers
复制代码

添加如下:hadoop ALL=(ALL:ALL) ALL
2018062910270461.png
3.配置SSH无密码登陆
切换用户

  1. su hadoop
复制代码
安装ssh,openssh-server
  1. sudo apt install ssh

  2. sudo apt install openssh-server
复制代码

启动服务
  1. sudo /etc/init.d/ssh start
复制代码
20180629103257895.png
查看服务是否启动
  1. ps -e | grep ssh
复制代码
20180629103114714.png
进入宿主目录

cd /home/hadoop/

设置免密码登陆
ssh-keygen -t rsa -P ""

/home/hadoop/.ssh下生成两个文件: id_rsa (私钥)  、id_rsa.pub  (公钥)



把公钥加到用于认证的公钥文件中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 .ssh/authorized_keys



登入ssh,确认不需要密码
ssh localhost
登出
exit


4.下载解压hadoop
回到用户工作目录

cd ~

wget http://mirror.bit.edu.cn/apache/ ... hadoop-3.1.0.tar.gz

tar -zxvf hadoop-3.1.0.tar.gz


移动到/usr/local/hadoop目录
sudo mv hadoop-3.1.0  /usr/local/hadoop           
赋予用户对该文件夹的读写权限

sudo chmod 777 /usr/local/hadoop

5.配置
sudo vi ~/.bashrc
添加如下:
  1. #HADOOP VARIABLES START
  2. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
  3. export HADOOP_INSTALL=/usr/local/hadoop
  4. export PATH=$PATH:$HADOOP_INSTALL/bin
  5. export PATH=$PATH:$HADOOP_INSTALL/sbin
  6. export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
  7. export HADOOP_COMMON_HOME=$HADOOP_INSTALL
  8. export HADOOP_HDFS_HOME=$HADOOP_INSTALL
  9. export YARN_HOME=$HADOOP_INSTALL
  10. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
  11. export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

  12. #HADOOP VARIABLES END

复制代码


使配置生效
source ~/.bashrc

  1. sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
复制代码

添加如下:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

6.WordCount测试
执行hadoop自带实例WordCount,验证是否安装成功
cd /usr/local/hadoop
创建输入文件

mkdir input
cp README.txt input
执行


  1. bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.1.0-sources.jar org.apache.hadoop.examples.WordCount input output
复制代码
20180629102126758.png
查看字符统计结果
cat output/*
20180629105158858.png


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|不学网

GMT+8, 2018-7-23 23:44

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表