Niftyクラウド環境の構築(10)

クライアント側でストレージをマウントする

ls -l /mnt/hadoop

mount -t nfs 175.184.120.108:/hadoop /mnt/hadoop

service hadoop-0.20-datanode status
service hadoop-0.20-tasktracker status

ls -l /data/dfs/name/
ls -l /data/dfs/data/
ls -l /data/mapred/local/

rm -rf /data/dfs/name/*
rm -rf /data/dfs/data/*
rm -rf /data/mapred/local/*

mkdir -p /data/dfs/name /data/dfs/data /data/mapred/local

chown -R hdfs:hadoop /data/dfs/name /data/dfs/data
chown -R mapred:hadoop /data/mapred/local
chmod -R 700 /data/dfs/name/

chmod -R 755 /data/dfs/data/
chmod -R 755 /data/mapred/local/

host:slave一覧追加
vi /etc/hadoop/conf/slaves
vi /etc/hosts

slave: 自ホスト名追加
# vi /etc/sysconfig/network

HOSTNAME=

#

ネットワーク再起動
/etc/init.d/network restart

⇒eth1の活性化で失敗するが、いいのか?

確認コマンド
hostname

host:
$
hadoop fs -mkdir /mapred/system
hadoop fs -chown -R mapred:supergroup /mapred
hadoop fs -chown -R mapred:hadoop /mapred
hadoop fs -chmod -R 700 /mapred

#
service hadoop-0.20-namenode start
service hadoop-0.20-jobtracker start

service hadoop-0.20-datanode start
service hadoop-0.20-tasktracker start


動作確認サンプル:mapred ユーザで実施
hadoop jar hadoop-examples.jar pi 1 10

su – hdfs でログインしてから実行すること。

 

- Sponsored Link -