Niftyクラウド環境の構築(14)

●pig 実行時に一時領域不足のため、各datanodeにディスクを増設する

cdh00 /hadoop/conf.nfs/hdfs-site.xml

/data/dfs/name -> /hdfs_area/dfs/name
/data/dfs/data -> /hdfs_area/dfs/data

cdh00 /hadoop/conf.nfs/mapred-site.xml

/data/mapred/local -> /hdfs_area/mapred/local


不整合なのでnamenode再初期化のため再作成!

/var/run/hadoop <<--pidの残骸はここだ!

rm -rf /var/run/hadoop

mkdir /var/run/hadoop

chown -R hdfs:hadoop /hdfs_disk1
chown -R hdfs:hadoop /var/run/hadoop
chmod 777 /hdfs_disk1


rm -rf /hdfs_disk1/*
mkdir -p /hdfs_disk1/dfs/name /hdfs_area/dfs/data
chown -R hdfs:hadoop /hdfs_disk1/dfs/name /hdfs_disk1/dfs/data
chmod -R 700 /hdfs_disk1/dfs/name/
chmod -R 755 /hdfs_disk1/dfs/data/

mkdir -p /hdfs_disk1/mapred/local
chown -R mapred:hadoop /hdfs_disk1/mapred/local/
chmod -R 755 /hdfs_disk1/mapred/local/


★cdh00 の/hadoopを削除してハマル

cdh-01~cdh-04側のリンク復活
「実行性のないNFSファイルハンドルです」
⇒ # service netfs restart

#su – hdfs
$ hadoop namenode -format

#su – root
#
service hadoop-0.20-namenode start

#su – hdfs
$
hadoop fs -mkdir /mapred/system
hadoop fs -chown -R mapred:hadoop /mapred
hadoop fs -chmod -R 700 /mapred


#su – root
#
service hadoop-0.20-namenode start
rt

service hadoop-0.20-datanode start
service hadoop-0.20-tasktracker start


●今後、間違って消さないように
/hadoop/conf.nfs -> /hadoop.nfs/conf.nfsへの変更

cdh00側
# vi /etc/exports
を変更
# exportfs -ra
で反映

参照側
# vi /etc/fstab
#//// mount -t nfs 175.184.120.108:/hadoop.nfs /mnt/hadoop
#////2012.03.06 mount -t nfs 172.16.1.100:/hadoop.nfs /mnt/hadoop
mount -t nfs 172.29.216.100:/hadoop.nfs /mnt/hadoop nfs rw 0 0

# service netfs restart
確認
# ls /mnt/hadoop/conf.nfs


# chown mapred:root /var/log/hadoop/hadoop-hadoop-jobtracker-cdh00.log
# mkdir /var/log/hadoop/history
# chown mapred:root /var/log/hadoop/history


 

- Sponsored Link -