jazzwang / haduzilla

Automated Installation CD for Hadoop Cluster

haduzilla's Issues

manual

should we have a manual for basic introduce about what is this project and some tips like the default password for user.

/etc/hosts file should be update for ubuntu 1204

the hadoop service not work because hdp map to 127.0.1.1

service not work on hadoop cdh3

the error message like
2013-11-21 12:10:37,490 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:mapred (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot set permission for /var/lib/hadoop-0.20/cache/mapred/mapred/system. Name node is in safe mode.
The number of live datanodes 0 needs an additional 1 live datanodes to reach the minimum number 1. Safe mode will be turned off automatically.
2013-11-21 12:10:37,492 INFO org.apache.hadoop.ipc.Server: IPC Server handler 6 on 8020, call setPermission(/var/lib/hadoop-0.20/cache/mapred/mapred/system, rwx------) from 10.0.0.254:44369: error: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot set permission for /var/lib/hadoop-0.20/cache/mapred/mapred/system. Name node is in safe mode.

after manual create folder and set permission to 700, the name node work fine.

disable drbl mkswap

drbl will generate 128M swap file to data node partition but it's not necessary because we have swap partition. For better performance, should we close auto mkswap file?

genisoimage syntex need to change to support EFI

ubuntu 12.04.3 and 13.10 ISO file are partitioned by EFI partition.
But bigtop-0.7.0 and CentOS-6.5 ISO are partitioned by hidden HPFS/NTFS.

genisoimage need to add --efi-boot option in future to support uEFI BIOS.

---

~/ISOs$ sudo fdisk -l ubuntu-12.04.3-desktop-amd64.iso 

警告：於「ubuntu-12.04.3-desktop-amd64.iso」偵測到 GPT (GUID 分割表)！工具程式 fdisk 不支援 GPT。請使用 GNU Parted。

 磁碟 ubuntu-12.04.3-desktop-amd64.iso: 742 MB，742391808 位元組
 255 磁頭，63 磁區/磁軌，90 磁柱，總計 1449984 磁區
 單位 = 磁區 之於 1 * 512 = 512 位元組
 磁區大小 (邏輯/實體)：512 位元組 / 512 位元組
 I/O 大小 (最小/最佳化)：512 位元組 / 512 位元組
 磁碟識別碼：0x0734a21a

                  所用裝置 開機      開始         結束      區塊   識別號  系統
 ubuntu-12.04.3-desktop-amd64.iso1   *           0     1449983      724992    0  空
 ubuntu-12.04.3-desktop-amd64.iso2         1440036     1444387        2176   ef  EFI (FAT-12/16/32)

---

~/ISOs$ sudo fdisk -l ubuntu-13.10-server-amd64.iso 

警告：於「ubuntu-13.10-server-amd64.iso」偵測到 GPT (GUID 分割表)！工具程式 fdisk 不支援 GPT。請使用 GNU Parted。

磁碟 ubuntu-13.10-server-amd64.iso: 704 MB，704643072 位元組
255 磁頭，63 磁區/磁軌，85 磁柱，總計 1376256 磁區
單位 = 磁區 之於 1 * 512 = 512 位元組
磁區大小 (邏輯/實體)：512 位元組 / 512 位元組
I/O 大小 (最小/最佳化)：512 位元組 / 512 位元組
磁碟識別碼：0x63a8dfc0

                  所用裝置 開機      開始         結束      區塊   識別號  系統
ubuntu-13.10-server-amd64.iso1   *           0     1376255      688128    0  空
ubuntu-13.10-server-amd64.iso2         1162932     1167475        2272   ef  EFI (FAT-12/16/32)

---

~/ISOs$ sudo fdisk -l bigtop-0.7.0_precise.iso 

磁碟 bigtop-0.7.0_precise.iso: 1015 MB，1015021568 位元組
64 磁頭，32 磁區/磁軌，968 磁柱，總計 1982464 磁區
單位 = 磁區 之於 1 * 512 = 512 位元組
磁區大小 (邏輯/實體)：512 位元組 / 512 位元組
I/O 大小 (最小/最佳化)：512 位元組 / 512 位元組
磁碟識別碼：0x73c433c8

             所用裝置 開機      開始         結束      區塊   識別號  系統
bigtop-0.7.0_precise.iso1   *           0     1982463      991232   17  隱藏 HPFS/NTFS

---

~$ sudo fdisk -l ISOs/CentOS-6.5-x86_64-minimal.iso 

磁碟 ISOs/CentOS-6.5-x86_64-minimal.iso: 417 MB，417333248 位元組
64 磁頭，32 磁區/磁軌，398 磁柱，總計 815104 磁區
單位 = 磁區 之於 1 * 512 = 512 位元組
磁區大小 (邏輯/實體)：512 位元組 / 512 位元組
I/O 大小 (最小/最佳化)：512 位元組 / 512 位元組
磁碟識別碼：0x6b8b4567

                       所用裝置 開機      開始         結束      區塊   識別號  系統
ISOs/CentOS-6.5-x86_64-minimal.iso1   *           0      815103      407552   17  隱藏 HPFS/NTFS

Upgrade, Re-install after daily operation

If user had installed DRBL and Hadoop related software stack, run for a period, they now have historical data in HDFS, historical job history in server, how can they re-install or upgrade the software stack ?

1. Could it be possible to have a script to upgrade or re-install related packages ?
2. If user failed to change the setting, what should they do ?