¡Descarga Cluster Distribuido con Google Cloud Platform y Cloudera Manager y más Apuntes en PDF de Ciencias solo en Docsity!
INSTALACIÓN Y/O CONFIGURACIÓN DE UN CLUSTER DISTRIBUIDO
UTILIZANDO GOOGLE CLOUD PLATFORM Y CLOUDERA MANAGER
DOCENTE: MSC. WILDER NINA CHOQUEHUAYTA
- Requisitos
Máquinas Virtuales
- Master: 2 CPU, 8GB RAM, 40GB DISCO y CENTOS 7
- Worker01/Worker02,Worker03: 2 CPU, 4GB RAM, 30GB DISCO y CENTOS 7
Software
- Cloudera Manager 5.16 (CDH 5.16)
- Instrucciones
- Creación de máquinas virtuales utilizando GCP (Compute Engine)
- Configuración de Firewall, IPv6 y Seguridad en todas las máquinas virtuales
#Acceso de ROOT $sudo -i
#Instalar wget $yum -y install wget
#Modificar Security-Enhanced Linux (SELinux) $setenforce 0 $vi /etc/selinux/config SELINUX=disabled
#Modificar el acceso de ROOT $vi /etc/ssh/sshd_config
PermitRootLogin yes PasswordAuthentication yes ChallengeResponseAuthentication yes
#Deshabilitar el IPV $vi /etc/sysctl.conf net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 net.ipv6.conf.lo.disable_ipv6 = 1 $sysctl -p
- Instalación del Cloudera Manager Express 5.16 en master node
- Adicional
- Desinstalar Instalación del Cloudera Manager en todas las máquinas virtuales
Este punto, solo en caso se quiera desinstalar el cloudera manager por errores en el anterior paso. Otra solución es volver a crear las máquinas virtuales.
WordCount https://docs.cloudera.com/documentation/other/tutorial/CDH5/topics/ht_usage.html
$cat /proc/sys/net/ipv6/conf/all/disable_ipv
#Deshabilitar Firewall $systemctl stop firewalld $systemctl disable firewalld $systemctl status firewalld
#Cambiar de password al root $passwd $init 6
#Acceso de ROOT $sudo -i
#Instalar cloudera manager $wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin $ls $chmod u+x cloudera-manager-installer.bin $./cloudera-manager-installer.bin
#Acceso de ROOT $sudo -i $sudo rm -r /usr/share/cmf/* $sudo rm -r /var/lib/cloudera-scm-* $sudo rm -r /etc/cloudera-scm-* $sudo init 6
#Revisar en caso que falle $cat /var/log/cloudera-manager-installer/7.start-embedded-db.log $cat /var/log/cloudera-scm-server/cloudera-scm-server.log
