Archivo de la etiqueta: Scripts

yarn: execute a script on all the nodes in the cluster

This is more Linux script related, but saved my life several times. for i in `yarn node –list | cut -f 1 -d ‘:’ | grep “ip”`; do ssh -i your-key.pem hadoop@$i ‘hadoop fs -copyToLocal s3://mybucket/myscript.sh | chmod +x /home/hadoop/myscript.sh … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , , , | Deja un comentario

get the size of an Amazon S3 bucket folder / obtener el tamaño de una carpeta en S3

aws s3 ls s3://my-bucket/folder –recursive | awk ‘BEGIN {total=0}{total+=$3}END{print total/1024/1024″ MB”}’

Publicado en Uncategorized | Etiquetado , | Deja un comentario

yarn: change configuration and restart resource manager on a live cluster

This procedure is to change Yarn configuration on a live cluster, propagate the changes to all the nodes and restart Yarn resource manager. Both commands are listing all the nodes on the cluster and then filtering the DNS name to … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , , , , | Deja un comentario

script: verifica temperatura en discos / check hard disk temperature

Script para verificar la temperatura de los discos. De consulta frecuente para los servidores físicos. Puede modificarse facilmente para enviar un mail de alarma. #!/bin/sh #hvivani. 20131128 #Verifica temperatura en discos de servidor. #Lista todos los dispositivos /dev/sd* #Requiere instalado … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , , | 6 comentarios

script: copia remota de respaldos

Script para copia remota de respaldos o backups, con búsqueda filtrada por antiguedad. #!/bin/sh #hvivani. 20130327 #copia archivos de respaldo a servidor remoto. for f in `find /backup/db/ -mtime -3 -name ‘*’` do  scp $f hvivani@backup.hvivani.com:/backup/db/ done Previamente debemos generar … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Script: Grabar Back Ups en DVD’s

  #!/bin/bash #20130328. hvivani. graba backups en DVD. #Genera una imagen .iso con los archivos que coloquemos en ./grabar/ #Abre la grabadora, solicita el disco y graba el iso cd /backup/userdata/ echo echo Generando imagen a grabar del contenido del … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Script: Añadir prefijo o sufijo a cada linea de archivo / Add prefix or postfix to each line of a file

Supongamos que tenemos un archivo de texto kk.txt con las siguientes lineas: linea1 linea2 linea3 y queremos agregarle un prefijo a cada línea de ese archivo. Opción 1: con sed [hvivani@test ~]$ sed -e ‘s/^/prefix/’ kk.txt prefixlinea1 prefixlinea2 prefixlinea3 Opción … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario