Archivo del Autor: hvivani

Acerca de hvivani

sysadmin, developer, RHCSA

HDFS: Cluster to cluster copy with distcp

Este es el formato del comando distcp para copiar de hdfs a hdfs considerando cluster origen y destino en Amazon AWS: hadoop distcp “hdfs://ec2-54-86-202-252.compute-1.amazonaws.comec2-2:9000/tmp/test.txt” “hdfs://ec2-54-86-229-249.compute-1.amazonaws.comec2-2:9000/tmp/test1.txt” Mas informacion sobre distcp: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/cdh4ig_topic_7_2.html http://hadoop.apache.org/docs/r1.2.1/distcp2.html  

Publicado en Uncategorized | Etiquetado , , , | Deja un comentario

Arquitectura HDFS

El diseño del sistema de archivos HDFS se basa en el Google File System (GFS). – Es capaz de almacenar una gran cantidad de datos (terabytes o petabytes). – Esta diseñado para almacenar los datos a traves de un gran … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Hive logs to stdout

Muchas veces necesitamos debugear alguna consulta Hive que esta dando error. Una manera facil es habilitar el logger por consola: hive.root.logger specifies the logging level as well as the log destination. Specifying console as the target sends the logs to … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Hive query with JOIN, GROUP BY and SUM does not return results

On Hive 0.11, and lower versions, if we set: set hive.optimize.skewjoin=true; set hive.auto.convert.join=false; A query with JOIN, GROUP BY and SUM does not return results. But if we make the query a little more simple, using JOIN but not GROUP … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | Deja un comentario

check system variables or environment variables on Hive

On Hive we can check values for system variables or environment variables with the command: hive> set; if we need to ask for a specific variable value, we can run: hive> set hive.security.authorization.enabled; hive.security.authorization.enabled=false More information: https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Actualizar OpenSSL / Update to 1.0.1g

Actualizar OpenSSL a la utilma version en tres pasos: 1) compilamos e instalamos la ultima version de openssl version:$ sudo curl https://www.openssl.org/source/openssl-1.0.1g.tar.gz | tar xz && cd openssl-1.0.1g && sudo ./config && sudo make && sudo make install_sw 2) Reemplazamos … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | 2 comentarios

Stress Test: Bees With Machine Guns !

Hace unos días probé una herramienta sumamente interesante: Bees With Machine Guns !! Esta es una herramienta para realizar pruebas de stress sobre los servicios Load Balancer y Autoscaling de Amazon AWS. Luego de armar nuestra estructura de servidores, podremos … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Ejecución de comandos remotos con sudo / Execute remote commands with sudo

Hace unos días necesitaba ejecutar un par de comandos en un servidor remoto, para lo cuál tenemos una sintáxis como esta: $ ssh -p66 hvivani@server “cd /home/hvivani/backup/; ls -l” Vean que separamos los comandos que queremos ejecutar con “;” Ahora … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Mi historia con Redhat/Fedora – My history with Redhat/Fedora

Aquí un extracto de un mail donde detallaba mi historia con Fedora para la gente de Gulbac: Fedora es una distro que tiene gente que la ama y gente que la odia porque allá por el 2003 Redhat decidió dividir … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Reciclando Cajones de Dinero / Cash Drawer Recycling

Aquí un pequeño instructivo de como adaptar los cajones de dinero con solenoide para ser utilizados con impresoras fiscales Hasar. Hoy en día es usual tener controladores fiscales viejos, a los que, una vez dados de baja, podemos desarmar para … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | 4 comentarios