Archivo del Autor: hvivani

Acerca de hvivani

sysadmin, developer, RHCSA

Testing Java Cryptography Extension (JCE) is installed

If JCE is already installed, you should see on that the jar files ‘local_policy.jar’ and ‘US_export_policy.jar’ are on $JAVA_HOME/jre/lib/security/ But, we can test it: import javax.crypto.Cipher; import java.security.*; import javax.crypto.*; class TestJCE { public static void main(String[] args) { boolean … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | Deja un comentario

HDFS: Cluster to cluster copy with distcp

Este es el formato del comando distcp para copiar de hdfs a hdfs considerando cluster origen y destino en Amazon AWS: hadoop distcp “hdfs://ec2-54-86-202-252.compute-1.amazonaws.comec2-2:9000/tmp/test.txt” “hdfs://ec2-54-86-229-249.compute-1.amazonaws.comec2-2:9000/tmp/test1.txt” Mas informacion sobre distcp: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/cdh4ig_topic_7_2.html http://hadoop.apache.org/docs/r1.2.1/distcp2.html  

Publicado en Uncategorized | Etiquetado , , , | Deja un comentario

Arquitectura HDFS

El diseño del sistema de archivos HDFS se basa en el Google File System (GFS). – Es capaz de almacenar una gran cantidad de datos (terabytes o petabytes). – Esta diseñado para almacenar los datos a traves de un gran … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Hive logs to stdout

Muchas veces necesitamos debugear alguna consulta Hive que esta dando error. Una manera facil es habilitar el logger por consola: hive.root.logger specifies the logging level as well as the log destination. Specifying console as the target sends the logs to … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Hive query with JOIN, GROUP BY and SUM does not return results

On Hive 0.11, and lower versions, if we set: set hive.optimize.skewjoin=true; set hive.auto.convert.join=false; A query with JOIN, GROUP BY and SUM does not return results. But if we make the query a little more simple, using JOIN but not GROUP … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | Deja un comentario

check system variables or environment variables on Hive

On Hive we can check values for system variables or environment variables with the command: hive> set; if we need to ask for a specific variable value, we can run: hive> set hive.security.authorization.enabled; hive.security.authorization.enabled=false More information: https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Actualizar OpenSSL / Update to 1.0.1g

Actualizar OpenSSL a la utilma version en tres pasos: 1) compilamos e instalamos la ultima version de openssl version:$ sudo curl https://www.openssl.org/source/openssl-1.0.1g.tar.gz | tar xz && cd openssl-1.0.1g && sudo ./config && sudo make && sudo make install_sw 2) Reemplazamos … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | 2 comentarios

Stress Test: Bees With Machine Guns !

Hace unos días probé una herramienta sumamente interesante: Bees With Machine Guns !! Esta es una herramienta para realizar pruebas de stress sobre los servicios Load Balancer y Autoscaling de Amazon AWS. Luego de armar nuestra estructura de servidores, podremos … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Running on Molteno Reservoir – Cape Town

  Registro Runkeeper: http://runkeeper.com/user/hvivani/activity/304377030  

Publicado en Running & Cycling | Deja un comentario

Ejecución de comandos remotos con sudo / Execute remote commands with sudo

Hace unos días necesitaba ejecutar un par de comandos en un servidor remoto, para lo cuál tenemos una sintáxis como esta: $ ssh -p66 hvivani@server “cd /home/hvivani/backup/; ls -l” Vean que separamos los comandos que queremos ejecutar con “;” Ahora … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | Deja un comentario