Archivo mensual: julio 2014

Testing Java Cryptography Extension (JCE) is installed

Publicado el julio 29, 2014 por hvivani

If JCE is already installed, you should see on that the jar files ‘local_policy.jar’ and ‘US_export_policy.jar’ are on $JAVA_HOME/jre/lib/security/ But, we can test it: import javax.crypto.Cipher; import java.security.*; import javax.crypto.*; class TestJCE { public static void main(String[] args) { boolean … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , | Deja un comentario

HDFS: Cluster to cluster copy with distcp

Publicado el julio 23, 2014 por hvivani

Este es el formato del comando distcp para copiar de hdfs a hdfs considerando cluster origen y destino en Amazon AWS: hadoop distcp “hdfs://ec2-54-86-202-252.compute-1.amazonaws.comec2-2:9000/tmp/test.txt” “hdfs://ec2-54-86-229-249.compute-1.amazonaws.comec2-2:9000/tmp/test1.txt” Mas informacion sobre distcp: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/cdh4ig_topic_7_2.html http://hadoop.apache.org/docs/r1.2.1/distcp2.html  

Publicado en Uncategorized | Etiquetado , , , | Deja un comentario

Arquitectura HDFS

Publicado el julio 19, 2014 por hvivani

El diseño del sistema de archivos HDFS se basa en el Google File System (GFS). – Es capaz de almacenar una gran cantidad de datos (terabytes o petabytes). – Esta diseñado para almacenar los datos a traves de un gran … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Hive logs to stdout

Publicado el julio 18, 2014 por hvivani

Muchas veces necesitamos debugear alguna consulta Hive que esta dando error. Una manera facil es habilitar el logger por consola: hive.root.logger specifies the logging level as well as the log destination. Specifying console as the target sends the logs to … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Hive query with JOIN, GROUP BY and SUM does not return results

Publicado el julio 2, 2014 por hvivani

On Hive 0.11, and lower versions, if we set: set hive.optimize.skewjoin=true; set hive.auto.convert.join=false; A query with JOIN, GROUP BY and SUM does not return results. But if we make the query a little more simple, using JOIN but not GROUP … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , | Deja un comentario

check system variables or environment variables on Hive

Publicado el julio 2, 2014 por hvivani

On Hive we can check values for system variables or environment variables with the command: hive> set; if we need to ask for a specific variable value, we can run: hive> set hive.security.authorization.enabled; hive.security.authorization.enabled=false More information: https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

Publicado en Uncategorized | Etiquetado , | Deja un comentario