Archivo de la etiqueta: fedora

MapReduce: Compression and Input Splits

This is something that always rise doubts: When considering compressed data that will be processed by MapReduce, it is important to check if the compression format supports splitting. If not, the number of map tasks may not be the expected. … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , , | Deja un comentario

yarn: change configuration and restart resource manager on a live cluster

This procedure is to change Yarn configuration on a live cluster, propagate the changes to all the nodes and restart Yarn resource manager. Both commands are listing all the nodes on the cluster and then filtering the DNS name to … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , , , , | Deja un comentario

Hadoop 1 vs Hadoop 2 – How many slots do I have per node ?

This is a topic that always rise a discussion… In Hadoop 1, the number of tasks launched per node was specified via the settings mapred.map.tasks.maximum and mapred.reduce.tasks.maximum. But this is ignored when set on Hadoop 2. In Hadoop 2 with … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario

Generar clave publica desde clave privada

Necesito tener esto a mano: ssh-keygen -y -f ~/.ssh/test-key.pem > ~/.ssh/test-key.pem.pub Chequear previamente que los permisos en test-key.pem sean 600.

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Testing Java Cryptography Extension (JCE) is installed

If JCE is already installed, you should see on that the jar files ‘local_policy.jar’ and ‘US_export_policy.jar’ are on $JAVA_HOME/jre/lib/security/ But, we can test it: import javax.crypto.Cipher; import java.security.*; import javax.crypto.*; class TestJCE { public static void main(String[] args) { boolean … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Actualizar OpenSSL / Update to 1.0.1g

Actualizar OpenSSL a la utilma version en tres pasos: 1) compilamos e instalamos la ultima version de openssl version:$ sudo curl https://www.openssl.org/source/openssl-1.0.1g.tar.gz | tar xz && cd openssl-1.0.1g && sudo ./config && sudo make && sudo make install_sw 2) Reemplazamos … Sigue leyendo

Publicado en Uncategorized | Etiquetado , | 2 comentarios

Stress Test: Bees With Machine Guns !

Hace unos días probé una herramienta sumamente interesante: Bees With Machine Guns !! Esta es una herramienta para realizar pruebas de stress sobre los servicios Load Balancer y Autoscaling de Amazon AWS. Luego de armar nuestra estructura de servidores, podremos … Sigue leyendo

Publicado en Uncategorized | Etiquetado , , | Deja un comentario