Archivo del Autor: hvivani

Acerca de hvivani

sysadmin, developer, RHCSA

AWS S3 API – Throughput Notes

Publicado el enero 9, 2018

Some notes on settings to maximize throughput and increase parallelism while using S3 API: aws configure set default.s3.max_concurrent_requests 20 aws configure set default.s3.max_queue_size 10000 aws configure set default.s3.multipart_threshold 64MB aws configure set default.s3.multipart_chunksize 16MB aws configure set default.s3.max_bandwidth 50MB/s aws … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , | Deja un comentario

Secondary NameNode in Hadoop 2

Publicado el diciembre 20, 2017

This is a frequent asked question: In hadoop 2, Secondary Name Node can be implemented in two ways: 1. With HA (High Availability Cluster): if you are setting up HA cluster then you may not need to use Secondary namenode … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , , , | Deja un comentario

Adding a mount point to HDFS

Publicado el octubre 30, 2017

Before proceeding: This procedure considers that you don’t have any current useful data on HDFS. All the data will be lost after adding mount points with this method. This procedure should be applied to every datanode in the cluster. No … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , , , | Deja un comentario

Muffins de Banana

Publicado el octubre 29, 2017

Ingredientes: 100 g de harina 1 cucharada de polvo para hornear 100 g de banana madura 3 huevos 50 g de azúcar blanca 1 cucharada de vainilla 60 ml de leche Preparacion: Precalienta el horno a 170°C. Mezcla en un … Seguir leyendo →

Publicado en Cooking, Uncategorized | Deja un comentario

AWS EMR – Big Data in Strata New York

Publicado el septiembre 23, 2017

Will you be in New York next week (Sept 25th – Sept 28th)?                    Come meet the AWS Big Data team at Strata Data Conference, where we’ll be happy to answer your questions, hear about your requirements, and help you … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , , , , , | Deja un comentario

s3:// vs s3n:// vs s3a:// vs EMRFS

Publicado el abril 18, 2017

s3:// Apache Hadoop implementation of a block-based filesystem backed by S3. Apache Hadoop has deprecated use of this filesystem as of May 2016. s3n:// A native filesystem for reading and writing regular files on S3. S3N allows Hadoop to access … Seguir leyendo →

Publicado en Uncategorized | Etiquetado , , , , | Deja un comentario

Kill’em All!

Publicado el abril 17, 2017

Use it at your own discretion: for app in `yarn application -list | awk ‘$6 == “ACCEPTED” { print $1 }’` ; do yarn application -kill “$app”;done            

Publicado en Uncategorized | Etiquetado , , | Deja un comentario