- .NET
- Algoritmos
- Amazon
- android
- apache
- Astronomia
- AWS
- Barcode
- bases de datos
- BigData
- bigtop
- blogger
- C#
- Desarrollo
- DNS
- elasticsearch
- Electrónica
- EMR
- evolution
- Factura Electrónica
- fedora
- Filesystem
- firefox
- Fiscales
- Flash
- gnome
- GPS
- Hadoop
- Hands On
- Hardware
- HBase
- HDFS
- Hive
- Interfaces
- iptables
- IT Management
- jabber
- Java
- KDE
- Kernel
- KVM
- ldap
- Linux
- LVM
- mac
- MapReduce
- Migraciones
- MSSQL
- Mysql
- NFS
- NIS
- NoSQL
- Optica
- P2V
- Pascal
- PHP
- Python
- qmail
- redes
- Redes Sociales
- repositorios
- Robotica
- S3
- Scripts
- Seguridad
- Servidores
- Software Libre
- Spark
- SQL
- Tributo
- VB6
- Virtualizacion
- Windows
- wordpress
- YARN
Actualizaciones de Twitter
- Awesome article by @giorgigno and Diego Natali - Scaling Kinesis Data Streams with Application Auto Scaling #aws… twitter.com/i/web/status/1… 2 years ago
- Awesome work by Francisco O. #aws #bigdata #nosql #hbase lnkd.in/e99AyXU 2 years ago
- Have you tried TensorFlow on Amazon EMR? #AI #deeplearning #datascience #machinelearning lnkd.in/gKz73Xe 2 years ago
- Navigating the internals of Amazon #SageMaker with Paco Nathan. Excellent work @dmbanga. #machinelearning lnkd.in/g3Avg5d 2 years ago
- Wow! First Job Listing posted by Jeff Bezos 24 years ago - #programming #cpp #amazon lnkd.in/gTbm-Wq 2 years ago
Los mas leídos:
- Agregar Usuario Samba / Add Samba User
- Ordenar texto como número en Sql Server
- Instalar Sql Server Management Studio Express - Error 29506
- Utilizando parámetros opcionales en Sql Server Stored Procedure
- SQL: Concatenar varios registros de una columna en una sola cadena / concatenate strings from a column into a single string
- eliminar claves del known_hosts / remove outdated ssh fingerprints keys from known_hosts
- SQL Server : Desconectar Base de Datos / Bring Offline
- Buscar registros repetidos en tabla de sql server / Search for duplicate records in sql
- Permisos especiales: Sticky Bit, SUID, SGID
- Pasando parametros null a Sql Server
Licencia
hvivani's web site by Hernán Ignacio Vivani is licensed under a Creative Commons Attribution-ShareAlike 3.0 Unported License.
Based on a work at http://hvivani.com.ar.Blogroll
Archivos
- abril 2020 (2)
- febrero 2020 (2)
- enero 2020 (2)
- julio 2019 (1)
- abril 2019 (1)
- febrero 2019 (2)
- febrero 2018 (1)
- enero 2018 (1)
- diciembre 2017 (2)
- noviembre 2017 (1)
- octubre 2017 (2)
- septiembre 2017 (1)
- julio 2017 (1)
- abril 2017 (3)
- marzo 2017 (4)
- enero 2017 (3)
- diciembre 2016 (2)
- octubre 2016 (1)
- agosto 2016 (4)
- julio 2016 (3)
- junio 2016 (1)
- mayo 2016 (1)
- marzo 2016 (3)
- diciembre 2015 (2)
- noviembre 2015 (1)
- octubre 2015 (1)
- septiembre 2015 (3)
- julio 2015 (2)
- junio 2015 (3)
- mayo 2015 (3)
- marzo 2015 (1)
- febrero 2015 (3)
- enero 2015 (3)
- diciembre 2014 (8)
- noviembre 2014 (3)
- octubre 2014 (3)
- septiembre 2014 (2)
- agosto 2014 (1)
- julio 2014 (6)
- mayo 2014 (1)
- abril 2014 (1)
- marzo 2014 (1)
- febrero 2014 (2)
- enero 2014 (2)
- diciembre 2013 (1)
- noviembre 2013 (3)
- octubre 2013 (4)
- septiembre 2013 (7)
- agosto 2013 (8)
- julio 2013 (3)
- junio 2013 (2)
- mayo 2013 (8)
- abril 2013 (9)
- marzo 2013 (6)
- enero 2013 (9)
- diciembre 2012 (4)
- noviembre 2012 (2)
- octubre 2012 (6)
- septiembre 2012 (4)
- agosto 2012 (6)
- julio 2012 (14)
- junio 2012 (7)
- mayo 2012 (7)
- abril 2012 (2)
- marzo 2012 (15)
- febrero 2012 (9)
- enero 2012 (2)
- diciembre 2011 (5)
- noviembre 2011 (13)
- octubre 2011 (20)
- septiembre 2011 (11)
- julio 2011 (5)
- junio 2011 (4)
- mayo 2011 (3)
- abril 2011 (5)
- marzo 2011 (10)
- febrero 2011 (4)
- enero 2011 (2)
- diciembre 2010 (10)
- noviembre 2010 (4)
- octubre 2010 (2)
- noviembre 2009 (1)
- junio 2009 (1)
- mayo 2009 (1)
- abril 2009 (1)
- marzo 2009 (1)
- diciembre 2008 (1)
- marzo 2008 (1)
- noviembre 2007 (1)
- agosto 2007 (1)
- junio 2007 (1)
- abril 2007 (1)
- febrero 2007 (1)
- enero 2007 (1)
- octubre 2006 (2)
- septiembre 2006 (1)
- noviembre 2005 (1)
- octubre 2004 (2)
- junio 2004 (1)
- abril 2004 (1)
- abril 2003 (1)
- julio 2001 (1)
- octubre 2000 (6)
- agosto 2000 (2)
Archivo de la etiqueta: Hadoop
Indexing Common Crawl Metadata on Elasticsearch using Cascading
If you want to explore how to parallelize the data ingestion into Elasticsearch, please have a look to this post I have written for Amazon AWS: http://blogs.aws.amazon.com/bigdata/post/TxC0CXZ3RPPK7O/Indexing-Common-Crawl-Metadata-on-Amazon-EMR-Using-Cascading-and-Elasticsearch It explains how to index Common Crawl metadata into Elasticsearch using Cascading connector … Seguir leyendo
Publicado en Mis Publicaciones, Uncategorized
Etiquetado Amazon, elasticsearch, EMR, fedora, Hadoop, Linux
Deja un comentario
How Ganglia works
What is Ganglia ? Ganglia is a scalable distributed monitoring system for high-performance computing systems such as clusters and Grids. It is based on a hierarchical design targeted at federations of clusters. It leverages widely used technologies such as XML … Seguir leyendo
HBase useful commands
1) Connect to HBase. Connect to your running instance of HBase using the hbase shell command, located in the bin/ directory of your HBase install. $ ./bin/hbase shell hbase(main):001:0> 2) Create a table. Use the create command to create a … Seguir leyendo
Hive: Extracting JSON fields
Handling JSON files with Hive is not always an easy task. If you need to extract some specific fields from a structured JSON, we have some alternatives: There are two UDF functions that are usually helpful on this cases: ‘get_json_object’ … Seguir leyendo
Elasticsearch and Kibana on EMR Hadoop cluster
If you need to add Elasticsearch and Kibana on EMR, please have a look to this post I have written for Amazon AWS: http://blogs.aws.amazon.com/bigdata/post/Tx1E8WC98K4TB7T/Getting-Started-with-Elasticsearch-and-Kibana-on-Amazon-EMR It contains all the steps to launch a cluster and perform the basic testings on both … Seguir leyendo
Publicado en Mis Publicaciones, Uncategorized
Etiquetado Amazon, elasticsearch, EMR, fedora, Hadoop, Linux
3 comentarios
YARN / Map Reduce memory settings
On Hadoop 1, we used to use mapred.child.java.opts to set the Java Heap size for the task tracker child processes. With YARN, that parameter has been deprecated in favor of: mapreduce.map.java.opts – These parameter is passed to the JVM for mappers. … Seguir leyendo
Hadoop 1 vs Hadoop 2
There are a lot of articles about this, but, I just needed a good summary of concepts: Hadoop 1: A master process called the JobTracker is the central scheduler for all MapReduce jobs in the cluster. Nodes have a TaskTracker … Seguir leyendo
Adding a JAR path to Hadoop classpath
This is simple, but it is a frequent question: If we need to add some specific path pointing to a thirdparty library we can run a command like the following: $ export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/hadoop/.versions/Cascading-2.5-SDK/binary/cascading/*:/home/hadoop/.versions/Cascading-2.5-SDK/binary/cascading/lib/cascading-core/* Here I am adding two directories to … Seguir leyendo
Hive: dealing with Out of Memory and Garbage Collector errors.
This is the common error: java.lang.OutOfMemoryError: GC overhead limit exceeded This error will occur in several Java environments, but, in particular, with Hive, is pretty common when big structures or several thousands objects are stored in memory. According to Sun, … Seguir leyendo
HBase Basics
NoSQL? HBase is a type of “NoSQL” database. “NoSQL” is a general term meaning that the database isn’t an RDBMS which supports SQL as its primary access language, but there are many types of NoSQL databases: BerkeleyDB is an example … Seguir leyendo