- .NET
- Algoritmos
- Amazon
- android
- apache
- Astronomia
- AWS
- Barcode
- bases de datos
- BigData
- bigtop
- blogger
- C#
- Desarrollo
- DNS
- elasticsearch
- Electrónica
- EMR
- evolution
- Factura Electrónica
- fedora
- Filesystem
- firefox
- Fiscales
- Flash
- gnome
- GPS
- Hadoop
- Hands On
- Hardware
- HBase
- HDFS
- Hive
- Interfaces
- iptables
- IT Management
- jabber
- Java
- KDE
- Kernel
- KVM
- ldap
- Linux
- LVM
- mac
- MapReduce
- Migraciones
- MSSQL
- Mysql
- NFS
- NIS
- NoSQL
- Optica
- P2V
- Pascal
- PHP
- Python
- qmail
- redes
- Redes Sociales
- repositorios
- Robotica
- S3
- Scripts
- Seguridad
- Servidores
- Software Libre
- Spark
- SQL
- Tributo
- VB6
- Virtualizacion
- Windows
- wordpress
- YARN
Actualizaciones de Twitter
- Awesome article by @giorgigno and Diego Natali - Scaling Kinesis Data Streams with Application Auto Scaling #aws… twitter.com/i/web/status/1… 2 years ago
- Awesome work by Francisco O. #aws #bigdata #nosql #hbase lnkd.in/e99AyXU 2 years ago
- Have you tried TensorFlow on Amazon EMR? #AI #deeplearning #datascience #machinelearning lnkd.in/gKz73Xe 2 years ago
- Navigating the internals of Amazon #SageMaker with Paco Nathan. Excellent work @dmbanga. #machinelearning lnkd.in/g3Avg5d 2 years ago
- Wow! First Job Listing posted by Jeff Bezos 24 years ago - #programming #cpp #amazon lnkd.in/gTbm-Wq 2 years ago
Los mas leídos:
- Agregar Usuario Samba / Add Samba User
- Buscar registros repetidos en tabla de sql server / Search for duplicate records in sql
- SQL: Concatenar varios registros de una columna en una sola cadena / concatenate strings from a column into a single string
- Instalar Sql Server Management Studio Express - Error 29506
- eliminar claves del known_hosts / remove outdated ssh fingerprints keys from known_hosts
- SQL Server : Desconectar Base de Datos / Bring Offline
- Configuración Regional y de Idioma en SQL Server
- Registrar OCX en Windows 64 bits
- seleccionar, copiar y pegar con Android / select, copy and paste with Android
- Instalar en Windows Impresora compartida en Linux con CUPS
Licencia
hvivani's web site by Hernán Ignacio Vivani is licensed under a Creative Commons Attribution-ShareAlike 3.0 Unported License.
Based on a work at http://hvivani.com.ar.Blogroll
Archivos
- abril 2020 (2)
- febrero 2020 (2)
- enero 2020 (2)
- julio 2019 (1)
- abril 2019 (1)
- febrero 2019 (2)
- febrero 2018 (1)
- enero 2018 (1)
- diciembre 2017 (2)
- noviembre 2017 (1)
- octubre 2017 (2)
- septiembre 2017 (1)
- julio 2017 (1)
- abril 2017 (3)
- marzo 2017 (4)
- enero 2017 (3)
- diciembre 2016 (2)
- octubre 2016 (1)
- agosto 2016 (4)
- julio 2016 (3)
- junio 2016 (1)
- mayo 2016 (1)
- marzo 2016 (3)
- diciembre 2015 (2)
- noviembre 2015 (1)
- octubre 2015 (1)
- septiembre 2015 (3)
- julio 2015 (2)
- junio 2015 (3)
- mayo 2015 (3)
- marzo 2015 (1)
- febrero 2015 (3)
- enero 2015 (3)
- diciembre 2014 (8)
- noviembre 2014 (3)
- octubre 2014 (3)
- septiembre 2014 (2)
- agosto 2014 (1)
- julio 2014 (6)
- mayo 2014 (1)
- abril 2014 (1)
- marzo 2014 (1)
- febrero 2014 (2)
- enero 2014 (2)
- diciembre 2013 (1)
- noviembre 2013 (3)
- octubre 2013 (4)
- septiembre 2013 (7)
- agosto 2013 (8)
- julio 2013 (3)
- junio 2013 (2)
- mayo 2013 (8)
- abril 2013 (9)
- marzo 2013 (6)
- enero 2013 (9)
- diciembre 2012 (4)
- noviembre 2012 (2)
- octubre 2012 (6)
- septiembre 2012 (4)
- agosto 2012 (6)
- julio 2012 (14)
- junio 2012 (7)
- mayo 2012 (7)
- abril 2012 (2)
- marzo 2012 (15)
- febrero 2012 (9)
- enero 2012 (2)
- diciembre 2011 (5)
- noviembre 2011 (13)
- octubre 2011 (20)
- septiembre 2011 (11)
- julio 2011 (5)
- junio 2011 (4)
- mayo 2011 (3)
- abril 2011 (5)
- marzo 2011 (10)
- febrero 2011 (4)
- enero 2011 (2)
- diciembre 2010 (10)
- noviembre 2010 (4)
- octubre 2010 (2)
- noviembre 2009 (1)
- junio 2009 (1)
- mayo 2009 (1)
- abril 2009 (1)
- marzo 2009 (1)
- diciembre 2008 (1)
- marzo 2008 (1)
- noviembre 2007 (1)
- agosto 2007 (1)
- junio 2007 (1)
- abril 2007 (1)
- febrero 2007 (1)
- enero 2007 (1)
- octubre 2006 (2)
- septiembre 2006 (1)
- noviembre 2005 (1)
- octubre 2004 (2)
- junio 2004 (1)
- abril 2004 (1)
- abril 2003 (1)
- julio 2001 (1)
- octubre 2000 (6)
- agosto 2000 (2)
Archivo de la etiqueta: HDFS
Secondary NameNode in Hadoop 2
This is a frequent asked question: In hadoop 2, Secondary Name Node can be implemented in two ways: 1. With HA (High Availability Cluster): if you are setting up HA cluster then you may not need to use Secondary namenode … Seguir leyendo
Adding a mount point to HDFS
Before proceeding: This procedure considers that you don’t have any current useful data on HDFS. All the data will be lost after adding mount points with this method. This procedure should be applied to every datanode in the cluster. No … Seguir leyendo
s3:// vs s3n:// vs s3a:// vs EMRFS
s3:// Apache Hadoop implementation of a block-based filesystem backed by S3. Apache Hadoop has deprecated use of this filesystem as of May 2016. s3n:// A native filesystem for reading and writing regular files on S3. S3N allows Hadoop to access … Seguir leyendo
Publicado en Uncategorized
Etiquetado Amazon, BigData, EMR, EMRFS, Hadoop, HDFS, S3
Deja un comentario
HDFS: changing the replication factor
The replication factor is a property that can be set in the HDFS configuration file that will allow you to adjust the global replication factor for the entire cluster. For each block stored in HDFS, there will be n – … Seguir leyendo
Hadoop useful commands
– Copy fromLocal/ToLocal from/to S3: $ bin/hadoop fs -copyToLocal s3://my-bucket/myfile.rb /home/hadoop/myfile.rb $ bin/hadoop fs -copyFromLocal job5.avro s3://my-bucket/input – Merge all the files from one folder into one single file: $ hadoop jar ~/lib/emr-s3distcp-1.0.jar –src s3://my-bucket/my-folder/ –dest s3://my-bucket/logs/all-the-files-merged.log –groupBy ‘.*(*)’ –outputCodec … Seguir leyendo
Hadoop: HDFS find / recover corrupt blocks
1) Search for files on corrupt files: A command like ‘hadoop fsck /’ will show the status of the filesystem and any corrupt files. This command will ignore lines with nothing but dots and lines talking about replication: hadoop fsck … Seguir leyendo
HDFS: Cluster to cluster copy with distcp
Este es el formato del comando distcp para copiar de hdfs a hdfs considerando cluster origen y destino en Amazon AWS: hadoop distcp “hdfs://ec2-54-86-202-252.compute-1.amazonaws.comec2-2:9000/tmp/test.txt” “hdfs://ec2-54-86-229-249.compute-1.amazonaws.comec2-2:9000/tmp/test1.txt” Mas informacion sobre distcp: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Installation-Guide/cdh4ig_topic_7_2.html http://hadoop.apache.org/docs/r1.2.1/distcp2.html
Arquitectura HDFS
El diseño del sistema de archivos HDFS se basa en el Google File System (GFS). – Es capaz de almacenar una gran cantidad de datos (terabytes o petabytes). – Esta diseñado para almacenar los datos a traves de un gran … Seguir leyendo