-
- .NET Algoritmos Amazon android apache Astronomia Barcode bases de datos BigData bigtop blogger C# Desarrollo DNS elasticsearch Electrónica EMR evolution Factura Electrónica fedora Filesystem firefox Fiscales Flash gnome GPS Hadoop Hands On Hardware HBase HDFS Hive Interfaces iptables IT Management jabber Java KDE KVM ldap Linux LVM mac MapReduce Migraciones MSSQL Mysql NFS NIS NoSQL Optica P2V Pascal PHP Python qemu qmail redes Redes Sociales repositorios Robotica Running & Cycling Samba Scripts Seguridad Servidores Software Libre Spark SQL Tributo VB6 Virtualizacion Windows wordpress YARN
Actualizaciones de Twitter
- Never go out without these - tips for using s3distcp on emr to move data efficiently between hdfs and s3… lnkd.in/gGu9Wzb 2 weeks ago
- Build a visualization and monitoring dashboard for IOT data with Kinesis Analytics and Amazon Quicksight:… lnkd.in/gJxu-cN 1 month ago
- Love this: Tips for migrating to HBase on S3 from HDFS, awesome work Bruno Faria lnkd.in/gftydRG #aws #bigd… lnkd.in/gr9QDps 1 month ago
- Near zero downtime migration from MySQL to DynamoDB lnkd.in/giYN9dn #aws #bigdata #nosql #dynamodb lnkd.in/gE5VyuS 1 month ago
- Querying Openstreetmap with Amazon Athena: lnkd.in/gaNRufB #aws #bigdata #missingmaps #gmu lnkd.in/gP4ZWTN 2 months ago
Los mas leídos:
- Buscar registros repetidos en tabla de sql server / Search for duplicate records in sql
- SQL: Concatenar varios registros de una columna en una sola cadena / concatenate strings from a column into a single string
- Permisos especiales: Sticky Bit, SUID, SGID
- Agregar Usuario Samba / Add Samba User
- Instalar Sql Server Management Studio Express - Error 29506
- Hive: dealing with Out of Memory and Garbage Collector errors.
- yarn: change configuration and restart node manager on a live cluster
- SQL Server : Desconectar Base de Datos / Bring Offline
- Registrar OCX en Windows 64 bits
- Añadir búsqueda en ComboBox / ComboBox Autocomplete
Licencia
hvivani's web site by Hernán Ignacio Vivani is licensed under a Creative Commons Attribution-ShareAlike 3.0 Unported License.
Based on a work at http://hvivani.com.ar.Blogroll
Archivos
- abril 2017 (1)
- marzo 2017 (4)
- enero 2017 (3)
- diciembre 2016 (2)
- octubre 2016 (1)
- agosto 2016 (4)
- julio 2016 (3)
- junio 2016 (1)
- mayo 2016 (1)
- marzo 2016 (3)
- diciembre 2015 (2)
- noviembre 2015 (1)
- octubre 2015 (1)
- septiembre 2015 (3)
- julio 2015 (2)
- junio 2015 (3)
- mayo 2015 (3)
- marzo 2015 (1)
- febrero 2015 (3)
- enero 2015 (3)
- diciembre 2014 (8)
- noviembre 2014 (3)
- octubre 2014 (3)
- septiembre 2014 (2)
- agosto 2014 (1)
- julio 2014 (6)
- mayo 2014 (1)
- abril 2014 (1)
- marzo 2014 (1)
- febrero 2014 (2)
- enero 2014 (2)
- diciembre 2013 (1)
- noviembre 2013 (3)
- octubre 2013 (4)
- septiembre 2013 (7)
- agosto 2013 (8)
- julio 2013 (3)
- junio 2013 (2)
- mayo 2013 (8)
- abril 2013 (9)
- marzo 2013 (6)
- enero 2013 (9)
- diciembre 2012 (4)
- noviembre 2012 (2)
- octubre 2012 (6)
- septiembre 2012 (4)
- agosto 2012 (5)
- julio 2012 (14)
- junio 2012 (7)
- mayo 2012 (7)
- abril 2012 (2)
- marzo 2012 (15)
- febrero 2012 (9)
- enero 2012 (2)
- diciembre 2011 (5)
- noviembre 2011 (13)
- octubre 2011 (20)
- septiembre 2011 (11)
- julio 2011 (5)
- junio 2011 (4)
- mayo 2011 (3)
- abril 2011 (5)
- marzo 2011 (10)
- febrero 2011 (4)
- enero 2011 (2)
- diciembre 2010 (10)
- noviembre 2010 (4)
- octubre 2010 (2)
- noviembre 2009 (1)
- junio 2009 (1)
- mayo 2009 (1)
- abril 2009 (1)
- marzo 2009 (1)
- diciembre 2008 (1)
- marzo 2008 (1)
- noviembre 2007 (1)
- agosto 2007 (1)
- junio 2007 (1)
- abril 2007 (1)
- febrero 2007 (1)
- enero 2007 (1)
- octubre 2006 (2)
- septiembre 2006 (1)
- noviembre 2005 (1)
- octubre 2004 (2)
- junio 2004 (1)
- abril 2004 (1)
- abril 2003 (1)
- julio 2001 (1)
- octubre 2000 (6)
- agosto 2000 (2)
Archivo de la etiqueta: Hive
Copy Data with Hive and Spark / Copiar Datos con Hive y Spark
These are two examples of how to copy data from one S3 location to other S3 location. Same operation can be done from S3 to HDFS and vice-versa. I’m considering that you are able to launch the Hive client or … Seguir leyendo
Start Hive in Debug Mode
Never go out without it: hive –hiveconf hive.root.logger=DEBUG,console
Hive: Extracting JSON fields
Handling JSON files with Hive is not always an easy task. If you need to extract some specific fields from a structured JSON, we have some alternatives: There are two UDF functions that are usually helpful on this cases: ‘get_json_object’ … Seguir leyendo
Hive: dealing with Out of Memory and Garbage Collector errors.
This is the common error: java.lang.OutOfMemoryError: GC overhead limit exceeded This error will occur in several Java environments, but, in particular, with Hive, is pretty common when big structures or several thousands objects are stored in memory. According to Sun, … Seguir leyendo
Hive logs to stdout
Muchas veces necesitamos debugear alguna consulta Hive que esta dando error. Una manera facil es habilitar el logger por consola: hive.root.logger specifies the logging level as well as the log destination. Specifying console as the target sends the logs to … Seguir leyendo
Hive query with JOIN, GROUP BY and SUM does not return results
On Hive 0.11, and lower versions, if we set: set hive.optimize.skewjoin=true; set hive.auto.convert.join=false; A query with JOIN, GROUP BY and SUM does not return results. But if we make the query a little more simple, using JOIN but not GROUP … Seguir leyendo
check system variables or environment variables on Hive
On Hive we can check values for system variables or environment variables with the command: hive> set; if we need to ask for a specific variable value, we can run: hive> set hive.security.authorization.enabled; hive.security.authorization.enabled=false More information: https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration
