Upsa abril2014 – [PPTX Powerpoint]

  • 1. 11 Prof. Luis Joyanes Aguilar U UNIVERSIDAD PONTIFICIA DESALAMANCA BIG DATA La revolucin de los datos Salamanca, abril2014

2. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Pgina 2 3. 33 ESTADO DEL ARTE DE CLOUDCOMPUTING Prof. Luis Joyanes Aguilar COMPUTACIN EN LA NUBE La nuevaera de la computacin 4. 4 5. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 BIG DATA Y MINERADE DATOS Pgina 5 6. 6 7. 77 ANALTICA DE DATOS (Analytics) Prof.Luis Joyanes Aguilar BIG DATA El universo digital de datos 8. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 LA ERA DEL PETABYTE (1.000 TB), Wired , julio 2008(www.wired.com) Sensores en todas partes, almacenamiento infinito yNubes (clouds) de procesadores Nuestra capacidad para capturar,almacenar y comprender cantidades masivas de datos est cambiando laciencia, medicina, negocios y tecnologa. A medida que aumentanuestra coleccin de hechos y figuras, crece la oportunidad deencontrar respuestas a preguntas fundamentales. Because in the eraof big data, more isnt just more. More is different Pgina 8 9. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 LA ERA DEL PETABYTE -2- . Wired , julio 2008(www.wired.com) 1TB (250.000 canciones) 20 TB (fotos uploaded aFacebook cada mes) 120 TB (todos los datos e imgenes recogidos porel telescopio espacial Hubble) ; 460 TB (todos los datos del tiempoclimtico en EEU compilados por el National Climatic Data Center);530 TB (Todos los vdeos de YouTube); 600 TB (base de datos degenealoga, incluye todos los censos de EEUU 1790-2000) 1 PB (datosprocesados por los servidores de Google cada 75 minutos) Pgina 910. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Tabla de unidades de almacenamiento (TheEconomist, febrero 2010): data, data everywherewww.economist.com/specialreports/displaystory.cfm?story_id=15557421Pgina 10 11. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 UN EJEMPLO DE ALMACENAMIENTO DE 1TB Pgina 11 12. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 El Universo Digital EMC / IDCPgina 12 13. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 El Universo Digital EMC / IDCPgina 13 14. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 El universo digital de datos, IDC2012 Pina 14 15. Luis Joyanes Aguilar Big Data . La revolucin delos datos Salamanca, 3 de abril 2014 EL UNIVERSO DIGITAL DE DATOS,2013 EMC Corporation PUBLIC en diciembre de 2012, su estudio anualsobre el Universo Digital de IDC, patrocinado por EMC: Big Data,Bigger Digital Shadows, and Biggest Growth in the Far East. Elestudio arroj que, a pesar de la expansin sin precedentes delUniverso Digital debido a el Big Data que se generan a diario porpersonas y mquinas, IDC estima que solo 0,5% de los datos mundialesse analizan. Pgina 15 16. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 EL UNIVERSODIGITAL DE DATOS, 2013 El ltimo estudio sobre el Universo Digitalde IDC Big Data, Bigger Digital Shadows, and Biggest Growth in theFar East (Grandes volmenes de datos, sombras digitales ms Grandes yel mayor crecimiento en el Lejano Oriente). (Diciembre 2012) Pgina16 17. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 EL UNIVERSO DIGITAL DE DATOS, 2013 Pgina17 18. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 EL UNIVERSO DIGITAL DE DATOS, 2013 Pgina18 19. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 El universo digital de datos, 2012 Pgina19 20. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 LA ERA DEL EXABYTE/ZETTABYTE CISCO LAERA DEL EXABYTE, CISCO . Estudio Cisco Visual Networking Index(VNI) 2007-2012. Trfico mundial de datos. LA ERA DELZETTABYTE:Cisco VNI: Forecast and Methodology 2012: 22017. Trficomundial de datos (publicado en 2013) Pgina 20 21. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Informe VNI CISCO 2012-2107 Durante 2012, empresas, gobiernos,industria y usuarios finales generan cada mes del ao, una tasa detrfico mensual de 44 EB (aprox. 44 millones de discos duros de 1TBapilados u 11.000 millones de DVDs). Mxico produjo en 2012 untrfico de 0,6 ExaBytes/mes. Se estima que en 2017 producir unos 1,3EB. Para ese momento el 56% de la poblacin contar con acceso aInternet de acuerdo con el INEGI de Mxico Pgina 21 22. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Informe VNI CISCO 2012-2107 Los dispositivos que ms ayudan agenerar los 44 EB por mes, segn CISCO: 0,6 EB, smartphones 2,7tabletas 5,8 televisores 7,6 consolas de videojuegos 18,6computadoras personales En 2017 se espera una tasa global de trficomensual de 121 EB aprox. 1 ZB Pgina 22 23. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014 LAAVALANCHA / DILUVIO DE DATOS Twitter: (redes sociales) 90 millonesde tuits (tweets) por da que representan 12 Terabytes (datos de2011) Boeing: (industria) Vuelo transocenico de un jumbo puedegenerar 640 Terabytes. Wal-Mart: (comercio) 1 milln detransacciones por hora que se estima que alimenta una base de datosde 2.5 petabytes. Google procesa al da 20 PB de informacin Pgina 2324. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 LA AVALANCHA / DILUVIO DE DATOS El 90%de los datos acumulados en todo el mundo se han creado en los dosltimos aos. Cada da se escriben 400 millones de tuits, cada minutose crean 600 nuevos blogs y cada segundo se registran 10.000transacciones de pagos con tarjetas. Objetos cotidianos como loscarros, los relojes o las gafas estn comenzando a conectarse aInternet para alimentar nuevos servicios que requieren un constanteintercambio de informacin. Pgina 24 25. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014 LAAVALANCHA / DILUVIO DE DATOS Los Ayuntamientos siembran las callescon sensores de recogida de datos para facilitar la vida de losciudadanos. Cada da se recogen 2,5 trillones de bytes de datos, ylos directivos de las empresas apenas pueden manejar la mitad delos generados en su entorno porque el 80% de ellos estndesestructurados. El nmero de dispositivos en red duplicar a lapoblacin mundial en 2015 y los datos que generen se convertirn eninformacin utilizada por las empresas para anticipar lasnecesidades de los consumidores. Pgina 25 26. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014 LAAVALANCHA / DILUVIO DE DATOS La respuesta para ordenar este caos esbig data, la nueva herramienta para sistematizar los datosprocedentes de cualquier soporte incluyendo imagen sonido, fotos,textos y convertirlos de forma automtica en informacin. Big dataayud a ganar las elecciones a Barak Obama y ha reducido de das aminutos la deteccin de uso de informacin privilegiada en WallStreet Pgina 26 27. Luis Joyanes Aguilar Big Data . La revolucin delos datos Salamanca, 3 de abril 2014 LA AVALANCHA / DILUVIO DEDATOS En torno a ella se est creando un mercado evaluado por lafirma de anlisis Gartner en 132.000 millones de dlares para 2015.Ese ao se crearn 4,4 millones de puestos de trabajo paraabastecerlo. Los expertos comparan la herramienta con una revolucinindustrial en el mundo de los datos y afirman que con ella cambiarnuestra forma de vida. Pgina 27 28. Luis Joyanes Aguilar Big Data .La revolucin de los datos Salamanca, 3 de abril 2014 EL NEXO DE LASFUERZAS- GARTNER (2012) Pgina 28 29. Luis Joyanes Aguilar Big Data. La revolucin de los datos Salamanca, 3 de abril 2014 El nexo delas fuerzas- Gartner (2012) In the Nexus of Forces, information(Big Data) is the context for delivering enhanced social and mobileexperiences. Mobile devices are a platform for effective socialnetworking and new ways of work. Social links people to their workand each other in new and unexpected ways. Cloud enables deliveryof information and functionality to users and systems. The forcesof the Nexus are intertwined to create a user- driven ecosystem ofmodern computing. At the Core: Social, Mobile, Cloud andInformation. Converge and Reinforce Pgina 29 30. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 TENDENCIAS TECNOLGICAS DE LA DCADA LAS CONSULTORAS IDC,GARTNER, FORRESTER, MCKINSEY y otras, estn de acuerdo: CloudComputing Social Media (Medios sociales) Movilidad: Localizacin,realidad aumentada, realidad virtual Internet de las cosas(objetos) NFC, Bluetooth, RFID, QR, ZigBee, Sensores Big Data:Herramientas y Analtica Pgina 30 31. Luis Joyanes Aguilar Big Data. La revolucin de los datos Salamanca, 3 de abril 2014 RESUMEN: LASCINCO GRANDES TENDENCIAS Cloud Computing Modelos, despliegues,seguridad Social Media/Social Business Medios sociales empresasocial Movilidad (Localizacin.) Plataformas, dispositivos y WebApps Big Data: Herramientas y analtica Internet de las cosas (M2M)Pgina 31 32. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 TENDENCIAS tecnolgicas de 2014 Lomvil (movilidad): Telfonos inteligentes (smartphones), tabletas(tablets), videoconsolas,.. (geolocalizacin, realidad aumentada,NFC, RFID, QR) Gamificacin Consumerizacin, BYOD (Bring your owndevice) Smart TV BIG DATA (grandes volmenes) Pgina 32 33. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 TECNOLOGAS PONIBLES (Wearables) Gafas inteligentesRelojes inteligentes Pulseras inteligentes Anillos inteligentesRopa inteligente . Pgina 33 34. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 TECNOLOGAS MVILESACTUALES Tecnologas NFC (NFC ,Near Field Communication).Comunicaciones en cortas distancias (10 cm -20 cm) HERRAMIENTAactual y FUTURA DE TELEPAGO Aplicaciones: Telfono como medio depago (experiencias de Telefnica en Barcelona) Pago enaparcamientos, centros comerciales, Gestin de recetas, control depacientes, citas mdicas, Pago de transportes pblicos (Mlaga)Fidelizacin y servicios en bibliotecas En mviles (SI, Galaxy S IVde Samsung; NO, iPhone 5) Pgina 34 35. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014TECNOLOGAS MVILES ACTUALES Tecnologas NFC Chips RFID (Identificacinpor radiofrecuencia) Cdigos QR Sensores Redes Bluetooth (1.0, 2.0,3.0, 4.0) Geolocalizacin Realidad Aumentada Pgina 35 36. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 EL TELFONO MVIL (CELULAR) con NFC como medio de pagoPgina 36 37. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 TELFONO MVIL COMO MEDIO DE PAGOPgina 37 38. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Cdigo QR (periodicos,documentos,..) http://www.ticbeat.com/economia/auge-codigosqr-espana-infografia/ Pgina 38 http://wwhttp:// 39. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 MACHINE TO MACHINE (M2M) Intercambio de informacin enformato de datos entre dos puntos remotos, bien a travs de red fijao mvil sin interaccin humana con caractersticas especficas encuanto a trfico y tarjetas SIM e integradas en la fabricacin dedispositivos Automatizacin de los procesos de comunicacin entremquinas, entre dispositivos mviles (celulares) y mquinas (Mobile toMachine) y entre hombres y mquinas (Man to Machine) En 2011 haba msde 1.500 millones de dispositivos alrededor del mundo conectadosentre s; 15.000 millones en 2013. Previsiones de Cisco, 25.000millones para 2015 Pgina 39 40. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 INTERNET DE LASCOSAS (OBJETOS) Pgina 40 41. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 INTERNET DE LASCOSAS (OBJETOS) Cada da aumenta el nmero de dispositivos de todotipo que proporcionan acceso a Internet. Las cosas que permiten yvan a permitir estos accesos ir aumentando con el tiempo. Ahora yatenemos videoconsolas, automviles, trenes, aviones, sensores,aparatos de televisin, y pronto el acceso se realizar desde loselectrodomsticos Pgina 41 42. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 World Wide Web,Internet mvil, cloud computing, INTERNET DE LAS COSAS Un mundo enel que miles de millones de objetos informarn de su posicin,identidad e historia a travs de conexiones inalmbricas mediantetecnologas RFID, bluetooth, sensores inalmbricos, NFC, Larealizacin del Internet de las cosas , probablemente requerircambios dramticos en sistemas, arquitecturas y comunicaciones,Invisible es la descripcin de las nuevas tecnologas empotradasComputacin ubicua A medida que avance su penetracin: Producir unCAMBIO SOCIAL, posiblemente, de tanto impacto y tan pocoprevisible, como las actuales tecnologas Web Pgina 42 43. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 APLICACIONES DE IMPACTO DEL IoT* Plataforma Satelisede Ferrovial (empresa multinacional constructora deinfraestructuras, lder en Espaa) Est instalando en los peajes deautopistas una aplicacin basada en tecnologa satelital (GPS) parael pago de peajes sin barreras y la comunicacin entre el conductory la concesionaria mediante telfonos inteligentes. Ofrecer otrosservicios de valor aadido: trayectos de peaje y alternativos,informacin sobre el estado del trfico, meteorologa o cualquier tipode incidente pretende incorporar comandos de voz para evitardistracciones del conductor al volante. *Actualidad econmica,octubre 2013 Pgina 43 44. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 APLICACIONES DEIMPACTO DEL IoT* SHODAN, buscador en la Internet de las cosas* AGoogle for Hackers. Shodan es una nueva herramienta utilizada porlos chicos buenos y malos para encontrar todos los dispositivosconectados ahora a la Internet: luces de trficos, plantas de energae incluso el monitor de su beb * Forbes, seccin Technology. 23 deseptiembre, 2013 (n de esta semana en Espaa) Pgina 44 45. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 BUSCADOR SHODAN DE LA IoT Pgina 45 46. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 VENTAJAS Y RIESGOS DE IoT VENTAJAS Y OPORTUNIDADES CISCO,ERICSSON, prevn que para el ao 2020 habr cerca de 50 mil millonesde dispositivos conectados a Internet, capaces de comunicarse entres, desde automviles, aparatos de consumo en el hogar, telfonosinteligentes, marcapasos, televisores, carros (coches), ropainteligente, electrodomsticos, puertas – ventanas de hogares yedificios, PCs, tabletas Infinitas ventajas RIESGOS* Hackersmaliciosos, ciberespionaje * Cibereespionajes, piratas y mafias, ElPas, febrero 2013http://elpais.com/elpais/2013/02/19/eps/1361281322_025092.htmlPgina 46 47. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 MAPA DE ETIQUETAS DE BIG DATAPgina 47 48. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 MAPA DE ETIQUETAS DE BIG DATAPgina 48 49. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Harvard Business Review, octubre2012 Pgina 49 50. Luis Joyanes Aguilar Big Data . La revolucin delos datos Salamanca, 3 de abril 2014 Foreign Affairs, mayo 2013Pgina 50 51. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Revista BBVA, innovation edge,junio 2013 Pgina 51 52. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 ORIGEN DEL TRMINOGrandes volmenes de datos Datos masivos Macrodatos (Fundacin FundeBBVA) La era de los datos masivos se refiere a cosas que se puedenhacer a gran escala, y pone en cuestin la forma en que vivimos einteractuamos con el mundo (Mayer-Schmberg, Cukier, The Economist)Correlacin: ya no importa el porqu sino slo el qu Pgina 52 53. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 APLICACIONES DE BIG DATA Los Gigantes de Internetcomo Google, Amazon o Facebook basan su xito en el valor de los bigdata sin ellos tendran serias dudas de supervivencia. Big data esel nuevo petrleo, oro o man de la dcada. IBM, SAP ,Oracle, Ciscolos han sistematizado para adaptarlas a todo tipo de empresas.Google comenz a gestionar Big Data desde su nacimiento en 1998,para indexar sus bsquedas Big data ha saltado de Internet al mundoreal, y las empresas investigan sus aplicaciones para mejorar lagestin, ahorrar consumos o lanzar nuevos servicios. Pgina 53 54.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 APLICACIONES DE BIG DATA Big dataempieza a dar los primeros pasos en Europa. La britnica Tesco,cuarta cadena minorista mundial, lo acaba de implantar paracontrolar la energa en 120 tiendas irlandesas y quiere extenderlo alas 3.000 tiendas que tiene entre Irlanda y Reino Unido para lograrun ahorro de 20 millones de euros en consumos energticos. INGDirect ha lanzado en Holanda un servicio para vigilar la interaccinde los clientes con la web que genera llamadas telefnicasautomticas para ayudar a quienes no logran terminar su operacin unaforma de fidelizar clientes Pgina 54 55. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014APLICACIONES DE BIG DATA La central de reservas Amadeus (lneasareas) insta a las empresas a que incorporen la herramienta juntocon el uso ya creciente de MINERA DE DATOS. Investigacin realizadapor el profesor Thomas Davenport, de la escuela de negocios deHarvard, sobre la experiencia de Air France-KLM, Lufthansa, BritishAirways, Cathay, Eurostar, Hoteles Marriott, aeropuerto de Mnich.El informe indica que las aerolneas, los aeropuertos, los hoteles,las empresas ferroviarias y los distribuidores de productostursticos deben plantearse una estrategia big data para situarse ala vanguardia. Pgina 55 56. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 APLICACIONES DEBIG DATA La industria area comercial podra ahorrar 30 millones dedlares en 15 aos con la recogida de datos realizada por lossensores que GE coloca en los motores de los aviones. Trece de las25 mayores cadenas hoteleras de todo el mundo efectan ya susinversiones y sus ofertas comerciales, incluso el color de lasparedes de los restaurantes o las habitaciones, cada vez ms enfuncin de sofisticados sistemas de anlisis de datos de clientes(MINERA DE DATOS) Pgina 56 57. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 APLICACIONES DEBIG DATA En Espaa, un sistema privado de seguridad, Sanitas hapuesto en marcha un sistema para prevenir enfermedades entre sus2,3 millones de clientes. En un ao hemos realizado 800.000contactos a 100.000 clientes para darles consejos o indicarles laconveniencia de hacer pruebas de deteccin precoz cuando detectamosque por su perfil puede ser conveniente y ofrecer mejores servicios[Portavoz de Sanitas al peridico El Pas] Pgina 57 58. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 APLICACIONES DE BIG DATA Las farmacuticas y las aseguradorasde todo el mundo han sumado la fuerza de sus datos para acelerar lainvestigacin contra el cncer, el alzhimer y otras lacras de lasociedad. hacer predicciones de comportamientos futuros depacientes son grandes ventajas de big data, que puede mejorarnos lavida hasta lmites insospechados. Pgina 58 59. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014APLICACIONES DE BIG DATA Una lnea de negocio importante de big dataestar en las empresas de servicios. Mezclarn la informacinprocedente de distintas fuentes y harn campaas de marketing(mercadotecnia) personalizado asociado a la geolocalizacin condatos de su perfil de riesgo, sus gustos y sus hbitos Pgina 59 60.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 EXPANSIN, de Wall Street Journal, 1 deabril 2013 (casos de estudio) UPS UPS comenz a instalar sensores ensus vehculos de reparto para conocer su velocidad y ubicacin, si elcinturn de seguridad del conductor est abrochado… Al combinar suinformacin de GPS y los datos de sensores sobre rendimiento en msde 46.000 vehculos, UPS recort 136 millones de kilmetros de susrutas. Pgina 60 61. Luis Joyanes Aguilar Big Data . La revolucin delos datos Salamanca, 3 de abril 2014 BIG DATA Y LA INVESTIGACIN DELCNCER Aplicar la analtica avanzada de datos a los tratamientosbasados en medicina genmica para enfermos con tumores cerebrales.ste es el gran objetivo del proyecto que acometer el Centro delGenoma de Nueva York con ayuda de IBM y, en concreto, del GrupoWatson, centrado en la llamada computacin cognitiva, un rea por laque el Gigante Azul ha apostado de lleno en los ltimos aos y parala que ha destinado mil millones de dlares, como anunciaba lacompaa el pasado mes de enero*. *www.ticbeat.com*http://bigdata.ticbeat.com/watson-arma-contra-el-cancer/ Pgina 6162. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 DEFINICIN DE BIG DATA Otro mbito ser lasalud, donde toda la informacin sobre nuestra historia mdica y lade millones de personas ser accesible, tanto para el paciente comopara la investigacin mdica (de forma annima), a fin de entender elimpacto de las epidemias, enfermedades, y tratamientos, Pgina 6263. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Qu es Big Data? No hay una definicinestndar Big data es una coleccin de datos grande, complejos, muydifcil de procesar a travs de herramientas de gestin yprocesamiento de datos tradicionales Big Data son datos cuyovolumen, diversidad y complejidad requieren nueva arquitectura,tcnicas, algoritmos y anlisis para gestionar y extraer valor yconocimiento oculto en ellos … Pgina 63 64. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014DEFINICIN DE BIG DATA: IBM What is big data?* Every day, we create2.5 quintillion bytes of data so much that 90% of the data in theworld today has been created in the last two years alone. This datacomes from everywhere: sensors used to gather climate information,posts to social media sites, digital pictures and videos, purchasetransaction records, and cell phone GPS signals to name a few. Thisdata is big data. * www-01.ibm.com/software/data/bigdata/ Pgina 6465. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 DEFINICIN DE BIG DATA: IBM Estainfinidad de datos, tan variados y con una gran velocidad decrecimiento esconden tras de s un gran conocimiento que puedeayudar al mundo a mejorar sus procesos e ineficiencias. Sinembargo, no sirven de nada si no se pueden almacenar, discriminar,procesar y analizar para sacar a la luz ese conocimiento. Adems, suutilidad depende tambin de que este proceso se realice enfracciones de segundo y de manera eficiente. La tecnologa ya estpreparada y las herramientas de procesamiento y anlisis de datospueden almacenar, gestionar y analizar grandes cantidades deinformacin y traducirlos en inteligencia de negocio rpidamente,Pgina 65 66. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 DEFINICIN DE BIG DATA: GartnerGartner* define Big data como un conjunto de datos de gran volumen,de gran velocidad y procedente de gran variedad de fuentes deinformacin que demandan formas innovadoras y efectivas de procesarla informacin www.gartner.com/id=2100215 Pgina 66 67. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 DEFINICIN DE BIG DATA: Gartner Adems, segn el ltimo informe deGartner, en 2015 el Big Data crear 4.4 millones de puestos detrabajo TIC (tecnologas de la informacin y la comunicacin) en todoel mundo, pero si no reciben la formacin adecuada solo habrsuficientes profesionales para cubrir un tercio de ellos Pgina 6768. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 DEFINICIN DE BIG DATA: Gartner Big Dataes la capacidad de analizar grandes volmenes de datos de diferentestipos y a gran velocidad, para mejorar los procesos de negocioactuales o crear nuevas reas de oportunidad, Pgina 68 69. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 DEFINICIN DE BIG DATA Desde el punto de vistatecnolgico seguirn apareciendo herramientas que permitirn que eltrmino big (grande) de Big Data sea cada vez mayor, y con menorcoste, sobre todo gracias a su implementacin en los entornoscloud». La complementacin del Big Data con los entornos cloud,permitir a casi cualquier empresa que tenga las ideas clarasacceder a estas capacidades, que no sern un coto restringido a losque tienen grandes capacidades inversoras. Pgina 69 70. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 OTRAS DEFINICIONES DE BIG DATA OReilly Radar Seconsidera Big Data cuando el volumen de los datos se convierte en smismo parte del problema a solventar (). EMC/IDC Las tecnologas deBig Data describen un nuevo conjunto de tecnologas y arquitecturas,diseadas para extraer valor y beneficio de grandes volmenes dedatos con una amplia variedad en su naturaleza, mediante procesosque permitan capturar, descubrir y analizar informacin a altavelocidad y con un coste reducido Pgina 70 71. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014OTRAS DEFINICIONES DE BIG DATA McKinsey Global Institute (MGI) enJunio de 2011, conjuntos de datos cuyo tamao va ms all de lacapacidad de captura, almacenado, gestin y anlisis de lasherramientas de base de datos. The IBM Big Data Platform Big Datarepresents a new era of computing an inflection point ofopportunity where data in any format may be explored and utilizedfor breakthrough insights – whether that data is in-place,in-motion, or at-rest. IBM is uniquely positioned to help clientsnavigate this transformation. Pgina 71 72. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014 OTRASDEFINICIONES DE BIG DATA IBM, considera que hay Big Data, si elconjunto de informacin supera el terabyte de informacin, essensible al tiempo, y mezcla informacin estructurada con noestructurada. As, su enfoque trata de buscar la forma mejor deaprovechar estos datos, su gestin, su combinacin (datosestructurados con los que no lo son), la aplicacin de algoritmospredictivos de comportamiento, y con todo ello, permitir la toma dedecisiones que aadan valor al negocio. Pgina 72 73. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 DEFINICIN DE BIG DATA: IBM Pgina 73 74. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014Pgina 74 75. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 DEFINICIN DE BIG DATA: IBM VOLUMENde datos procesados por las empresas ha crecido significativa yexponencialmente. Google procesa 20 petabytes al da En 2020 seesperan 42.000 millones de pagos electrnicos. La Bolsa de NuevaYork genera UN terabyte de datos al da Twitter genera 8 TB Pgina 7576. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 DEFINICIN DE BIG DATA: IBM VELOCIDAD.Rapidez con la que se accede a los datos. La velocidad delmovimiento, proceso y captura de datos, dentro y fuera de laempresa ha aumentado considerablemente. Flujo de datos a altavelocidad. eBay se enfrenta al fraude a travs de PayPal analizandocinco millones de transacciones en tiempo real al da. Pgina 76 77.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 DEFINICIN DE BIG DATA: IBM VARIEDAD: Bigdata es cualquier tipo de dato estructurado y no estructurado -tales como texto, datos de sensores, datos entre mquinas (M2M),archivos logs, audio, vdeo, flujos de clicks, XML, datos enstreaming, cotizaciones burstiles, medios sociales, Una crecientevariedad de datos necesitan ser procesados y convertidos ainformacin Pgina 77 78. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 DEFINICIN DE BIGDATA: IBM (5V-6V) Pgina 78 79. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 DEFINICIN DE BIGDATA: IBM Encierra esta idea el tratamiento de informacin que haceevolucionar los mtodos y recursos habituales para hacerse cargo degrandes volmenes de datos (de terabytes pasamos a zettabytes).Estos se generan a gran velocidad (pasamos de datos enlotes/archivos a datos en streaming) y adems se aade una posiblecomponente de complejidad y variabilidad en el formato de esosdatos (pasamos de datos estructurados a datos semi-estructurados ono estructurados). Todo ello requiere de tcnicas y tecnologasespecficas para su captura, almacenamiento, distribucin, gestin yanlisis de la informacin. Pgina 79 80. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014DEFINICIN DE BIG DATA: IBM Segn IBM Research(www.research.ibm.com), el 90 por ciento de toda la informacin queexiste -datos digitales- en la actualidad se ha creado en losltimos dos aos y el 80 por ciento es informacin no estructurada,procedente de vdeos, imgenes digitales, correos electrnicos,comentarios en las redes sociales y otros textos. Este prolficouniverso de informacin que crece a ritmos exponenciales ha creadolo que se ha denominado Big Data o datos masivos. Suscaractersticas son: su variedad, velocidad, volumen y veracidad,explican los expertos de IBM. Pgina 80 81. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014DEFINICIN DE BIG DATA: IBM Tambin recientemente se aade una nueva vde valor: los datos por s mismos, aun siendo muchos, noproporcionan valor a una empresa u organizacin. Es su tratamiento,a travs de un proceso de planteamiento de hiptesis, creacin demodelos estadsticos y semnticos, y definicin de algoritmos de cortao larga duracin, lo que permite descubrir el significado oculto enesos grandes volmenes de datos. Pgina 81 82. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014DEFINICIN DE BIG DATA: IBM Segn otras definiciones de Big Data defabricantes, consultoras, NIST, etc. existen otras propiedades delos big data: Veracidad de los datos Valor de los datos 6V:+Viabilidad de la infraestructuras y las herramientas dealmacenamiento Pgina 82 83. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 INTERNET EN 2020Pgina 84 84. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Pgina 85 85. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014TRATAMIENTO DE LOS BIG DATA Pgina 86 86. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014 Pgina87 87. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Qu sucede en 1 en INTERNET (2012) Pgina88 88. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Informe de GP Bullhound, el banco deinversin lder en Europa (2012 vs 2013) Pgina 89 89. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Informe de GP Bullhound, el banco de inversin lder en Europa(2012 vs 2013) Pgina 90 90. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014http://blog.qmee.com/qmee-online-in-60-seconds/ (Noviembe-2013Pgina 91 91. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Actividad de Internet en 1. QmeeSe producen 2 millones de bsquedas en Google Se suben 72 horas devideo de Youtube En Facebook, se producen 2.460.000 post, 1.8 MeGustan y 350GB de Datos Se registran 70 nuevos dominios Sedescargan 15.000 temas desde iTunes Se miran 20 millones de fotosen flickr Se producen 278.000 Tweets por minuto Se comparten porSnapchat 104.000 fotos Amazon vende u$s 83.000 Se hacen 11.000bsquedas de LinkedIn Hay 11.000 usuarios activos en Pinterest216.000 fotos nuevas en Instagram 204 millones de mails enviados;20.000 nuevas fotos en Tumblr 571 nuevos sitios creados Pgina 9292. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Fuentes de Big Data Herramientas paraanlisis de datos en grandes volmenes de datos. Infraestructuras deBig Data Fuentes de Big Data (Soares 2012): Web y Social mediaMachine-to-Machine (M2M, Internet de las cosas) Biometria Datos detransacciones de grandes datos (salud, telecomunicaciones) Datosgenerados por las personas (humanos) Pgina 93 93. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Sunil Soares (2003). Big Data Governance Emerging Pgina 94 94.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Big Data. Joyanes, MxicoDF: Alfaomega(2013) 1. Web y Social Media: Incluye contenido web e informacinque es obtenida de las medios sociales como Facebook, Twitter,LinkedIn, Foursquare, Tuenti, etc, blogs como Technorati, blogs deperidicos y televisiones, wikis como MediaWiki, Wikipedia,marcadores sociales como Del.icio.us, Stumbleupon agregadores decontenidos como Dig, Meneame En esta categora los datos secapturan, almacenan o distribuyen teniendo presente lascaractersticas siguientes: Datos de los flujos de clics, tuits,retuits o entradas en general (feeds) de Twitter, Tumblr, Entradas(posting) de Facebook y contenidos web diversos. Pgina 95 95. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 Big Data. Joyanes, MxicoDF: Alfaomega (2013) 2.Machine-to-Machine (M2M)/ Internet de las cosas: M2M se refiere alas tecnologas que permiten conectarse a otros diferentesdispositivos entre s. M2M utiliza dispositivos como sensores omedidores que capturan algn evento en particular (humedad,velocidad, temperatura, presin, variables meteorolgicas, variablesqumicas como la salinidad, etc.) los cuales transmiten a travs decableadas, inalmbricas y mviles a otras aplicaciones que traducenestos eventos en informacin significativa. La comunicacin M2M haoriginado el conocido Internet de las cosas o de los objetos. Entrelos dispositivos que se emplean para capturar datos de estacategora podemos considerar chips o etiquetas RFID, chips NFC,medidores (de temperaturas, de electricidad, presin). sensores,dispositivos GPS y ocasionan la generacin de datos mediante lalectura de los medidores, lecturas de los RFID y NFC, lectura delos sensores, seales GPS, seales de GIS, etc. Pgina 96 96. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 Big Data. Joyanes, MxicoDF: Alfaomega (2013) 3.BigData transaccionales: Grandes datos transaccionales procedentes deoperaciones normales de transacciones de todo tipo. Incluyeregistros de facturacin, en telecomunicaciones registros detalladosde las llamadas (CDR), etc. Estos datos transaccionales estndisponibles en formatos tanto semiestructurados como noestructurados. Los datos generados procedern de registros dellamada de centros de llamada, departamentos de facturacin,reclamaciones de las personas, presentacin de documentos Pgina 9797. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Big Data. Joyanes, MxicoDF: Alfaomega(2013) 4. Biometra: La biometra o reconocimiento biomtrico. Lainformacin biomtrica se refiere a la identificacin automtica de unapersona basada en sus caractersticas anatmicas o trazos personales.Los datos anatmicos se crean a partir de las caractersticas fsicasde una persona incluyendo huellas digitales, iris, escaneo de laretina, reconocimiento facial, gentica, DNA, reconocimiento de voz,incluso olor corporal etc. Los datos de comportamiento incluyenanlisis de pulsaciones y escritura a mano. Los avances tecnolgicoshan incrementado considerablemente los datos biomtricos disponiblesPgina 98 98. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Big Data. Joyanes, MxicoDF:Alfaomega (2013) . En el rea de seguridad e inteligencia, los datosbiomtricos han sido informacin importante para las agencias deinvestigacin. En el rea de negocios y de comercio electrnico losdatos biomtricos se pueden combinar con datos procedentes de mediossociales lo que hace aumentar el volumen de datos contenidos en losdatos biomtricos. Los datos generados por la biometra se puedenagrupar en dos grandes categoras: Gentica y Reconocimiento facial.An Overview of Biometric Recpgnition.http://biometrics.cse.nsu.edu/info.html Pgina 99 99. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Big Data. Joyanes, MxicoDF: Alfaomega (2013) 5. Datosgenerados por las personas: Las personas generan enormes y diversascantidades de datos como la informacin que guarda un centro dellamadas telefnicas (call center) al establecer una llamadatelefnica, notas de voz, correos electrnicos, documentoselectrnicos, estudios y registros mdicos electrnicos, recetasmdicas, documentos papel, faxes, etc. El problema que acompaa a losdocumentos generados por las personas es que pueden contenerinformacin sensible de las personas que necesita, normalmente seroculta, enmascarada o cifrada de alguna forma para conservar laprivacidad de dichas personas. Estos datos al ser sensiblesnecesitan ser protegidos por las leyes nacionales o supranacionales(como es el caso de la Unin Europea o Mercosur) relativas aproteccin de datos y privacidad. Pgina 100 100. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Estructura de Big Data: tipos de datos Estructurados Noestructurados No estructurados (texto, vdeo, sonido, imgenes)Semiestructurados ( a veces se conocen como multiestructurados.Tienen un formato y flujo lgico de modo que pueden ser entendidospero el formato no es amistoso al usuario(HTML. XML, datos de weblogs) Normalmente, se suelen asociar los datos estructurados a lostradicionales y los datos no estructurados a los Big Data Objetivoprincipal de los sistemas de gestin de datos: Integracin de datosestructurados y no estructurados Pgina 101 101. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Oportunidades en Big Data Oportunidad profesional: En 2015,Gartner predice que 4,4 millones de empleos sern creados en torno abig data. (Gartner, 2013) Fuente:http://www.gartner.com/technology/topics/big-data.jsp Pgina 102102. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Oportunidades en Big Datahttp://elpais.com/elpais/2013/12/02/vinetas/13 86011115_645213.htmlEl Roto Vieta de El Roto 3 de diciembre de 2013 Pgina 103 103. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 Oportunidades en Big Data Pgina 104 104. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 RETOS Y OPORTUNIDADES IDC entiende Big data como un nuevovalor econmico basado en la toma de decisiones a partir del anlisisde grandes volmenes de datos procedentes de una amplia variedad defuentes, desde las aplicaciones empresariales convencionales a losdatos mviles, los medios sociales y el Internet de las Cosas, uncampo an incipiente donde en 2020 convivirn 212.000 millones dedispositivos conectados. Big data tambin ofrece riesgos.Fundamentalmente en privacidad y seguridad de los datos. Normaslegales de la Unin Europea, sus pases miembros, Amrica Pgina 105105. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 RETOS Y OPORTUNIDADES Sus ventajas parael negocio en reas como la gestin de las relaciones con el cliente,el desarrollo de nuevos productos, la deteccin del fraude o laprediccin del comportamiento de los consumidores permiten a lascompaas obtener resultados financieros un 20% por encima de suscompetidores, segn estimaciones de Gartner. Se entiende as que, unavez superada la fase de evaluacin y prueba en la que todava nosencontramos, la adopcin creciente de Big data dispare un mercadoque, de acuerdo con la firma de investigacin, cerrar 2013 con unvolumen de negocio asociado de 34.000 millones de dlares, 6.000millones ms que en 2012. Pgina 106 106. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014 RETOS YOPORTUNIDADES Las promesas de Big data alcanzan a prcticamentetodos los sectores de actividad, como demuestran las primerasexperiencias de xito emprendidas por organizaciones de finanzas,sanidad, turismo, retail o telecomunicaciones. Y su adopcin se irextendiendo a medida que los responsables TI vayan asumiendo elvalor que aportan nuevos frameworks de software como Hadoop y losnuevos sistemas avanzados de almacenamiento, bases de datos,analtica y lenguajes de programacin especialmente orientados a losgrandes datos. Pgina 107 107. 108108 UNIVERSIDAD PONTIFICIA DESALAMANCA Prof. Luis Joyanes Aguilar BIG DATA Y ANALTICA DE DATOS.Nuevas bases de datos NoSQL, In-Memory 108. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014ESTADO ACTUAL DE BIG DATA 1. Almacenamiento: hacen falta nuevastecnologas de almacenamiento 2. Bases de datos: las BD relacionalesno pueden con todo 3. Procesamiento: se requieren nuevos modelos deprogramacin 4. Obtencin de valor: los datos no se pueden comercrudos (en bruto) La informacin no es conocimiento accionable Pgina109 109. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 1. Almacenamiento Hacen falta nuevastecnologas de almacenamiento RAM vs HHD Memorias hardware. HHD 100ms barato que RAM pero 1000 veces ms lento Solucin actual: Solid-state drive (SSD) adems no voltil Tecnologas in-memory (SAP HANA)Investigacin: Storage Class Memory (SCM) Pgina 110 110. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 2. Base de datos Las BD relacionales no pueden contodo volumen de la informacin GBs PBs Exabytes . Cada da mspopulares Limitadas para almacenamiento de big data (ACID, SQL, )ACID: Atomicity, Consistency, Isolation & Durability Pgina 111111. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 3. Procesamiento HADOOP Se requierennuevos modelos de programacin para manejarse con estos datosSolucin: Para conseguir procesar grandes conjuntos de datos:MapReduce de Google Pero fue el desarrollo de Hadoop (Yahoo -Apache) por parte de Yahoo, el que ha propiciado un ecosistema deherramientas open source. Pgina 112 112. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014 4.Obtencin de valor Los datos no se pueden comer crudos (en bruto) lainformacin no es conocimiento accionable Para ello tenemos tcnicasde Data Mining Asociacin Clasificacin Clustering Prediccin … Lamayora de algoritmos se ejecutan bien en miles de registros, peroson hoy por hoy impracticables en miles de millones. Pgina 113 113.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Bases de datos In-Memory (en-memoria)SAP Hana Oracle Times Ten In-Memory Database IBM solidDBRelacionales Sistemas RDBMS (SGBDR). Oracle, IBM, MicrosoftTransferencia de datos entre Hadoop y bases de datos relacionalesLegacy (jerrquicas, en red primeras relacionales) NoSQL (Cassandra,Hive, mongoDB, CouchDB, Hbase) Pgina 114 114. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014BASES DE DATOS RELACIONALES (Revisin) La mayora de las bases dedatos cumplen con las propiedades ACID (atomicity, consistency,isolation, durability). Estas propiedades garantizan uncomportamiento de las base de datos relacionales y el mejor de losargumentos para su utilizacin. Pgina 115 115. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014BASES DE DATOS ANALTICAS Analticas: para permitir a mltiplesusuarios contestar rpidamente preguntas de negocio que requieran degrandes volmenes de informacin. Bases de datos de procesamientoparalelo masivo (MPP) Bases de datos en memoria Almacenamiento encolumnas Histricamente estas bases de datos tan especializadastenan un costo muy elevado, pero hoy el mercado nos ofrece variasalternativas que se adaptan al presupuesto de cada organizacin.Pgina 116 116. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Bases de datos analticas Bases dedatos diseadas especficamente para ser utilizadas como motores deData Warehouse. Estas bases de datos logran procesar grandesvolmenes de informacin a velocidades asombrosas, gracias a laaplicacin de diferentes conceptos y tecnologas: Almacenamiento encolumnas en lugar de filas (registros) Massively parallelprocessing (MPP) In-Memory Analytics Pgina 117 117. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 In-Memory Computing (IBM) In-memory computing is a technologythat allows the processing of massive quantities of data in mainmemory to provide immediate results from analysis and transaction.The data to be processed is ideally real-time data (that is, datathat is available for processing or analysis immediately after itis created). To achieve the desired performance, in-memorycomputing follows these basic concepts: Pgina 118 118. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Row-based and column-based storage models: IBM Pgina 119 119.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Almacenamiento por filas vs columnasPgina 120 120. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Almacenamiento en columnas, nofilas: FUENTE: datalytics.com Pgina 121 121. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014Computacin en memoria In-Memory La computacin en memoria es unatecnologa que permite el procesamiento de cantidades masivas dedatos en memoria principal para proporcionar resultados inmediatosdel anlisis y de las transacciones. Los datos a procesar,idealmente son datos en tiempo real (es decir, datos que estndisponibles para su procesamiento o anlisis inmediatamente despusque se han creado). Existen un amplio conjunto de tecnologas queemplean bases de datos en memoria. SAP HANA es una de las msacreditadas y populares (Oracle, IBM,) Pgina 122 122. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 Pgina 123 123. Luis Joyanes Aguilar Big Data . La revolucin delos datos Salamanca, 3 de abril 2014 BASES DE DATOS NoSQL Las basesde datos no-relacionales son comnmente llamadas bases de datosNoSQL ya que la gran mayora de ellas comparte el hecho de noutilizar el lenguaje SQL para realizar las consultas Es unadefinicin controvertida, aunque la definicin ms aceptada es Notonly SQL. Una de las caractersticas de las bases de datos norelacionales es que la mayora de ellas no utilizan esquemas dedatos rgidos como las bases de datos relacionales. Esto hace queestas bases de datos tambin se les llame Schema-less o Schema-free(almacenamiento des-estructurado). Pgina 124 124. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 BASES DE DATOS NoSQL Distintos tipos de bases de datos paradistintos tipos de aplicaciones: documentales, grafos, clave/valor,orientadas a objetos, tabulares, NoSQL: para capturar de manerasegura y escalable, grandes volmenes de informacin continuagenerados por eventos. Caractersticas SQL: Sin (o muy poco) soportepara SQL. Datos accedidos a travs de programas Java, no consultasACID: Sin integridad referencial, poco soporte transaccionalDefinicin de estructuras de datos flexibles (sobre la marcha) Pgina125 125. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 BASES DE DATOS NoSQL BeneficiosFacilidad de escalamiento horizontal (clusters baratos)Almacenamiento de grandes volmenes (no generan cuellos de botella)Excelentes para lecturas masivas de registros tipo clave/valor.Desafos Son de distintos vendedores y no estn integradas Estostipos de DBs se utilizan por lo general en conjunto Se utilizan yadministran de distinta manera; utilizan distintos lenguajes: noSQL! Dependencia de sistemas: vuelta a las races? Pgina 126 126.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Taxonoma de Bases de datos NoSQL Losprincipales tipos de BBDD de acuerdo con su implementacin son lossiguientes: Almacenes de Clave-Valor Almacenes de Familia deColumnas (columnares) Almacenes de documentos (orientadas adocumentos) Almacenes de Grafos (orientadas a grafos) – Cachs dememoria Pgina 127 127. Luis Joyanes Aguilar Big Data . La revolucinde los datos Salamanca, 3 de abril 2014 SOLUCIONES DE BASES DEDATOS NoSQL Pgina 128 128. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 MongoDB MongoDBes un sistema de base de datos NoSQL orientado a documentos,desarrollado bajo el concepto de cdigo abierto. MongoDB forma partede los sistemas de base de datos NoSQL, almacena los datos no entablas, sino en documentos tipo JSON con un esquema dinmico(formato BSON), haciendo que la integracin de los datos sea ms fcily rpida. Pgina 129 129. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 Neo4j Neo4j esuna base de datos de grficos, de cdigo abierto soportada por NeoTechnology. Neo4j almacena los datos en nodos conectados porrelaciones dirigidas y tipificadas, con las propiedades de ambos,tambin conocidas como Grfico de Propiedad (Property Graph). Pgina130 130. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Apache CouchDB Base de datos de cdigoabierto, NoSQL que emplea JSON para documentos, JavaScript comolenguaje de consulta para MapReduce y HTTP como API. Se distribuyebajo una licencia Apache 2.0 y es utilizada por mltiplesorganizaciones, como la BBC que usa CouchDB para su plataformadinmica de contenidos, mientras que Credit Suisse’s lo utiliza paraalmacenar los detalles de configuracin de su framework Python demercado de datos49. Pgina 131 131. Luis Joyanes Aguilar Big Data .La revolucin de los datos Salamanca, 3 de abril 2014 HyPertableSistema Gestor de Bases de Datos de cdigo abierto desarrollado enC++ por la compaa Zvents, basado en el modelo Big Table de Google.Es un sistema de almacenamiento de datos distribuido, escalable, norelacional, no soporta transacciones y de alto desempeo, ideal paraaplicaciones que necesitan manejar datos que evolucionan rpidamentey diseado para soportar una gran demanda de datos en tiempo real.Entre sus clientes51 se encuentran empresas como Ebay, Tiscali oReddiff.com Pgina 132 132. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 Hive Sistema datawarehouse para Hadoop que facilita resmenes de datos, consultas ad-hoc, y el anlisis de grandes conjuntos de datos almacenados en lossistemas de archivos compatibles con Hadoop. Hive proporciona unmecanismo para proyectar la estructura sobre estos datos yconsultar los datos utilizando un lenguaje SQL, llamado HiveQL.Pgina 133 133. Luis Joyanes Aguilar Big Data . La revolucin de losdatos Salamanca, 3 de abril 2014 Redis Redis es un motor de base dedatos en memoria, basado en el almacenamiento en tablas de hashesclave, valor) pero que opcionalmente puede ser usada como una basede datos durable o persistente. Est escrito en ANSI C patrocinadopor VMware.1 2 y esta liberado bajo licencia BSD. Pgina 134 134.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Quin usa Apache Cassandra? Algunosusuarios importantes de Cassandra son: Digg Facebook TwitterRackspace SimpleGEO Pgina 135 135. Luis Joyanes Aguilar Big Data .La revolucin de los datos Salamanca, 3 de abril 2014 Lenguaje R Res el lenguaje de programacin lder en el mundo para el anlisisestadstico y la realizacin de grficos. R, es un lenguaje para laminera de datos y un entorno de programacin. Se trata de unproyecto GNU, que es similar al lenguaje y al entorno deprogramacin S desarrollado en Bell Laboratories (antes AT&T,ahora Lucent Technologies). Pgina 136 136. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014Lenguaje R R ofrece una gran variedad de tcnicas estadsticas(modelos lineales y no lineales, tests estadsticos, anlisis deseries temporales, clasificacin, clustering, …) y tcnicasgrficas, y es altamente extensible. R est disponible como softwarelibre bajo licencia de GNU Free Software Foundation. Se compila yejecuta en una variedad de plataformas UNIX y sistemas similares(incluyendo FreeBSD y Linux), Windows y MacOS. Pgina 137 137. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 Integracin con Big Data. FUENTE: datalytics.com Pgina138 138. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Integracin con Big Data. FUENTE:datalytics.com Pgina 139 139. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 Arquitectura dereferencia de Big Data de Sunil Soares Pgina 140 140. Luis JoyanesAguilar Big Data . La revolucin de los datos Salamanca, 3 de abril2014 ANALTICA PREDICTIVA. La explotacin de los Big Data Eric SIEGEL(2013). Analtica predictiva. Predecir el futuro utilizando BigData. Madrid: Anaya La prediccin es poder. Las grandes empresas segarantizan una posicin altamente competitiva prediciendo el destinofuturo y el valor de activos concretos. ANALTICA PREDICTIVA.Tecnologa que aprende de la experiencia (los datos) para predecirel futuro comportamiento de los individuos para poder tomar mejoresdecisiones. Pgina 141 141. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 ALGUNOS CASOS DEAP VS BIG DATA Los estudios de Hollywood predicen el xito quetendra un guin en caso de llevarse a la gran pantalla. Netflix elgigante del video, cine y TV de EEUU- premi con 1 milln de dlaresal equipo de cientficos que ms mejor la capacidad del sistema derecomendaciones para predecir las pelculas que nos podrn gustar. Lacompaa elctrica australiana Energex predice la demanda deelectricidad para poder decidir dnde implantar su red elctrica. Laprediccin determina los cupones descuento que nos dan en lastiendas. EN ESPAA, LAS NUEVAS TARIFAS ELCTRICAS. Pgina 142 142.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 CIENCIA DE DATOS (DATA SCIENCE) Pgina143 143. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 CIENCIA DE DATOS Ciencia de datos es laextraccin de informacin til de grandes volmenes de datos. Laciencia de datos necesita acceder a los datos, a la ingeniera dedatos y a las tecnologas de procesamiento de datos. La Ciencia deDatos es una especializacin creciente que toca muchos de lossiguientes temas: Computacin en nube, big data, matemticas,estadstica, mtodos de optimizacin, teora de negocios y teora deciencias de la computacin. Pgina 144 144. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014CIENTFICO DE DATOS EL CIENTFICO DE DATOS (Data Scientist). Unprofesional con formacin de Informtica, Estadstica, Analtica,Ciencias Fsicas y Biolgicas que analizar los Big Data para la tomade decisiones eficientes y obtener rentabilidad en los negocios.Lenguajes que deber conocer: Python, R, SQL, NoSQL Pgina 145 145.Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 DISCIPLINAS CLAVE DE DATA SCIENCE Pgina146 146. 147147 OPORTUNIDADES Y NUEVAS PROFESIONES TECNOLGICAS Y DECOMUNICACIN DEMANDADAS POR LAS EMPRESAS Prof. Luis Joyanes Aguilar147. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 NECESIDAD DE FORMACIN PROFESIONALAVANZADA EN CLOUD COMPUTING-BIG DATA El mercado tiene carencia deespecialistas en Cloud Computing y sobre todo en Big Data. Haymiles de puestos que se debern cubrir en los prximos cinco aos segnestadsticas fiables de IDC, Gartner, Forrester, McKinsey UNA DE LASPROFESIONES MS DEMANDADAS SER DE ESPECIALISTAS EN CIENCIAS DE DATOS(Cientficos de datos) y adems ANALISTAS DE DATOS (formados enAnalytics y tecnologas Big Data Hadoop, InMemory) Se necesitancertificaciones profesionales en CLOUD COMPUTING Y BIG DATATECNOLGICAS Y DE NEGOCIOS Pgina 148 148. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014 NUEVASCARRERAS UNIVERSITARIAS: maestrias,ingeniera, diplomados CommunityManager, Social Media Manager y Analista Web y SEO Ingeniero deCloud Computing (En Espaa hay una universidad privada que lo lanzael prximo curso) Ingeniero de negocios digitales (Digital BusinessIntelligence) Ingeniero de datos (Infraestructuras, Bases de datosNoSQL, Hadoop, Tecnologas in-memory) Analtica de datos (Analytics)y Analtica de Big Data Pgina 149 149. Luis Joyanes Aguilar Big Data. La revolucin de los datos Salamanca, 3 de abril 2014 NUEVASCARRERAS Y PROFESIONES Community Manager , Social Media Manager,SEO, Analistas Web cada da son ms demandadas y. Sin embargo laprofesin del futuro ser: EL CIENTFICO DE DATOS (Data Scientist). Unprofesional con formacin de Sistemas, Estadstica, Analtica,Ciencias Fsicas y Biolgicas que analizar los Big Data para la tomade decisiones eficientes y obtener rentabilidad en los negocios.HBR (Harvard Business Review lo declar la profesin MS SEXY delsiglo XXI) Pgina 150 150. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 LASTITULACIONES-PROFESIONES MS DEMANDADAS en TIC EN PRXIMOS AOS (HBR,Harvard Business Review) nmero de octubre de 2012 (Los datos elnuevo petrleo/oro del siglo XXI): Ciencia de los datos: DataScience (Maestra/Doctorado) En Estados Unidos, Mxico y Europa yaexisten iniciativas. (EN MXICO, el ITAM en Espaa algunasuniversidades y escuelas de negocio) LA PROFESIN MS SEXY DEL SIGLOXXI : EL CIENTFICO DE DATOS (Data Scientist) Pgina 151 151. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 Pgina 152 MUCHAS GRACIAS Preguntas?Twitter:@luisjoyanes www.facebook.com/joyanesluiswww.slideshare.net/joyanes CORREO-e: [email protected] 152. 153Prof. Luis Joyanes Aguilar BIBLIOGRAFA 153. Luis Joyanes AguilarBig Data . La revolucin de los datos Salamanca, 3 de abril 2014BIBLIOGRAFA BSICA JOYANES, Luis (2012). Computacin en la nube.Estrategias de cloud computing para las empresas. Mxico DF:Alfaomega; Barcelona: Marcombo JOYANES, Luis (2013). BIG DATA. Elanlisis de los grandes volmenes de datos. Mxico DF: Alfaomega;Barcelona: Marcombo Coleccin de libros NTiCS (Negocios, Tecnologa,Innovacin, Conocimiento y Sociedad) dirigida por el profesor LuisJoyanes y publicada en la editorial Alfaomega de Mxico DF yMarcombo en Espaa Pgina 154 154. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 BIBLIOGRAFA BSICATema 6.Big Data. Inteligencia de negocios.http://www.slideshare.net/joyanes/ioi-bi-tema6- bigdata ConferenciaBig Data y Minera de datos, Congreso Qbit, Instituto Tecnolgico deMonterrey, Quertaro (Mxico), noviembre 2013http://www.slideshare.net/luismackoy/ig-data-y-minera-de-datos-tec-de-monterrey-quertaro Pgina 155 155. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 BIBLIOGRAFA Innovation Edge , revista BBVA, junio2013 https://www.centrodeinnovacionbbva.com/innovation-edge/21-big-data SOARES, Sunil (2013). Big Data Governance. Anemerging Imperative. Boise, USA: MC Press. DAVENPORT, Thomas H. yDYCH, Jill. Big Data in Big Companies. SAS. International Institutefor Analytics. Datalytics. 18D Pentaho Big Data Architecture,www.datalytics.com (Pentaho) Gereon Vey, Tomas Krojzl. Ilya Krutov(2012) . In- memory Computing with SAP HANA on IBM eX5 Systems.ibm.com/redbooks. Draft Document for Review December 7, 2012 1:59pm SG24-8086-00 Pgina 156 156. Luis Joyanes Aguilar Big Data . Larevolucin de los datos Salamanca, 3 de abril 2014 BIBLIOGRAFAZIKOPOULOS, Paul C. et al (2012). Understanding Big Data. Analyticsfor Enterprise Class Hadoop and Streaming Data. New York:McGraw-Hill. www-01.ibm.com/software/data/bigdata/ ZIKOPOULOS, PaulC. et al (2013). Harness the Power of Big Data. The IBM Big DataPlatform. New York: McGraw-Hill. Descargable libre en IBM. Pgina157 157. Luis Joyanes Aguilar Big Data . La revolucin de los datosSalamanca, 3 de abril 2014 Pgina 158 158. Luis Joyanes Aguilar BigData . La revolucin de los datos Salamanca, 3 de abril 2014REFERENCIAS McKinsey Global Institute . Big data: The next frontierfor innovation, competition, and productivity. June 2011 James G.Kobielus. The Forrester Wave: Enterprise Hadoop Solutions, Q1 2012,February 2, 2012. www-01.ibm.com/software/data/bigdata/ Diego Lz.de Ipia Glz. de Artaza. Bases de Datos No Relacionales (NoSQL).Facultad de Ingeniera, Universidad de Deusto. www.morelab.deusto.eshttp://paginaspersonales.deusto.es/dipina Pgina 159 159. LuisJoyanes Aguilar Big Data . La revolucin de los datos Salamanca, 3de abril 2014 REFERENCIAS Philip Russom. BIG DATA ANALYTICS. FOURTHQUARTER 2011. TDWI.org IBM.http://www-01.ibm.com/software/data/bigdata/ Pgina 160

Publicaciones Similares