Big Data

Surgió en los años 60, pero es en la actualidad cuando está cobrando verdadera importancia.

Pueden ser datos estructurados o no estructurados, pero el hecho es que todos los días los negocios se ven inundados con un gran volumen de ellos y, si no tienen una buena base de conocimiento sobre el Big Data, no sabrán qué hacer como organización con toda esa información.

Por el contrario, si saben utilizarlos podrán analizarlos para obtener ideas que los lleven a mejorar la toma de decisiones y los movimientos estratégicos de negocio.

El termino Big Data (macrodatos, datos masivos, inteligencia de datos, datos a gran escala) hace referencia al conjunto de datos o combinaciones de esos conjuntos de datos que, debido a su volumen, complejidad y la velocidad de crecimiento, resulta difícil su captura, manejo, procesamiento y/o análisis usando tecnologías y herramientas convencionales como las bases de datos, que se basan en relaciones y estadísticas clásicas o paquetes de visualización.

El Big Data permite realizar análisis del comportamiento del usuario mediante la extracción de información de valor de los datos almacenados para formular predicciones a través de la observación de patrones.

De acuerdo con la mayoría de los analistas y profesionales del área, para que un conjunto de datos sea considerado Big Data, debe contar con un tamaño que va desde los 30 a 50 Terabytes a varios Petabytes, generalmente, puesto que realmente esto no está firmemente definido aún.

Su origen está en la naturaleza no estructurada y compleja de gran parte de los datos que generan las tecnologías modernas, como por ejemplo la identificación por radiofrecuencia (RFID), las búsquedas en internet, las redes sociales, los teléfonos inteligentes, registros de centros de llamada, etc. Nace para dar solución tecnológica a los aspectos asociados con el gran volumen de datos, como almacenarlos, analizarlos, procesarlos y la generación de conocimientos de valor.

En muchos casos, para que el uso de Big Data sea más eficaz, la combinan con datos estructurados, normalmente provenientes de una base de datos relacional de una aplicación comercial convencional como un ERP (Enterprise Resource Planning) o un CRM (Customer Relationship Management), pues al final, lo que realmente resulta valioso del Big Data es cómo manejan la información para lograr tomar mejores decisiones que conduzcan a acciones estratégicas de negocio.

Existen tres tipos de Big Data: los estructurados, semiestructurados y los no estructurados. Cada uno de estos tipos ofrece diversas características que pueden ser útiles dependiendo de los distintos proyectos, te los describimos a continuación:

1. Estructurados: corresponden a información con formato fijo, comúnmente de origen numérico, que ya se encuentra ordenada en bases de datos y hojas de cálculo que se almacenan en bases de datos SQL, lagunas de datos y almacenes de datos, gestionados por maquinas, no por humanos. Cabe resaltar que solo un 20% de la información es estructurada y esto puede incurrir en errores si se trata de un proyecto de calidad de datos.
2. Semiestructurados: contienen datos tanto estructurados como no estructurados. Aquí se incluyen los registros de servidores web o datos de sensores que se hayan configurado. Estos datos, a pesar de no encontrarse clasificados en un repositorio específico, son importantes porque contienen información valiosa que dividen elementos particulares dentro de los datos. Algunos ejemplos son los softwares, las hojas de cálculo y los informes.
3. No estructurados: información desordenada, no tiene un formato predeterminado, puede ser casi cualquier cosa, como por ejemplo los datos recopilados de fuentes como redes sociales. Pueden convertirse en archivos de texto almacenados en Hadoop como clústeres o sistemas NoSQL. Ejemplos de estos datos son los documentos, videos y audios.

Los datos que nutren el Big Data siempre incluyen diversas fuentes y la mayoría de las veces también distintos tipos de datos que fueron los que se mencionaron previamente. Esto dificulta encontrar la forma de integrar todas las herramientas necesarias para trabajar con distintos tipos de datos. Así que no siempre es fácil saber cómo integrar todas las herramientas que necesitas para trabajar con todos estos datos.

Algunas de las fuentes de datos son internet y los dispositivos móviles, el Internet de las Cosas (IoT), los datos sectoriales recopilados por las empresas especializadas y los experimentales.

1. Datos de internet: las empresas los obtienen a través de las cookies de los navegadores, para así averiguar el comportamiento de sus visitantes y poder mostrarles anuncios que vayan de acuerdo a sus gustos, conociendo también las horas de mayor consumo, de qué manera acceden a una determinada página, etc.
2. Datos de redes sociales: estas permiten recopilar gran cantidad de información, como cuáles son los temas que le interesan, sus marcas favoritas, cómo es su interacción, entre otras cosas. Esto permite conocer mucho mejor el perfil de los usuarios para poder llevar a cabo mejores estrategias de marketing.
3. Datos de empresas: corresponden a la información que una compañía es capaz de generar y manejar por sí sola, como por ejemplo las tarjetas de fidelización que ofrecen servicios y ofertas de forma exclusiva para sus clientes, o las tarjetas de crédito. Ambas permiten conocer los patrones de consumo para poder adelantarse a las necesidades de los usuarios para poder ofrecer servicios específicos.

Lo primero que debes saber es que con el Big Data, a medida que más sabes, mejor lo entiendes y con mayor facilidad puedes tomar una decisión o dar con una solución.

Por lo general, el proceso está en su totalidad automatizado y cuentan con herramientas lo suficientemente avanzadas para generar millones de simulaciones de tal forma que se logre encontrar el mejor resultado posible. Sin embargo, para lograr todo esto debes conocer bien cómo funciona el Big Data y establecer una configuración adecuada.

Para manipular y analizar tantos datos es necesario contar con una infraestructura estable y que esté bien estructurada, que cuente con un sistema bien establecido con la capacidad para procesar rápidamente grandes volúmenes y diferentes tipos de datos.

Además de la capacidad del sistema, también se deben tener en cuenta todos los procesos y, si se trata de grandes empresas, se debe tener en consideración que pueden ser necesarios cientos o miles de servidores. A esto hay que añadir las herramientas que permitirán hacer el procesamiento de datos. Esto se traduce en costes altos, así que es fundamental prever el presupuesto que necesitas, basándote en las tres acciones que te detallamos a continuación, necesarias para crear el mejor sistema:

1. Integración: resulta todo un reto que, al recibir el gran volumen de datos se logren integrar, procesarlos y formatearlos adecuadamente para tu empresa y de una forma que sea entendible para tus clientes. Por ello siempre hace falta descubrir nuevas estrategias y tecnologías para gestionarlos todos.
2. Gestión: está claro que además de una herramienta que integre los datos, vas a necesitar un lugar donde almacenarlos. La solución está en la nube, en tus instalaciones o puede ser una solución híbrida: puedes elegir de qué manera almacenar los datos de forma tal que los tengas a disposición en tiempo real y cuando los necesites. Lo importante es que sea compatible con la infraestructura informática de tu compañía.
3. Análisis: después de recibir, integrar y almacenar los datos, ahora debes analizarlos para que puedas explorarlos y usarlos para tomar decisiones significativas, o hacer cualquier otra cosa que quieras o necesites con ellos, que sea de utilidad. La inversión para instalar esa infraestructura ha sido elevada, por tanto, ahora debes aprovechar su potencial para, por ejemplo, conocer qué características son las que suelen buscar tus clientes.

Al hablar de Big Data siempre se habla de que la gran cantidad de datos pueden describirse por las siguientes características que, normalmente, son denominadas las grandes V del Big Data. Inicialmente eran tres, pero en la actualidad son siete, y constantemente se suman otras dependiendo de para qué necesites el Big Data:

1. Volumen: se refiere a la gran cantidad de datos que se originan y almacenan para procesarlos y transformarlos en acciones, sin importar su valor.
2. Velocidad: rapidez con la cual los datos son creados, recibidos, almacenados y procesados en tiempo real. Si quieres contar con mayor velocidad, lo mejor es que los datos se transfieran directamente a la memoria y no se escriban en un disco. De esta forma podrás operar más rápido y proporcionarás los datos casi en tiempo real. Sin embargo, para que esto sea posible debes contar con una herramienta que evalué los datos en tiempo real.
3. Variedad: corresponde a la forma, tipos y fuentes en las que se registran los datos. Pueden ser correos electrónicos, documentos de texto, audios, imágenes o videos, que se alojan en algún dispositivo móvil, perfiles de redes sociales u otros.
4. Veracidad: grado de fiabilidad y calidad de los datos o información recibida. Es importante porque si usas datos de mala calidad sin comprobarlos, te puede ocasionar problemas, ya que puede dar lugar a análisis imprecisos y, por tanto, causar la toma de decisiones incorrectas.
5. Viabilidad: se refiere a la capacidad de las empresas para darle un uso eficaz al gran volumen de datos que se están manejando.
6. Visualización: forma en la que los datos se presentan para poder encontrar claves ocultas y patrones cuando se trata de investigaciones.
7. Valor: corresponde con aquellos datos que puedan ser transformados en información, a su vez en conocimiento y posteriormente en una acción o decisión. Para evitar utilizar datos que no tienen valor, debes establecer una forma de limpiar los datos y así verificar que sí son relevantes para conseguir el propósito que tienes en mente.