Foro de debate módulo 7

Un pilar fundamental del Big Data son las bases de datos NoSQL (Not Only SQL). A diferencia de las relacionales clásicas, no nos obligan a usar tablas rígidas, permitiendo estructuras mucho más flexibles como documentos (JSON), pares clave-valor, columnas anchas o grafos.

Lo que las hace especiales para el Big Data es su capacidad de escalabilidad horizontal. Mientras que una base de datos tradicional sufre al crecer, las NoSQL están diseñadas para repartirse en cientos de servidores. Para lograr esta velocidad y alta disponibilidad, muchas adoptan el modelo BASE (Basically Available, Soft state, Eventually consistent), priorizando que el sistema siempre responda aunque los datos tarden unos milisegundos en sincronizarse en todo el clúster.

Hay ejemplos muy potentes según la necesidad:

• MongoDB: Líder en almacenamiento de documentos.

• Cassandra: Creada por Facebook, ideal para escritura masiva de datos (muy usada en Netflix).

• HBase: La opción nativa si trabajas dentro del ecosistema Hadoop.

• DynamoDB: La solución gestionada y ultra-rápida de Amazon (AWS).

Son herramientas esenciales cuando el volumen de datos cambia constantemente y necesitamos una respuesta inmediata que el SQL tradicional no puede procesar a esa escala.

A fundamental pillar of Big Data is NoSQL (Not Only SQL) databases. Unlike classic relational databases, they don't force us into rigid tables, allowing for much more flexible structures like documents (JSON), key-value pairs, wide columns, or graphs.

What makes them special for Big Data is their horizontal scalability. While a traditional database struggles as it grows, NoSQL databases are designed to be spread across hundreds of servers. To achieve this speed and high availability, many adopt the BASE model (Basically Available, Soft state, Eventually consistent), prioritizing system uptime even if data takes a few milliseconds to synchronize across the cluster.

There are powerful examples depending on the needs:

• MongoDB: The leader in document storage.

• Cassandra: Created by Facebook, ideal for massive data writing (widely used by Netflix).

• HBase: The native choice if you are working within the Hadoop ecosystem.

• DynamoDB: Amazon's (AWS) managed, ultra-fast solution.

These are essential tools when data volume changes constantly and we need an immediate response that traditional SQL simply cannot handle at that scale.

Para entender el software moderno de Big Data, hay que distinguir dos formas de trabajar:

1. Procesamiento por lotes (Batch): Es lo que hemos visto principalmente con Spark. Se toma un volumen de datos ya almacenado (un archivo gigante, una base de datos) y se procesa de golpe. Es muy eficiente, pero no es inmediato.

2. Procesamiento en tiempo real (Streaming): Aquí los datos se procesan en cuanto llegan. Pensad en los datos de un sensor cardíaco o en las transacciones de una tarjeta de crédito; no podemos esperar a mañana para analizarlos, necesitamos respuestas ahora.

Apache Spark permite trabajar de ambas formas gracias a un módulo llamado Spark Structured Streaming. Sin embargo, trata el streaming como si fueran "muchos lotes pequeñitos" (micro-batches), procesando ráfagas cada pocos milisegundos.

Aquí es donde aparece Apache Flink, el gran rival de Spark en este campo. A diferencia de Spark, Flink fue diseñado desde cero para el streaming puro: procesa cada evento uno a uno, en el mismo instante en que ocurre.

• Spark es el rey si tu trabajo es mayoritariamente de análisis histórico (Batch) y necesitas algo de tiempo real.

• Flink es la elección si necesitas la latencia más baja posible (milisegundos reales) y una gestión perfecta de datos que llegan desordenados.

To understand modern Big Data software, we must distinguish between two ways of working:

1. Batch Processing: This is what we have mainly seen with Spark. You take a volume of already stored data (a giant file, a database) and process it all at once. It’s very efficient, but not immediate.

2. Real-time Processing (Streaming): Here, data is processed as soon as it arrives. Think of heart rate sensor data or credit card transactions; we can't wait until tomorrow to analyze them; we need answers now.

Apache Spark allows working in both ways thanks to a module called Spark Structured Streaming. However, it treats streaming as "many tiny batches" (micro-batches), processing bursts every few milliseconds.

This is where Apache Flink comes in, Spark's great rival in this field. Unlike Spark, Flink was designed from the ground up for pure streaming: it processes each event one by one, at the very instant it occurs.

• Spark is king if your work is mostly historical analysis (Batch) and you need some real-time capability.

• Flink is the choice if you need the lowest possible latency (true milliseconds) and perfect handling of data that arrives out of order.