Curso de Kafka

Durante este curso podrás aprender a utilizar Apache Kafka, una aplicación de gran relevancia a la hora de trabajar con Big Data, la cual está escrita en Scala.

Esta aplicación fue desarrollada por Linkedin, que después la publicó como software libre. La importancia de Kafka en la actualidad es tal que empresas tan importantes como Netflix, PayPal, Uber o Spotify, entre otras, la utilizan.

El curso de Kafka lo desarrollaremos en siete bloques diferenciados, que podrás ir realizando a medida que vayas acabando los mismos, siempre a tu ritmo y durante los ratos que puedas dedicar a la formación.

El primer bloque lo dedica el tutor del curso en desarrollar el tema de la arquitectura de Kafka, aprendiendo sobre la arquitectura básica de Zookeper y Kafka, además de ver cómo descargar e instalar ambos y preparar el entorno de trabajo.

Después entrará a explicar términos tan importantes como particiones y réplicas, productor y consumidor de consola. También podrás aprender sobre la funcionalidad Log Compaction, su funcionamiento y su importancia.

Una vez hayas acabado este primer bloque, podrás continuar entrando en aprender a configurar Kafka, viendo los diferentes parámetros de configuración que se pueden aplicar Kafka Broker, aprendiendo a crear un topic configurando particiones y réplicas, además de conocer las principales propiedades y configuraciones para el productor y el consumidor.

La siguiente lección se enfoca en las operaciones con Kafka, detallando las principales operaciones comunes, como graceful shutdown, balancing leadership, mirroring data, entre otras. Además se detallarán temas y conceptos como el crecimiento del clúster de Kafka, dónde aprenderás a ampliar el mismo y conseguir un mayor rendimiento, y también conocerás más a fondo la herramienta LinkedIn Kafka Tool, con la que gestionar el manejo de particiones y los brokers con clúster.

Continuaremos con un bloque más centrado en el desarrollo, en el que verás cómo utilizar la API de Java, para lo que realizaremos algunos ejemplos utilizando IntelliJ y trabajando en un proyecto de Maven.

Pasamos después a las lecciones dedicadas a la monitorización, en la que aprenderás qué herramientas se pueden utilizar para ello, a activar el puerto JMK remoto en una aplicación Java, utilizar la herramienta jconsole y también a instalar y utilizar la herramienta Yahoo Kafka Manager UI.

El penúltimo apartado del curso trata sobre la seguridad en Kafka, dónde veremos cómo realizar la encriptación y la autenticación con SSL.

El curso finalizará tratando sobre Kafka Platform, un software para el procesamiento de eventos en streaming, cuyos componentes son Kafka, Kafka Connect y Kafka Streams. Aprenderás qué son cada uno de ellos, sus funciones y para qué se emplean.