O tutorial do Apache Kafka fornece os conceitos básicos e avançados do Apache Kafka. Este tutorial foi desenvolvido para iniciantes e profissionais.
Apache Kafka é uma plataforma de software de processamento de fluxo de código aberto usada para lidar com o armazenamento de dados em tempo real. Funciona como um intermediário entre duas partes, ou seja, um remetente e um destinatário. Ele pode lidar com cerca de trilhões de eventos de dados por dia.
A jornada do tutorial do Apache Kafka cobrirá todos os conceitos, desde sua arquitetura até seus conceitos principais.
O que é Apache Kafka
Apache Kafka é uma plataforma de software baseada em um processo de streaming distribuído. É um sistema de mensagens de publicação-assinatura que também permite a troca de dados entre aplicativos, servidores e processadores. Apache Kafka foi originalmente desenvolvido por LinkedIn , e posteriormente foi doado à Apache Software Foundation. Atualmente é mantido por Confluente sob Apache Software Foundation. O Apache Kafka resolveu o problema letárgico da comunicação de dados entre um remetente e um destinatário.
O que é um sistema de mensagens
Um sistema de mensagens é uma simples troca de mensagens entre duas ou mais pessoas, dispositivos, etc. Um sistema de mensagens de publicação-assinatura permite que um remetente envie/escreva a mensagem e um destinatário a leia. No Apache Kafka, um remetente é conhecido como produtor quem publica mensagens, e um receptor é conhecido como consumidor quem consome essa mensagem assinando-a.
O que é processo de streaming
Um processo de streaming é o processamento de dados em sistemas conectados paralelamente. Este processo permite que diferentes aplicações limitem a execução paralela dos dados, onde um registro é executado sem esperar pela saída do registro anterior. Portanto, uma plataforma de streaming distribuída permite ao usuário simplificar a tarefa do processo de streaming e execução paralela. Portanto, uma plataforma de streaming em Kafka possui os seguintes recursos principais:
- Assim que ocorrem os fluxos de registros, ele os processa.
- Funciona de forma semelhante a um sistema de mensagens empresarial, onde publica e assina fluxos de registros.
- Ele armazena os fluxos de registros de uma forma durável e tolerante a falhas.
Para aprender e compreender o Apache Kafka, os aspirantes devem conhecer as quatro APIs principais a seguir:
API do produtor: Esta API permite/permite que um aplicativo publique fluxos de registros para um ou mais tópicos. (discutido na seção posterior)
API do consumidor: Esta API permite que uma aplicação assine um ou mais tópicos e processe o fluxo de registros produzidos para eles.
API de fluxos: Esta API permite que um aplicativo transforme efetivamente os fluxos de entrada em fluxos de saída. Ele permite que um aplicativo atue como um processador de fluxo que consome um fluxo de entrada de um ou mais tópicos e produz um fluxo de saída para um ou mais tópicos de saída.
API do conector: Esta API executa as APIs reutilizáveis de produtor e consumidor com os sistemas de dados ou aplicativos existentes.
Por que Apache Kafka
Apache Kafka é uma plataforma de software que possui os seguintes motivos que melhor descrevem a necessidade do Apache Kafka.
- Apache Kafka é capaz de lidar com milhões de dados ou mensagens por segundo.
- Apache Kafka funciona como mediador entre o sistema de origem e o sistema de destino. Assim, os dados do sistema de origem (produtor) são enviados para o Apache Kafka, onde desacopla os dados, e o sistema de destino (consumidor) consome os dados do Kafka.
- O Apache Kafka tem um desempenho extremamente alto, ou seja, tem um valor de latência muito baixo, inferior a 10ms, o que o prova como um software bem versado.
- Apache Kafka possui uma arquitetura resiliente que resolveu complicações incomuns no compartilhamento de dados.
- Organizações como NETFLIX, UBER, Walmart, etc. e mais de milhares dessas empresas fazem uso do Apache Kafka.
- Apache Kafka é capaz de manter a tolerância a falhas. Tolerância a falhas significa que às vezes um consumidor consome com sucesso a mensagem que foi entregue pelo produtor. Porém, o consumidor não consegue processar a mensagem de volta devido a uma falha no banco de dados back-end ou devido à presença de um bug no código do consumidor. Nessa situação, o consumidor não consegue consumir a mensagem novamente. Consequentemente, o Apache Kafka resolveu o problema reprocessando os dados.
- Aprender Kafka é uma boa fonte de renda. Assim, quem deseja aumentar sua renda no futuro no setor de TI pode aprender.
Pré-requisito
Os aspirantes devem ter conhecimentos básicos de programação Java e algum conhecimento de comandos Linux.
Público
Esta jornada do Apache Kafka foi projetada para iniciantes, desenvolvedores e pessoas que desejam aprender coisas novas.
Problemas
Garantimos que você não encontrará nenhum problema neste Tutorial do Apache Kafka. Mas se houver algum erro, poste o problema em um formulário de contato.