Was ist Apache Kafka?
Apache Kafka ist ein Open-Source-Publish-Subscribe-Nachrichtensystem, das eine schnelle, skalierbare und fehlertolerante Behandlung von Echtzeit-Datenfeeds ermöglicht. Im Gegensatz zu herkömmlicher Enterprise-Messaging-Software ist Kafka in der Lage, alle Daten, die durch ein Unternehmen fließen, in nahezu Echtzeit zu verarbeiten.
Kafka ist in Scala geschrieben und wurde ursprünglich von LinkedIn entwickelt. Seit dieser Zeit haben eine Reihe von Unternehmen es genutzt, um Echtzeit-Plattformen zu bauen.
Kafka hat viele Ähnlichkeiten mit Transaktionsprotokollen und es verwaltet Feeds von Nachrichten in Themen. Hersteller schreiben Daten in Themen und Konsumenten, die von diesen Themen gelesen werden. Diese Themen werden über mehrere Knoten in einem verteilten Systemformat partitioniert und repliziert. Kafka ist insofern einzigartig, als es jede Themenpartition als Protokoll behandelt und jeder Nachricht in einer Partition einen eindeutigen Offset zugewiesen wird.
Es behält alle Nachrichten für eine bestimmte Zeit bei, und die Benutzer sind dafür verantwortlich, ihren Standort in jedem Protokoll zu verfolgen. Dies unterscheidet sich von früheren Systemen, bei denen Broker für diese Verfolgung verantwortlich waren, was die Skalierbarkeit des Systems bei steigender Anzahl der Verbraucher stark einschränkte. Diese Struktur ermöglicht es Kafka, viele Verbraucher zu unterstützen und große Datenmengen mit sehr geringem Overhead zu speichern.
Kafka kann verwendet werden:
– Als traditioneller Nachrichtenbroker
– Für das Tracking der Websiteaktivität
– Für die Protokollaggregation
– Für die Verarbeitung großer Datenströme
Kafka kann neben Apache Storm, Apache HBase und Apache Spark für die Echtzeit-Analyse und Wiedergabe von Streaming-Daten verwendet werden.