kafka - 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。-程序员及编程爱好者编程难题解决方案社区,旨为方便技术人员更快的开发代码,社区有全球各大网站的精品技术文章, 每日发表专业编程类与IT类技术文章,旨为打造最全的编程技术社区
Kafka 入门教程 Kafka 现在在我们公司使用的很广泛, 如用作 AdServer 的日志收集和 Counter 服务的消息系统等. 本文会先介绍下 Kafka 的一些基本概念, 然后介绍如何搭建 Kafka 集群和如何使用, 最后会简要介绍下 Kafka 文件存储的实现原理. juejin 2022-11-17 24
【Kafka】消息队列 消息队列是存储数据的一个中间件,可以理解为一个容器。 消息:传输数据的基本单位。 消息从源被发往队列中,消费者可以拉取消息进行消费,如果消费者目前没有消费的打算,则消息队列会保留消息,直到消费者有消费的打算。 csdn 2022-11-17 44
【mq】消息队列总结 消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ csdn 2022-11-17 46
Kafka 生产者 生产者的首要功能就是向某个topic的某个分区发送一条消息,分区器决定了生产者要向topic的哪个分区写入消息。Kafaka producer提供了一个默认的分区器,如果发送的消息指定了key,那么分区器会根据key的哈希值选择目标分区,假如将要发送的消息没有指定key,分区器会采用轮询策略确认目标分区,这样保证了消息在所有分区上保持均匀。 juejin 2022-11-17 54
为什么Kafka这么快,解密Kafka高性能背后的秘密 说起 Kafka 很多同学都知道,即使你没有用过也知道,它是消息队列中数一数二的运动健将,他可以承载每秒钟上百万此的数据处理,但问什么 Kafka 可以这么快呢? 归纳原因主要有这四点原因,磁盘顺序读写、页缓存、零拷贝、批量操作。 juejin 2022-11-17 37
kafka源码之kakfaProducer kafka作为消息队列领域的中流砥柱,作为后端开发,除了会使用以外,还需要深入的研究和分析其内在实现和设计,借鉴其优秀的设计理念。同时也可以帮助后续在实际问题定位和解决上提供帮助。本文主要介绍kafka发送到底是如何实现的 juejin 2022-11-16 45