kafka - 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。-程序员及编程爱好者编程难题解决方案社区,旨为方便技术人员更快的开发代码,社区有全球各大网站的精品技术文章, 每日发表专业编程类与IT类技术文章,旨为打造最全的编程技术社区
Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理 Apache Flink 应用程序中的 Exactly-Once 语义 Flink 应用程序端到端的 Exactly-Once 语义 示例 Flink 应用程序启动预提交阶段 在 Flink 中实现两阶段提交 Operator juejin 2022-11-17 61
ZK+Nginx+Kafka+RocketMQ+RabbitMQ的技术架构 目前软件开发已经开始从单体项目往分布式项目演进,分布式项目作为目前项目开发的一大趋势,已经被广大的项目开发团队认可,即使项目体积不需要进行分布式架构, 但开发团队出于扩展考虑,也会采用分布式的方式来设计和开发项目,目前主流的分布式架构体系当然是Zookeeper,Nginx,RabbitMQ,rocketMQ,Kafka等 juejin 2022-11-17 53
RabbitMQ,RocketMQ,Kafka 消息模型对比分析 生产者(Producer)产生消息,进行入队操作,消费者(Consumer)接收消息,就是出队操作,存在于服务端的消息容器就称为消息队列。 juejin 2022-11-17 58
【Kafka】Logi-KafkaManger 针对Topic粒度的配额管理 默认创建完Topic之后是没有设置配额信息的,而且我们都知道Kafka的配额(限流)只支持三种粒度 juejin 2022-11-17 55
【Kafka】技术面试题及答案 Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消息的程序成为 consumer. juejin 2022-11-17 34
【Kafka】分布式面试 Kafka将消息以topic为单位进行归纳将向Kafka topic发布消息的程序成为producers,将预订topics并消费消息的程序成为consumer。 Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一 个broker。 producers通过网络将消息发送到Kafka集群,集群向消费者提 供消息 juejin 2022-11-17 32