Kafka : Kafka配置的参数解释
1、num.partitions
该参数指定了新创建的topic有多少分区,如果启用了topic的自动创建功能(该功能默认启动),topic的分区个数就是该参数指定的值,该参数的默认值为1
2、log.retention.hour
Kafka通常根据时间来确定数据被保存多长时间,默认使用log.retention.hour来配置,默认为168小时(即7天), 除该参数外,还有 log.retention.minute和 log.retention.ms两个参数,都是决定消息多久以后被删除的,如果指定了不止一个参数, Kafka会优先使用具有最小值的那个参数。
例如:log.retention.hour设置为24,log.retention.minute设置为20,那么数据将会被 保留20分钟
注意:时间保留数据是通过检查磁盘上日志片段文件的最后修改时间来实现的。也就是文件里最后一个消息的时间戳)
3、log.retention.bytes
通过保留的消息字节数来判断消息是否过期,它的值通过参数 log. retention.bytes来指定,作用在每一个分区上。也就是说,如果有一个包含 8 个分区的主 题,井且 log.retention.bytes 被设为1GB,那么这个主题最多可以保留 8GB 的数据。所 以,当主题的分区个数增加时,整个主题可以保留的数据也随之增加。
4、log.segment.bytes
分区的日志存放在某个目录下诸多文件中,这些文件将分区的日志切分成一段一段的,我们称为日志片段。 消息会被追加到分区的当前日志片段中,当日志片段达到log.segment.bytes设置的大小时,当前日志片段会被关闭,新的日志片段会被开启,这个参数值越小,就会越频繁地关闭和分配新文件,从
而降低磁盘写入的整体效率。
5、log.retention.ms
该参数指定了多长时间后日志文件会被关闭,默认情况下,该值无默认值
6、message.max.bytes
broker通过设置该参数的值来限制单条消息的大小,默认为1000000,即1M,注意该大小指的是压缩后的值,只要压缩后的值小于参数设置的值,实际值可以远大于该参数的设置。
这个值对性能有显著的影响。值越大,那么负责处理网络连接和请求的线程就需要花越多的时间来处理这些请求。它还会增加磁盘写入块的大小,从而影响IO吞吐量。
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhefgiig
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01