跳转到主要内容

标签: 精确一次

  • Kafka 可靠性与精确一次

    发布于 Kafka

    Kafka可靠性精确一次

    Kafka 的可靠性需要在 producer、broker、consumer 三端协同配置。下面从「不丢、不重、有序」三个目标展开。 Producer 端的可靠性 通过 acks 控制写入持久化级别: acks=0:发完即认为成功,可能丢消息,吞吐最高。 acks=1:leader 写入即成功,leader 宕机可能丢。 acks=all:ISR 全部同步才成功,最安全,配合 min.insync.replicas 防单点。 开启重试(retries)可应对瞬时失败,但会带来重复:网络抖动导致 …

    Kafka 的可靠性需要在 producer、broker、consumer 三端协同配置。下面从「不丢、不重、有序」三个目标展开。 Producer 端的可靠性 通过 acks 控制写入持久化级别: acks=0:发完即认为成功,可能丢消息,吞吐最高。 acks=1:leader 写入即成功,leader 宕机可能丢。 acks=all:ISR 全部同步才成功,最安全,配合 min.insync.replicas 防单点。 开启重试(retries)可应对瞬时失败,但会带来重复:网络抖动导致 …