预见猿份

Kafka 分布式消息中间件实战 ​

课程简介 ​

本课程全面讲解 Apache Kafka 分布式流式消息平台，从基础环境搭建、核心 API 开发，到底层存储原理、副本机制、事务幂等、集群运维、监控调优，结合大量实操案例与面试高频考点。Kafka 凭借高吞吐、低延迟、海量消息堆积、水平扩展的特性，广泛用于日志采集、业务解耦、用户行为追踪、大数据流式计算等场景。课程基于 Kafka 2.2 版本，覆盖命令行实操、原生 Java API、SpringBoot 整合、集群部署调优、MQ 选型对比，帮助开发者掌握 Kafka 开发、运维、排错能力，能够胜任企业级消息中间件开发与面试。

课程内容 ​

第一章 初识 Kafka ​

  1. Kafka 发展背景、核心特性、五大业务使用场景
  2. 核心概念详解：Producer、Consumer、Topic、Partition、Broker、Leader、Follower；AR、ISR、OSR、HW、LEO 专业术语
  3. 环境搭建：JDK 环境、ZooKeeper 单机部署、Kafka 单机部署
  4. 命令行实操：创建 / 查看 / 删除 Topic，控制台生产者发送消息、控制台消费者消费消息
  5. Java 原生客户端快速入门：Maven 依赖、生产者代码、消费者代码，完成消息收发

第二章 Producer 生产者详解 ​

  1. 生产者完整发送流程，主线程、Sender 线程、RecordAccumulator 缓冲区原理
  2. 三种发送方式：发送即忘记、同步发送、异步发送 + 回调
  3. 序列化器：内置序列化器、自定义序列化器实现
  4. 分区器：默认分区策略，自定义分区器开发
  5. 生产者拦截器开发与使用
  6. 生产者核心参数深度解析：acks、retries、batch.size、max.request.size 等可靠性与吞吐量权衡配置

第三章 Consumer 消费者详解 ​

  1. 消费者与消费组核心概念，消费组负载均衡原理
  2. 消费者必要配置、Topic 订阅方式（指定主题、正则订阅、手动指定分区）
  3. 反序列化配置
  4. 消费位移 Offset：自动提交、同步手动提交、异步手动提交，各自优缺点与坑点
  5. seek 指定位移消费：回溯消费、从末尾消费、offset 越界处理
  6. 再均衡机制：产生原因、再均衡监听器实现，解决再均衡带来的重复消费问题
  7. 消费者拦截器开发
  8. 三大分区分配策略：RangeAssignor、RoundRobinAssignor、StickyAssignor 原理与对比

第四章 Topic 主题管理 ​

  1. Topic 命令行管理：创建、查看、修改、删除主题
  2. 分区增加规则，不能减少分区的底层原因
  3. Topic 各项配置参数讲解
  4. KafkaAdminClient Java API 管理 Topic：创建主题、修改配置、增加分区等编程式运维

第五章 分区与副本机制 ​

  1. 分区副本工作原理，Leader 与 Follower 职责
  2. ISR 同步副本机制，Leader 选举流程
  3. 集群扩容：分区重新分配完整实操流程
  4. 动态修改副本因子实操
  5. 分区分配策略，消费者与分区的对应关系

第六章 Kafka 存储原理 ​

  1. 物理存储架构：Partition、Segment 段文件，log 数据文件、index 索引文件结构
  2. 稀疏索引原理，Kafka 如何快速定位指定 offset 消息
  3. 日志清理策略：delete 删除策略、compact 压缩策略适用场景
  4. Kafka 高性能底层原理：顺序写磁盘、页缓存、零拷贝技术详解

第七章 Kafka 稳定性与可靠性 ​

  1. Kafka 消息传输保障 at‑least‑once
  2. 生产者幂等性：使用方式、适用范围与限制
  3. Kafka 事务：多分区原子写入，事务 API 完整代码实现
  4. 控制器 Controller 工作原理，Zookeeper 交互流程，controller_epoch 纪元
  5. HW 高水位机制，数据丢失、数据不一致问题，LeaderEpoch 解决方案
  6. 消息重复消费产生场景，生产者、消费者端解决方案，业务幂等实现思路
  7. 内部主题 __consumer_offsets 原理与作用

第八章 Kafka 高级应用 ​

  1. 常用运维命令：消费组查看、消费组详情、重置消费位移
  2. Kafka Connect 数据管道：Source、Sink 连接器，文件、ElasticSearch 数据同步案例
  3. Spark Streaming 集成 Kafka 实现流式处理
  4. SpringBoot 整合 Kafka：普通消息生产消费、事务消息开发
  5. 主流消息中间件对比：Kafka / RocketMQ / RabbitMQ / ActiveMQ，选型参考

第九章 Kafka 集群与监控 ​

  1. Kafka 集群架构，ZooKeeper 集群部署
  2. Kafka 伪集群完整搭建步骤，配置文件详解
  3. MirrorMaker 跨集群数据同步配置与调优
  4. JMX 监控指标开启，JConsole 使用
  5. Broker、Topic、生产者、消费者核心监控指标解读
  6. 编程读取 JMX 监控指标
  7. 开源监控工具 Kafka‑Eagle 安装配置、告警使用

第十章 配套面试专题 ​

汇总全套 Kafka 面试题，覆盖基础概念、存储原理、生产者、消费者、集群、可靠性、调优，提供标准参考答案。

附录 ​

Kafka 生产环境调优参数完整清单。

课程亮点 ​

✅ 原理 + 实战双驱动 不只是调用 API，深度拆解底层原理：零拷贝、ISR 副本、HW/LeaderEpoch、再均衡、存储 Segment 文件；每个知识点配套可运行 Java 源码，包含生产者、消费者、拦截器、事务、AdminClient 等完整示例。

✅ 覆盖完整生命周期：开发 + 运维 + 调优 + 面试 从单机环境搭建、代码开发，到集群部署、分区重分配、跨集群同步、JMX 监控、Kafka‑Eagle 可视化监控，同时配套高频面试题库，兼顾项目开发与面试求职。

✅ 大量排坑教学 讲解生产常见问题：重复消费、消息丢失、offset 异常、再均衡重复消费、offset 越界、幂等性限制，给出问题根因和解决方案。

✅ 业务场景落地 包含日志采集、流式处理、SpringBoot 业务集成、跨集群同步等企业真实业务场景；提供主流 MQ 横向对比，学会项目技术选型。

✅ 命令行 + Java 原生 API + SpringBoot 三套实现 兼顾运维人员脚本操作、后端开发原生 API 编码、SpringBoot 业务开发，满足不同岗位学习需求。

✅ 配套调优手册 提供生产环境调优参数，网络 IO 线程、刷盘策略、日志保留、副本、系统内核、JVM 参数，直接可以用于生产参考。

适合人群 ​

  1. Java 后端开发工程师，想要学习分布式消息中间件 Kafka
  2. 大数据开发工程师，需要掌握 Kafka 用于数据采集、流式计算
  3. 后端开发，面试需要准备 Kafka 原理、集群、可靠性相关面试题
  4. 运维人员，学习 Kafka 集群部署、监控、故障排查

学习收获 ​

  1. 熟练完成 Kafka 单机、ZooKeeper 集群、Kafka 集群环境搭建
  2. 掌握原生 Java API、SpringBoot 实现普通消息、事务消息开发
  3. 吃透 Kafka 底层存储、副本 ISR、幂等与事务、再均衡等核心原理
  4. 掌握位移提交、重复消费、消息丢失问题的处理方案
  5. 掌握 Topic、分区副本运维，分区重分配、修改副本因子等运维操作
  6. 掌握 Kafka 监控指标、监控工具，看懂生产环境各项指标
  7. 能够完成 MQ 技术选型，应对工作开发与面试

老师介绍 ​

老苗一对一私教：https://yjoffer.com/aboutus/one2one/one2one.html

学员评价：https://yjoffer.com/aboutus/one2one/reviews.html

关于我们：https://yjoffer.com/aboutus/readme.html