1. 介绍

spark streaming去消费kafka消息相信是一种比较常见的情景。一般来说获取kafka消息的spark streaming流有以下两种:

基于Receiver的流(传统老方法)

Direct Stream(推荐的新方法)

本文主要参考官方文档Spark Streaming + Kafka Integration Guide (Kafka broker version 0.8.2.1 or higher)和Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or......