5.Kafka API

kafka消息发送流程图.png

Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。

相关参数：
batch.size：只有数据积累到batch.size之后，sender才会发送数据。
linger.ms：如果数据迟迟未达到batch.size，sender等待linger.time之后就会发送数据。

Producer API

异步发送API

不带回调函数: 
    kafkaProducer.send(new ProducerRecord<String, String>(topic,value));

带回调函数:
    kafkaProducer.send(new ProducerRecord<String, String>(topic,value)
                    , new Callback() {
                        @Override
                        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                            if (e == null) {
                                System.out.println(recordMetadata.partition());
                            } else {
                                System.currentTimeMillis();
                                e.printStackTrace();
                            }
                        }
                    }
                );

同步发送API

同步发送的意思就是，一条消息发送之后，会阻塞当前线程，直至返回ack。

由于send方法返回的是一个Future对象，根据Futrue对象的特点，我们也可以实现同步发送的效果，只需在调用Future对象的==get==方法即可。

    kafkaProducer.send(new ProducerRecord<String, String>(topic,value)).get();

Consumer API

自动提交offset

props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");

fetch.min.bytes     拉取数据的最小大小 (默认1字节)
fetch.max.wait.ms   多久的等待时长(默认500ms)
单词返回的数据条数
max.poll.records
session.timeout.ms      消费者与服务器断开连接的时间,没有在指定时间内发送心跳,协调器会把它的分区分配给其他消费者(默认3s)
auto.offset.reset       
    latest      在偏移量无效的情况下,从最新的开始消费
    earliest    在偏移量无效的情况下,从头开始消费
partition.assignment.strategy   kafka的分区策略(默认Range)

ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
for (ConsumerRecord<String, String> record : records) {
    ...
}

手动提交offset

props.put("enable.auto.commit", "false");

同步提交offset

ConsumerRecords<String, String> records = kafkaConsumer.poll(100);
for (ConsumerRecord<String, String> record : records) {
    ...
}
consumer.commitSync();

异步提交offset

... 之前代码同上
//异步提交
consumer.commitAsync(new OffsetCommitCallback() {
    @Override
    public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
        if (exception != null) {
            System.err.println("Commit failed for" + offsets);
        }
    }
});

自定义存储offset

Map<TopicPartition, Long> currentOffset = new HashMap<>();

        //消费者订阅主题
        consumer.subscribe(Arrays.asList("data001"), new ConsumerRebalanceListener() {
            //该方法会在Rebalance(分区的平均分配)之前调用
            @Override
            public void onPartitionsRevoked(Collection<TopicPartition> partitions) {
                commitOffset(currentOffset);
            }

            //该方法会在Rebalance(分区的平均分配)之后调用
            @Override
            public void onPartitionsAssigned(Collection<TopicPartition> partitions) {
                currentOffset.clear();
                for (TopicPartition partition : partitions) {
                    //定位到最近提交的offset位置继续消费
                    consumer.seek(partition, getOffset(partition));
                }
            }
        });
        while (true) {
            //消费者拉取数据
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                currentOffset.put(new TopicPartition(record.topic(), record.partition()), record.offset());
            }
            //异步提交
            commitOffset(currentOffset);
        }

最后编辑于：2019.12.10 16:05:17