flume系列之：拦截器过滤数据

一、kafka空值数据

ConsumerRecord(topic=‘debezium-prod-optics_prod_1h.optics_prod.user_order’, partition=2, offset=3636705, timestamp=1656746091521, timestamp_type=0, key=b’{“schema”:{“type”:“struct”,“fields”:[{“type”:“int32”,“optional”:false,“field”:“order_id”}],“optional”:false,“name”:“debezium_prod_optics_prod_1h.order_prod.user_order.Key”},“playload”:{“order_id”:2752094}}', value=None, headers=[], checksum=None, serialized_key_size=223, serialized_value_size=-1, serialized_header_size=-1)

如上所示：

• value=None
• flume可以使用拦截器过滤掉value为None的kafka消息

二、拦截器过滤空值数据

更多拦截器相关博客请参考博主下面两篇文章：