from kafka import KafkaProducer
log_path="log.txt"
bootstrap_servers = 'localhost:9092'
producer = KafkaProducer(bootstrap_servers=bootstrap_servers,acks='1')
##此处监控获取文件的修改,后续改为flume
def produce(path):
point = 0
while True:
with open(log_path,'r',encoding='utf-8') as f:
f.seek(point)
for line in f:
print(line)
producer.send(topic="txt_test",value=line.encode('utf-8'))
point = f.tell()
f.close()
if __name__ == "__main__":
produce(log_path)
半个月跑通流计算-kafka监控日志
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 今日课表:14K递增 10K恢复跑 上一次正儿八经跑步已经是半个月之前了,本来还打算打卡AR Tokyo,结果各种...
- 每年到这个时候,身边就会有很多人开始咳嗽、咳痰、流鼻涕、打喷嚏的,有些是感冒、有些是哮喘、有些是气管炎,有些的鼻炎...