python读取Kafka实例

yipeiwu_com7年前Python基础

1. 新建.py文件

# pip install kafka-python
from kafka import KafkaConsumer
import setting

conf = setting.luyang_kafka_setting

consumer = KafkaConsumer(bootstrap_servers=conf['host'], group_id=conf['groupid'])

print('consumer start to consuming...')
consumer.subscribe((conf['topic'], ))
for message in consumer:
  print(message.topic, message.offset, message.key, message.value, message.value, message.partition)

以上是kafka主要程序

2. Kafka配置文件setting.py

luyang_kafka_setting = {
  'host':'0.0.0.0:9092',
  'topic':'zcfTest',
  'groupid':'luyang1'
}

配置如上

3. 执行结果

以上这篇python读取Kafka实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python 实时得到cpu和内存的使用情况方法

python 实时得到cpu和内存的使用情况方法

如下所示: #先下载psutil库:pip install psutil import psutil import os,datetime,time def getMemCpu()...

python数据处理 根据颜色对图片进行分类的方法

python数据处理 根据颜色对图片进行分类的方法

前面一篇文章有说过,利用scrapy来爬取图片,是为了对图片数据进行分类而收集数据。 本篇文章就是利用上次爬取的图片数据,根据图片的颜色特征来做一个简单的分类处理。 实现步骤如下: 1:...

Python实现 多进程导入CSV数据到 MySQL

前段时间帮同事处理了一个把 CSV 数据导入到 MySQL 的需求。两个很大的 CSV 文件, 分别有 3GB、2100 万条记录和 7GB、3500 万条记录。对于这个量级的数据,用简...

python数据结构之二叉树的统计与转换实例

python数据结构之二叉树的统计与转换实例

一、获取二叉树的深度就是二叉树最后的层次,如下图: 实现代码:复制代码 代码如下:def getheight(self):     &n...

对Python多线程读写文件加锁的实例详解

Python的多线程在io方面比单线程还是有优势,但是在多线程开发时,少不了对文件的读写操作。在管理多个线程对同一文件的读写操作时,就少不了文件锁了。 使用fcntl 在linux下,p...