python多线程如何分块读取文件-创新互联
这篇文章将为大家详细讲解有关python多线程如何分块读取文件,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
十载的纳雍网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。网络营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整纳雍建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。创新互联公司从事“纳雍网站设计”,“纳雍网站推广”以来,每个客户项目都认真落实执行。具体内容如下
# _*_coding:utf-8_*_ import time, threading, ConfigParser ''' Reader类,继承threading.Thread @__init__方法初始化 @run方法实现了读文件的操作 ''' class Reader(threading.Thread): def __init__(self, file_name, start_pos, end_pos): super(Reader, self).__init__() self.file_name = file_name self.start_pos = start_pos self.end_pos = end_pos def run(self): fd = open(self.file_name, 'r') ''' 该if块主要判断分块后的文件块的首位置是不是行首, 是行首的话,不做处理 否则,将文件块的首位置定位到下一行的行首 ''' if self.start_pos != 0: fd.seek(self.start_pos-1) if fd.read(1) != '\n': line = fd.readline() self.start_pos = fd.tell() fd.seek(self.start_pos) ''' 对该文件块进行处理 ''' while (self.start_pos <= self.end_pos): line = fd.readline() ''' do somthing ''' self.start_pos = fd.tell() ''' 对文件进行分块,文件块的数量和线程数量一致 ''' class Partition(object): def __init__(self, file_name, thread_num): self.file_name = file_name self.block_num = thread_num def part(self): fd = open(self.file_name, 'r') fd.seek(0, 2) pos_list = [] file_size = fd.tell() block_size = file_size/self.block_num start_pos = 0 for i in range(self.block_num): if i == self.block_num-1: end_pos = file_size-1 pos_list.append((start_pos, end_pos)) break end_pos = start_pos+block_size-1 if end_pos >= file_size: end_pos = file_size-1 if start_pos >= file_size: break pos_list.append((start_pos, end_pos)) start_pos = end_pos+1 fd.close() return pos_list if __name__ == '__main__': ''' 读取配置文件 ''' config = ConfigParser.ConfigParser() config.readfp(open('conf.ini')) #文件名 file_name = config.get('info', 'fileName') #线程数量 thread_num = int(config.get('info', 'threadNum')) #起始时间 start_time = time.clock() p = Partition(file_name, thread_num) t = [] pos = p.part() #生成线程 for i in range(thread_num): t.append(Reader(file_name, *pos[i])) #开启线程 for i in range(thread_num): t[i].start() for i in range(thread_num): t[i].join() #结束时间 end_time = time.clock() print "Cost time is %f" % (end_time - start_time)
关于“python多线程如何分块读取文件”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
文章题目:python多线程如何分块读取文件-创新互联
路径分享:http://myzitong.com/article/dsgoic.html