Python如何抓取淘宝IP地址数据-创新互联

这篇文章主要介绍Python如何抓取淘宝IP地址数据,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

成都创新互联公司技术团队10多年来致力于为客户提供成都网站设计、网站制作品牌网站设计成都全网营销推广、搜索引擎SEO优化等服务。经过多年发展,公司拥有经验丰富的技术团队,先后服务、推广了近1000家网站,包括各类中小企业、企事单位、高校等机构单位。

示例代码

def fetch(ip):
    url = 'http://ip.taobao.com/service/getIpInfo.php?ip=' + ip
    result = []    try:
        response = urllib.urlopen(url).read()
        jsondata = json.loads(response)        if jsondata[u'code'] == 0:
            result.append(jsondata[u'data'][u'ip'].encode('utf-8'))            
            result.append(jsondata[u'data'][u'country'].encode('utf-8'))
            result.append(jsondata[u'data'][u'country_id'].encode('utf-8'))
            result.append(jsondata[u'data'][u'area'].encode('utf-8'))
            result.append(jsondata[u'data'][u'area_id'].encode('utf-8'))
            result.append(jsondata[u'data'][u'region'].encode('utf-8'))
            result.append(jsondata[u'data'][u'region_id'].encode('utf-8'))
            result.append(jsondata[u'data'][u'city'].encode('utf-8'))
            result.append(jsondata[u'data'][u'city_id'].encode('utf-8'))
            result.append(jsondata[u'data'][u'county'].encode('utf-8'))
            result.append(jsondata[u'data'][u'county_id'].encode('utf-8'))
            result.append(jsondata[u'data'][u'isp'].encode('utf-8'))
            result.append(jsondata[u'data'][u'isp_id'].encode('utf-8'))            
        else:            return 0, result    except:
        logging.exception("Url open failed:" + url)        return 0, result    return 1, result 
def worker(ratelimit, jobs, results, progress):    global cancel    while not cancel:        try:
            ratelimit.ratecontrol()
            ip = jobs.get(timeout=2) # Wait 2 seconds
            ok, result = fetch(ip)            if not ok:
                logging.error("Fetch information failed, ip:{}".format(ip))
                progress.put("") # Notify the progress even it failed
            elif result is not None:
                results.put(" ".join(result))
            jobs.task_done()    # Notify one item
        except Queue.Empty:            pass
        except:
            logging.exception("Unknown Error!")
def process(target, results, progress):    global cancel    while not cancel:        try:
            line = results.get(timeout=5)        except Queue.Empty:            pass
        else:            print >>target, line
            progress.put("")
            results.task_done()
def progproc(progressbar, count, progress):    """
    Since ProgressBar is not a thread-safe class, we use a Queue to do the counting job, like
    two other threads. Use this thread do the printing of progress bar. By the way, it will
    print to stderr, which does not conflict with the default result output(stdout).    """
    idx = 1    while True:        try:
            progress.get(timeout=5)        except Queue.Empty:            pass
        else:
            progressbar.update(idx)
            idx += 1

以上是“Python如何抓取淘宝IP地址数据”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联-成都网站建设公司行业资讯频道!


网页名称:Python如何抓取淘宝IP地址数据-创新互联
当前路径:http://myzitong.com/article/gddej.html