Python实现网页爬虫基本实现代码怎么编写

Python实现网页爬虫基本实现代码怎么编写,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

网站建设哪家好,找成都创新互联!专注于网页设计、网站建设、微信开发、微信平台小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了武威免费建站欢迎大家使用!

Python是一款功能强大的计算机程序语言,同时也可以被看做是一款面向对象的通用型语言。它的功能特点比较突出,极大的方便开发人员应用。在这里我们先来一起了解一下有关Python实现网页爬虫的方法。

今天看到一个网页,又因为在家里用电话线上网,一直在线阅读很麻烦。所以就写了个简单的程序把网页抓下来离线阅读,省点电话费:)这个程序因为主页面链接到的页面都在同一个目录下,结构很简单,只有一层。因此写了一些硬编码做链接地址的分析。

Python实现网页爬虫代码如下:

#!/usr/bin/env python  # -*- coding: GBK -*-  import urllib  from sgmllib import SGMLParser  class URLLister(SGMLParser):  def reset(self):  SGMLParser.reset(self)  self.urls = []  def start_a(self, attrs):  href = [v for k, v in attrs if k == 'href']  if href:  self.urls.extend(href)  url = r'http://www.sinc.sunysb.edu/Clubs/buddhism/JinGangJingShuoShenMo/' sock = urllib.urlopen(url)  htmlSource = sock.read()  sock.close()  #print htmlSource  f = file('jingangjing.html', 'w')  f.write(htmlSource)  f.close()  mypath = r'http://www.sinc.sunysb.edu/Clubs/buddhism/JinGangJingShuoShenMo/' parser = URLLister()  parser.feed(htmlSource)  for url in parser.urls:  myurl = mypath + url  print "get: " + myurl  sock2 = urllib.urlopen(myurl)  html2 = sock2.read()  sock2.close()  # 保存到文件  print "save as: " + url  f2 = file(url, 'w')  f2.write(html2)  f2.close()

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。


名称栏目:Python实现网页爬虫基本实现代码怎么编写
标题网址:http://myzitong.com/article/gcidgi.html