urllib和BeautifulSoup爬取维基百科的词条简单实例-创新互联
本文实例主要实现的是使用urllib和BeautifulSoup爬取维基百科的词条,具体如下。
创新互联建站成立于2013年,是专业互联网技术服务公司,拥有项目网站制作、做网站网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元泰兴做网站,已为上家服务,为泰兴各地企业和个人服务,联系电话:18982081108简洁代码:
#引入开发包 from urllib.request import urlopen from bs4 import BeautifulSoup import re #请求URL并把结果用UTF-8编码 resp=urlopen("https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5").read().decode("utf-8") #使用BeautifulSoup去解析 soup=BeautifulSoup(resp,"html.parser") #print(soup) #获取所有以/wiki/开头的a标签的href属性 listUrl=soup.findAll("a",href=re.compile("^/wiki/")) #输出所有词条对应的名称和URL for link in listUrl: if not re.search("\.(jpg|JPG)$",link["href"]): print(link.get_text(),"<----->","https://zh.wikipedia.org"+link["href"])
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网页名称:urllib和BeautifulSoup爬取维基百科的词条简单实例-创新互联
当前路径:http://myzitong.com/article/hsegh.html