爬虫

Python窗口程序实现翻译器二

1.网页分析首先要选择一个翻译网站,在这里我们选择有道翻译,进入网站:http://fanyi.youdao.com/然后检查元素,这里我们直接在network中可能找不到相应信息,我们在输入框中输入随机内容,然后点击翻译,这时就会发生变化。

Python正则表达式(1)

在学习爬虫的过程中,正则表达式能够帮助我们根据某些复杂的规则去处理复杂的字符串,它是一个特殊的字符序列,在Python中,系统自带的re模块包含了正则表达式的全部功能,下面我们进入正则表达式的学习。1.元字符正则表达式的结构由普通字符和元字符组成,

Python窗口程序实现翻译器三

前面我们对图形界面进行了设计并通过爬虫完成了翻译功能,这一节我们就把前面的内容结合到一起完成翻译器的制作。1.完整代码importwximporturllib.request#导入模块importurllib.parseimportjsonclassMyFrame(wx.Frame):def__ini

Python正则表达式(2)

本节我们来学习Python的内置re模块,re模块用于实现正则表达的操作,它里面提供了很多方法,例如search()、match()、findall()、split()、sub()等,下面我们依次进行学习。1.search()方法search方法在输入的字符串中查找,

Python爬虫入门抓取豆瓣内容一

实战内容:获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分,将数据存放到数据库和文件中。链接为:https://movie.douban.com/top250?start=。1.数据爬取爬取网页数据的方式我们在前面介绍过多种,下面来进行数据的爬取。

BeautifulSoup(1)

BeautifulSoup在Python中是一个比较受欢迎的第三方库,它是一款比较优秀的网页解析库,里面提供了很多接口帮助我们来处理导航、搜索、修改分析树,它的查找提取功能非常好用,能够节省程序员大量的时间。BeautifulSoup最新版为BeautifulSoup4,

Python爬虫概述

网络爬虫(又称为网页蜘蛛,网络机器人,更经常的称为网页追逐者),它按照一定的规则自动地抓取网络信息。1.产生背景随着时代的进步,互联网上拥有大量的信息,但是我们该如何高效的获取这些信息成为了一个挑战,传统的搜索引擎可以帮助我们解决部分问题,但是具有一定的局限性:1)不同领域、不同背景的用户往往具有不同

Python爬虫入门抓取豆瓣内容二

1.问题分析我们在上一节爬取了网页的全部信息,下面我们还要这样html代码中找到我们所需要的内容,因此我们要根据问题进入网站中,去解析网页中的信息。从页面中可以发现,我们需要爬取的信息分别存在于不同的分区当中,那么我们来检查一下页面的元素,右键页面检查网页源代码或者F12。

BeautifulSoup(2)

1.遍历文档树在解析文档文件的过程中,如果需要遍历文档,我们需要使用到一些特殊的方法。例如:1).contents获取Tag的所有子节点,以列表的形式返回。例如:con=soup.head.contentsforiincon:print(i)先把tag的.content对象以列表的形式存储在con中,

Python爬虫协议

当我们真正接触了爬虫之后会发现爬虫的功能十分强大,但是我们并不能为所欲为的使用爬虫,爬虫需要遵循robots协议,该协议是国际互联网界通行的道德规范,每一个爬虫都应该遵守,本节我们就来介绍一下爬虫协议。1.违规案例(1)——BE违规抓取eBay十二年前,