Python爬虫概述
网络爬虫（又称为网页蜘蛛，网络机器人，更经常的称为网页追逐者），它按照一定的规则自动地抓取网络信息。1.产生背景随着时代的进步，互联网上拥有大量的信息，但是我们该如何高效的获取这些信息成为了一个挑战，传统的搜索引擎可以帮助我们解决部分问题，但是具有一定的局限性：1)不同领域、不同背景的用户往往具有不同
爬虫
Python爬虫入门抓取豆瓣内容一
实战内容：获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分，将数据存放到数据库和文件中。链接为：https://movie.douban.com/top250?start=。1.数据爬取爬取网页数据的方式我们在前面介绍过多种，下面来进行数据的爬取。
BeautifulSoup(2)
1.遍历文档树在解析文档文件的过程中，如果需要遍历文档，我们需要使用到一些特殊的方法。例如：1).contents获取Tag的所有子节点，以列表的形式返回。例如：con=soup.head.contentsforiincon:print(i)先把tag的.content对象以列表的形式存储在con中，
Python爬虫协议
当我们真正接触了爬虫之后会发现爬虫的功能十分强大，但是我们并不能为所欲为的使用爬虫，爬虫需要遵循robots协议，该协议是国际互联网界通行的道德规范，每一个爬虫都应该遵守，本节我们就来介绍一下爬虫协议。1.违规案例（1）——BE违规抓取eBay十二年前，
Python爬虫入门抓取豆瓣内容二
1.问题分析我们在上一节爬取了网页的全部信息，下面我们还要这样html代码中找到我们所需要的内容，因此我们要根据问题进入网站中，去解析网页中的信息。从页面中可以发现，我们需要爬取的信息分别存在于不同的分区当中，那么我们来检查一下页面的元素，右键页面检查网页源代码或者F12。
Python爬虫入门抓取天气信息
问题：获取苏州8-15天的天气信息,包含:日期、天气、温度、风力等信息，然后将数据存入一个文档中，网址为：http://www.weather.com.cn/weather/101190401.shtml。1.问题分析首先我们进入天气网，然后开始对页面进行分析。
Python爬虫技术基础(1)-网络请求
我们在使用爬虫的时候离不开URL地址和下载页面，首先我们就来了解一下URL。它的语法格式一般为：protocol://hostname[:port]/path/[;parameters][?query]#fragmentURL由三部分组成，第一部分是协议，
Python爬虫入门抓取豆瓣内容三（附完整代码）
上一节我们通过数据分析，找到了我们想要的内容，我们这一节就把这些内容保存到数据库中，来方便我们随时查看。本节我们采用PyMySQL数据库以及txt文件两种方式来保存数据。1.完整代码importreimportrequestsimportpymysqlfrombs4importBeautifulSou
Python爬虫技术基础(2)-headers处理及网络超时
有时我们发送的网络请求可能会被服务器拒绝这可能是该网站设置了反爬虫机制来防止用户恶意采集信息，但这不代表我们不能访问该网站，我们可以模拟服务器的头部信息去访问。1.请求headers处理我们首先打开我们要访问的网站，然后根据浏览器的打开方式进入检查页面，
Python窗口程序实现翻译器一
实战内容：完成一个简单的翻译器程序，翻译器的效果图如下。在翻译内容中输入信息，点击翻译，如下图。设计理念：在输入框中填入我们需要翻译的内容，然后点击翻译按钮完成翻译，在对话框中显示翻译出的内容。点击确定可以进行其他内容的翻译，点击关闭按钮则结束程序，我们设计一个中英互译的翻译器。