欢迎关注本人简书共同交流运维/监控/Linux/Python/Django/Flask...：　https://www.jianshu.com/u/788c815ee098 工程目录以及说明: . |-- JiYS | |-- __init__.py | |-- controllers | | `-- __init__.py | |-- items.py | |-- middlewares.py | |-- models | | |-- __init__.py | | `--…

欢迎关注本人简书共同交流运维/监控/Linux/Python/Django/Flask...：　https://www.jianshu.com/u/788c815ee098 前面说了，顺顺利利地爬到了数据，我们可不是为了只是 print 出来炫技的，分析,自己建立关系,存库, 数据就易主了有木有？ 我们这里使用 ORM　神器 sqlalchemy 听说过吗？　我在flask, twisted 里面经常用哦． 安装什么的都不说了，直接上代码，毕竟很多童鞋等着看代码，不想听我废话． 再说一句，　就一句．…

欢迎关注本人简书共同交流运维/监控/Linux/Python/Django/Flask...：　https://www.jianshu.com/u/788c815ee098 我们已经爬取到目标网站的数据了，简单吗？　开心吗？　恭喜你已经入门scrapy 了．虽然我也是第一次拿它做项目，　看起来我更像老鸟一点有木有．好开心．．．． 但是问题慢慢来了，那句话怎么说来着，魔高一尺道高一丈还是魔高一尺道高一丈？　人家辛辛苦苦做网站，数据为王好的吧，一定辛辛苦苦做一些东西防止你爬取．所以我们也要想办法拿到数据，毕竟我们才是吸血鬼，而他们才是正统天王． 不遵守　robots.txt　规则 每一个正常的网站都设置有　robots.…

欢迎关注本人简书共同交流运维/监控/Linux/Python/Django/Flask...：　https://www.jianshu.com/u/788c815ee098 我们改进一下上一节里面的爬虫, 辛辛苦苦爬到了数据, 我想很多童鞋不是用来 print 的吧, 我们把它存储起来以便他日使用才是正确的姿势. 来来来,小白童鞋看过来, 老鸟欢迎吐槽... 爬虫 上一节的爬虫我们这样写的: # -*- coding: utf-8 -*- import scrapy class FirstSpider(scrapy.Spider)…

欢迎关注本人简书共同交流运维/监控/Linux/Python/Django/Flask...：　https://www.jianshu.com/u/788c815ee098 前言 一直知道有一个叫做　scrapy　的神器, 但是一直没有用过, 今天我找到了一个网站似乎很好的样子, 上面资料很玄乎,所以就爬了玩玩, 请原谅我不能说网站名称,大家都跟着我爬数据人家还玩不玩了? 你要是联手的话请自行寻找目标啦... 概览 这里放一个scrapy 官方图片，虽然知道哪天图片丢了会变得很丑 安装 请根据附件中的列表自行安装 requiremtnes.txt pip install -r requirements.…