欢迎关注本人简书共同交流运维/监控/Linux/Python/Django/Flask...: https://www.jianshu.com/u/788c815ee098

我们改进一下上一节里面的爬虫, 辛辛苦苦爬到了数据, 我想很多童鞋不是用来 print 的吧, 我们把它存储起来以便他日使用才是正确的姿势.

来来来,小白童鞋看过来, 老鸟欢迎吐槽...

爬虫

上一节的爬虫我们这样写的:

# -*- coding: utf-8 -*-
import scrapy


class FirstSpider(scrapy.Spider):  
    '''
    第一个爬虫
    '''
    name = 'jys_seg'
    allowed_domains = ['domain']
    start_urls = ['http://domain:port/mweb/index.php']

    def parse(self, response):
        # 筛选中间表格内容, 用这些表格逐条爬取
        # print(os.getcwd())
        segs = response.xpath('//div[@class="mui-media-body"]/text()').extract()
        for seg in segs:
            print(seg)

我们改一改:

import scrapy  
from ..items import BodySegItem


class JysSpider(scrapy.Spider):  
    '''
    第一个爬虫
    '''
    name = 'jys_seg'
    allowed_domains = ['domain']
    start_urls = ['http://domain:port/mweb/index.php']

    def parse(self, response):
        # 筛选中间表格内容, 用这些表格逐条爬取
        # print(os.getcwd())
        segs = response.xpath('//div[@class="mui-media-body"]/text()').extract()
        for seg in segs:
            seg_item = BodySegItem()
            seg_item["seg"] = seg
            yield seg_item

Item

看到不一样了吗? 多了个 Item 类

用过 ORM 的童鞋应该知道, 在使用 sqlalchemy 的时候, 我们设计好了数据库结构, 还是要建 ORM 来告诉 python 你的数据库结构,否则你只能用原生的sql语言来操作sql.

from . import Base  
from sqlalchemy import Column, String, Integer  
# from sqlalchemy.orm import relationship


class BodySeg(Base):  
    __tablename__ = 'body_seg'

    id = Column(Integer, nullable=False, primary_key=True, autoincrement=True)
    seg_name = Column(String(32), nullable=True)
    # organ = relationship("Organ", order_by="Organ.id", backref="body_seg")

上面这一段并没有设么卵用,只是让你看一下 ORM 是干嘛的,同时下面贴出来我们的 Item 作对比:

class BodySegItem(scrapy.Item):  
    seg = scrapy.Field()

注意一点 scrapy 没有 sqlalchemy 里面那么多类型,只有 scrapy.Field() 一种,这倒是简单了.

写完了 Item 不知道怎么用?

只要在爬虫类里面实例化 Item 然后 yield 返回数据就可以啦:

seg_item = BodySegItem()  
seg_item["seg"] = seg  
yield seg_item  

字段要够哦.

有了 Item 之后,我们开始读取传入 Item 的数据

Pipeline

Item 只是描述数据长成什么样子, Pipeline 才是处理数据的地方,所有的数据都会经过所有在配置文件中启用的 Pipeline(注意重点).

我们先编写 pipeline:

class BodySegPipeline:  
    def process_item(self, item, spider):
        """
        处理大类数据

        这个方法必须实现,每个item pipeline组件都需要调用该方法,
        这个方法必须返回一个 Item 对象
        被丢弃的item将不会被之后的pipeline组件所处理。

        :param item: item (Item 对象) – 被爬取的item
        :param spider: (Spider 对象) – 爬取该item的spider
        :return:
        """
        if isinstance(item, BodySegItem):
            body_seg.add(seg_name=item["seg"])
        return item

不用看注释, 直接看下面的代码,其实可以直接 print(item["seg"]),这里讲一下为什么这么写,if isinstance(item, BodySegItem) 这一句是为了 item 在这里经过的时候, 只处理 BodySegItem 里面的数据,其他数据直接 return, 自动流到下一个 pipeline, body_seg.add(seg_name=item["seg"]) 这句请忽略,是为了保存数据到数据库,这后面关系的东西太多,新手入门的话直接在这里把数据保存到文件就好啦,我们后面也会讲到 sqlalchemy 来存储数据哦,不要心急.

pipeline 写好了,下面启用就好啦, 在 settings 文件里面:

ITEM_PIPELINES = {  
    'JiYS.pipelines.BodySegPipeline': 300,
}

这样写完之后就好啦,数据被 spider 爬取到之后就会封装成 Item 传递给管道(pipeline) 由 pipeline 处理啦.