欢迎关注本人简书共同交流运维/监控/Linux/Python/Django/Flask...: https://www.jianshu.com/u/788c815ee098

前面说了,顺顺利利地爬到了数据,我们可不是为了只是 print 出来炫技的,分析,自己建立关系,存库, 数据就易主了有木有?

我们这里使用 ORM 神器 sqlalchemy 听说过吗? 我在flask, twisted 里面经常用哦.

安装什么的都不说了,直接上代码,毕竟很多童鞋等着看代码,不想听我废话.

再说一句, 就一句. 在 ORM 里面 我就喜欢 models controllers 建一大堆,分层才好维护,虽然文件显得多了一些.什么? 这些文件建在哪一层目录? 别急, 我在最后一节(杂谈)附上我的工程目录结构.

先建 model:

init.py

from sqlalchemy.ext.declarative import declarative_base

# declarative_base()类工厂函数,会根据不同的数据库引擎创建基类, 通过继承基类来创建与数据库表对应的类
Base = declarative_base()  
# 在这里 import models 中的对象如果mysql 表不存在会自动创建表
from .body_seg import BodySeg  
from ..controllers import engine

Base.metadata.create_all(engine)  

body_seg.py

# -*- coding: utf-8 -*-
from . import Base  
from sqlalchemy import Column, String, Integer  
# from sqlalchemy.orm import relationship


class BodySeg(Base):  
    __tablename__ = 'body_seg'

    id = Column(Integer, nullable=False, primary_key=True, autoincrement=True)
    seg_name = Column(String(32), nullable=True)

models 就完成啦.

下面 controllers:

init.py

from sqlalchemy.orm import sessionmaker  
from sqlalchemy import create_engine  
from sqlalchemy.pool import NullPool


SQLALCHEMY_DATABASE_URI = 'mysql+mysqldb://username:passwd@ip:port/dbname?charset=utf8'  
engine = create_engine(SQLALCHEMY_DATABASE_URI, poolclass=NullPool)  
Session = sessionmaker(bind=engine)  

body_seg.py

from . import Session  
from ..models.body_seg import BodySeg  
from sqlalchemy.exc import IntegrityError


def add(seg_name):  
    '''
    添加seg

    :param seg_name: 
    :return: 
    '''
    session = Session()
    record = session.query(BodySeg).filter_by(seg_name=seg_name).first()
    if not record:
        record = BodySeg(seg_name=seg_name)
        session.add(record)
    try:
        result = True
        session.commit()
    except IntegrityError:
        session.rollback()
        result = False
    session.close()
    return result


def get_all_segs():  
    '''
    查询所有seg,只返回seg 名字

    :return: seg名字列表,格式: [("name",), ("name",)]
    '''
    session = Session()
    segs = session.query(BodySeg.seg_name).all()
    session.close()
    return segs

然后 controllers 也建好啦!

下面就是见证奇迹的时刻,我们再贴一遍 pipeline 里面的代码:

from .items import BodySegItem  
from .controllers import body_seg


class BodySegPipeline:  
    def process_item(self, item, spider):
        """
        处理大类数据

        这个方法必须实现,每个item pipeline组件都需要调用该方法,
        这个方法必须返回一个 Item 对象
        被丢弃的item将不会被之后的pipeline组件所处理。

        :param item: item (Item 对象) – 被爬取的item
        :param spider: (Spider 对象) – 爬取该item的spider
        :return:
        """
        if isinstance(item, BodySegItem):
            body_seg.add(seg_name=item["seg"])
        return item

看到了吗? 直接使用 body_seg.add(seg_name=item["seg"])就可以写入数据库啦, 也不用管数据库里面表有没有建好, sqlalchemy 会自动帮你处理的.

启动爬虫, 数据就会源源不断地流入到我们的数据库啦