scrapy 实战（一）如何构建一个爬虫系统

如何构建一个爬虫系统?

pip install scrapy
scrapy startproject examplespider
cd /path/to/examplespider/
scrapy crawl <http://example.com/>

对就这样完事了。一个基础的爬虫系统已经构建了。

然而，这远远是不够的。

比如： js生成的页面，抓页面图片，html解析，重复性检查，等等。

接下来，以抓取 www.guoku.com 为例构建一个 scrapy 项目

scrapy startproject andromeda

• 看下目录结构:

    
    ├── andromeda
    │   ├── __init__.py
    │   ├── __init__.pyc
    │   ├── items.py
    │   ├── middlewares    
    │   │   ├── __init__.py
    │   │   └── downloader.py  #增加下载器中间件
    │   ├── pipelines.py
    │   ├── settings.py
    │   ├── settings.pyc
    │   └── spiders
    │       ├── __init__.py
    │       └── guoku.py    # 增加了抓取 guoku.py 
    └── scrapy.cfg  

这里主要说明两个文件:

guoku.py
items.py

首先 item.py

# -*- coding: utf-8 -*-  
  
import scrapy  
  
  
class EntityItem(scrapy.Item):  
    brand   = scrapy.Field()  
    title   = scrapy.Field()
    price = scrapy.Field()

这里构建了一个 EntityItem 类。把我们需要的 数据建立一个类

这里包含了，

商品的品牌，名称，价格，等信息。图片下期再说。

再次是 guoku.py

定义完数据结构，我们就可以实施抓取了。

# coding=utf-8  
import scrapy  
from urlparse import urlparse  
from andromeda.items import EntityItem  
  
  
  
class GKSpider(scrapy.Spider):    #定义一个爬虫类  
  
    name    = "guoku"             #定义爬虫名字  
    allowed_domains = [  
        'guoku.com',  
    ]  
  
  
    def __init__(self, *args, **kwargs):  
        super(GKSpider, self).__init__(*args, **kwargs)  
        self.start_urls = [  
                "<https://www.guoku.com/selected>/", #定义需要抓取URL  
        ]  
  
    def parse(self, response):  
        o = urlparse(response.url)  
        urls    = response.css('a.img-entity-link::attr(href)').extract()  
        for uri in urls:  
            url = "{scheme}://{host}{uri}".format(scheme=o.scheme,  
                                                    host=o.netloc,  
                                                    uri=uri)  
            yield scrapy.Request(url, self.pares_entity)  
  
    def pares_entity(self, response):  
        self.logger.info(response.url)  
  
        item            = EntityItem()  
        item['brand']   = response.css('div.brand::text').extract_first()  
        item['title']   = response.css('div.entity-title::text').extract_first()  
        item['price']   = response.css('div.price-tag > span::text').extract_first()  
        return item

start_urls 定义我们需要抓取的链接

def __init__(self, uri, *args, **kwargs):  
    super(GKSpider, self).__init__(*args, **kwargs)  
    self.start_urls = [  
            "https://www.guoku.com/{uri}/".format(uri=uri),
    ]  

解析列表页

def parse(self, response):  
    o = urlparse(response.url)
    #这里主要解析出列表页中的单页的 URL  
    urls    = response.css('a.img-entity-link::attr(href)').extract()
  
    for uri in urls:
        #通过 for 循环将单页的URL压入堆栈   
        url = "{scheme}://{host}{uri}".format(scheme=o.scheme,  
                                                host=o.netloc,  
                                                uri=uri)
        yield scrapy.Request(url, self.pares_entity)

解析单页

def pares_entity(self, response):  
    self.logger.info(response.url)  

    #实例化 EntityItem 类。 通过解析器获取 html 中我们所需要的信息  
    item            = EntityItem()  
    item['brand']   = response.css('div.brand::text').extract_first()  
    item['title']   = response.css('div.entity-title::text').extract_first()  
    item['price']   = response.css('div.price-tag > span::text').extract_first()
    return item

项目源代码