scrapy —— 猫眼电影信息爬取

2018-07-01

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或处理历史数据等一系列的程序中。

猫眼电影信息爬取

在开始爬取之前，我们需要创建一个新的Scrapy项目。进入打算存储代码的目录中，运行下列命令：

1	scrapy startproject maoyan

该命令将会创建包含下列内容的tutorial目录：

maoyan/
	scrapy.cfg:项目的配置文件
	maoyan/
		_init_.py
		items.py
		pipelines.py
		settings.py
		spiders/
			_init_.py
			...

定义Item

Item是保存爬取到的数据的容器，其使用方法和python字典类似，并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

编辑maoyan目录中的items.py文件：

import scrapy

class MaoyanItem(scrapy.Item):
    # 名字
    movie_name = scrapy.Field()
    # 英文名
    movie_ename = scrapy.Field()
    # 国家
    country = scrapy.Field()
    # 类型
    movie_type = scrapy.Field()
    # 时长
    movie_time = scrapy.Field()
    # 上映时间
    online_time = scrapy.Field()
    # 评分
    movie_star = scrapy.Field()
    # 票房
    movie_total_price = scrapy.Field()
    # 图片
    img = scrapy.Field()
    # 导演
    director = scrapy.Field()
    # 导演图片
    director_src = scrapy.Field()
    # 演员
    actor = scrapy.Field()
    # 演员图片
    actor_src = scrapy.Field()
    # 电影简介
    introduction = scrapy.Field()

编写爬虫（Spider）

定义以下三个属性：

name：用于区别Spider。该名字必须是唯一的，不可以为不同的Spider设定相同的名字
start_urls：包含了Spider在启动时进行爬取的url列表。因此，第一个被获取到的页面将是其中之一。后续的URL则从初始的URL获取到的数据中提取
parse_item()：Spider的一个方法

这里继承的爬虫为CrawlSpider。对比Spider继承过来的属性外，提供了一个新的属性：

rules

一个包含一个（或多个）Rule对象的集合（list）。每个Rule对爬取网站的动作定义了特定表现。如果多个rule匹配了相同的链接，则根据他们在本属性中被定义的顺序，第一个会被使用。

1	class scrapy.contrib.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None)

link_extractor 是一个 Link Extractor 对象。其定义了如何从爬取到的页面提取链接。
callback 是一个callable或string(该spider中同名的函数将会被调用)。从link_extractor中每获取到链接时将会调用该函数。该回调函数接受一个response作为其第一个参数，并返回一个包含 Item 以及(或) Request 对象(或者这两者的子类)的列表(list)。

警告

当编写爬虫规则时，请避免使用 parse 作为回调函数。由于 CrawlSpider 使用 parse 方法来实现其逻辑，如果您覆盖了 parse 方法，crawl spider 将会运行失败。

编辑spiders文件中的maoyanSpider.py文件：

import scrapy
from scrapy.spiders import Rule, CrawlSpider
from scrapy.selector import Selector
from scrapy.linkextractors import LinkExtractor
from maoyan.items import MaoyanItem


class MaoyanSpider(CrawlSpider):
	name = 'maoyan'
	# allowed_domains = ['http://maoyan.com/']
	start_urls = ['http://maoyan.com/films']
	rules = (
		Rule(LinkExtractor(allow=(r'http://maoyan.com/films/\d+')), callback='parse_item'),
		Rule(LinkExtractor(allow=(r'http://maoyan.com/films\?offset=\d+')))
	)

	def parse_item(self, response):
		# print(response.body)
		sel = Selector(response)
		movie_name = sel.xpath('/html/body/div[3]/div/div[2]/div[1]/h3/text()').extract_first()
		movie_ename = sel.xpath('/html/body/div[3]/div/div[2]/div[1]/div/text()').extract_first()
		movie_type = sel.xpath('/html/body/div[3]/div/div[2]/div[1]/ul/li[1]/text()').extract_first()
		movie_publish = sel.xpath('/html/body/div[3]/div/div[2]/div[1]/ul/li[2]/text()').extract_first()
		if '/' in movie_publish:
			country = movie_publish.split('/')[0].strip()
			movie_time = movie_publish.split('/')[1].strip()
		else:
			country = movie_publish
			movie_time = sel.xpath('/html/body/div[3]/div/div[2]/div[1]/ul/li[3]/text()').extract_first()
		online_time = sel.xpath('/html/body/div[3]/div/div[2]/div[1]/ul/li[3]/text()').extract_first()
		movie_star = sel.xpath('/html/body/div[3]/div/div[2]/div[3]/div[1]/div/span/span/text()').extract_first()
		movie_total_price = sel.xpath('/html/body/div[3]/div/div[2]/div[3]/div[2]/div/span[1]/text()').extract_first()
		img = sel.xpath('/html/body/div[3]/div/div[1]//img/@src').extract_first().split('@')[0]
		director = sel.xpath('//li[@class="celebrity "]/div/a/text()').extract_first()
		director = director.strip()
		director_src = sel.xpath('//li[@class="celebrity "]/a/img/@data-src').extract_first().split('@')[0]
		actor = sel.xpath('//li[@class="celebrity actor"]/div/a/text()').extract()
		for i in range(len(actor)):
			actor[i] = actor[i].strip()
		# 去重
		new_actor = []
		for single in actor:
			if single not in new_actor:
				new_actor.append(single)
		actor = new_actor
		actor_src = sel.xpath('//li[@class="celebrity actor"]/a/img/@data-src').extract()
		# 去重
		new_actor_src = []
		for single in actor_src:
			single = single.split('@')[0]
			if single not in new_actor_src:
				new_actor_src.append(single)
		actor_src = new_actor_src
		introduction = sel.xpath('.//div[@class="mod-content"]/span/text()').extract_first()
        
		item = MaoyanItem()
		item['movie_name'] = movie_name
		item['movie_ename'] = movie_ename
		item['movie_type'] = movie_type
		item['country'] = country
		item['movie_time'] = movie_time
		item['online_time'] = online_time
		item['movie_star'] = movie_star
		item['movie_total_price'] = movie_total_price
		item['img'] = img
		item['director'] = director
		item['director_src'] = director_src
		item['actor'] = actor
		item['actor_src'] = actor_src
		item['introduction'] = introduction

		yield item

将数据存入MongoDB

我们可以通过pymongo连接MongoDB数据库进行操作

编辑pipelines.py：

import pymongo

class MaoyanPipeline(object):
    def __init__(self, mongo_host, mongo_port, mongo_db, mongo_co):
        self.mongo_host = mongo_host
        self.mongo_port = mongo_port
        self.mongo_db = mongo_db
        self.collection_name = mongo_co

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_host = crawler.settings.get('MONGODB_HOST'),
            mongo_port = crawler.settings.get('MONGODB_PORT'),
            mongo_db = crawler.settings.get('MONGODB_DBNAME'),
            mongo_co = crawler.settings.get('MONGODB_DOCNAME'),
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(host = mongo_host, port = mongo_port)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert(dict(item))
        return item

修改配置

由于猫眼电影引入了反爬虫机制，我们需要修改setting中的设置。例如，加入延迟、修改代理等。

编辑 settings.py：

BOT_NAME = 'maoyan'

SPIDER_MODULES = ['maoyan.spiders']
NEWSPIDER_MODULE = 'maoyan.spiders'

ROBOTSTXT_OBEY = False
COOKIES_ENABLED = True
DOWNLOAD_DELAY = 10
LOG_LEVEL = 'DEBUG'
RANDOMIZE_DOWNLOAD_DELAY = True
# 关闭重定向
REDIRECT_ENABLED = False
# 返回302时,按正常返回对待,可以正常写入cookie
HTTPERROR_ALLOWED_CODES = [302,]
ITEM_PIPELINES = {  
   'maoyan.pipelines.MaoyanPipeline': 300,  
}
# 1为该Pipeline的优先级，越小就越先执行  

# 伪装成浏览器访问页面
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"

# MONGODB 主机
MONGODB_HOST = ''   # 设置为mongodb数据库的ip地址  
# 端口号，默认是27017  
MONGODB_PORT = 27017
# 设置数据库名称
MONGODB_DBNAME = 'maoyanmovie'
# 存放本次数据的表名称  
MONGODB_DOCNAME = 'new_decode_movie'
# 数据库的用户名
MONGODB_USERNAME = 'heygrandpa'
# 数据库的密码
MONGODB_PASSWORD = 'SYSU2018'

爬取

完成所有配置之后，进入项目的根目录，执行下列命令启动spider：

1	scrapy crawl maoyan

资源

由于猫眼电影上的评分和票房均加密，爬取下来的数据为生僻字。前排感谢zmj研究了破解的方法，我们小组的代码已经给出——github链接。