前面已经介绍过如何创建scrapy的项目，和对项目中的文件功能的基本介绍。
这次，就来谈谈使用的基本流程：
（1）首先第一点，打开终端，找到自己想要把scrapy工程创建的路径。这里，我是建立在桌面上的。打开终端，输入：
cd Desktop 就进入了桌面文件存储位置。
（2）创建scrapy工程。终端输入：scrapy startproject image
终端输入：cd image
继续输入：scrapy genspider imageSpider pic.netbian.com
（3）在pycharm中打开刚才桌面的文件，进入settings.py设置爬虫规则。可以将规则直接注释掉，或者改为False。
（4） 回到爬虫文件。
更改start_url,将爬虫默认的第一个网址更改为需要爬取的网站网址即可。
（5）下面就可以爬取数据了，这里选择了下载图片。
爬取完数据之后，要在存储数据的items.py文件中传输给管道
接下来在爬虫文件中引入管道模型。
from ..items import ImageItem
在爬虫文件中的parse函数中使用在items.py文件中创建的数据模型。
item = ImageItem()
注意点：
有时候在终端输出的时候，如果返回内容是scrapy.selector ,如果对象类型是scrapy.selector，那么这个对象可以被继续迭代，也可以用xpath继续寻找里面的内容。
如果终端遇到这个问题：
# ValueError:Missing scheme in request url:h
那么就需要使用extract（）将xpath对象转化成列表对象。而列表对象，可以继续被迭代，但是不可以使用xpath来寻找里面的对象。
在下载之前还需要在settings.py文件中，对图片下载的路径和存储位置进行设置。
下面附代码如下。仅有爬虫文件的代码：
# -*- coding: utf-8 -*-
import scrapy
from ..items import ImageItem
class ImagespiderSpider(scrapy.Spider):
name = 'imageSpider'
allowed_domains = ['pic.netbian.com']
start_urls = ['http://pic.netbian.com/4kmeinv/']
def parse(self, response):
img_list = response.xpath('//ul[@class="clearfix"]/li/a/img/@src')
# 找到了很多src属性值，现在进行遍历，分别使用每一个
for img in img_list:
# 使用在items.py中创建的数据模型item
item = ImageItem()
print('--------------------')
img = img.extract()
# 拼接图片的url，得到完整的下载地址
src = 'http://pic.netbian.com' +img
# 将得到的数据放入到模型中
# 因为是下载地址，所以要用列表包起来，否则会报错。
item['src'] = [src]
yield item
next_url = response.xpath('//div[@class="page"]/a[text()="下一页"]/@href').extract()
print('*****************************************************************')
if len(next_url)!=0:
url = 'http://pic.netbian.com'+next_url[0]
# 将url传给scrapy.Request 得到的结果继续用self.parse进行处理
yield scrapy.Request(url=url,callback=self.parse)
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。