博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
windows下安装python+scrapy
阅读量:6243 次
发布时间:2019-06-22

本文共 1262 字,大约阅读时间需要 4 分钟。

最近忽然有了想要学习python爬虫的想法,但是首先需要安装工具。python安装倒是很轻松,只要傻瓜式一键安装即可,但是在Windows下安装scrapy倒不是件容易的事情。言归正传,说下我从昨天下午到今天上午安装的步骤:

1、python的安装

进入python的官网,点击downloads选项进入下载页,如图:

图片描述

根据自己的机型,选择下载对应的安装包,我下载的是python 3.5.3版本的:

图片描述

选定下载位置,傻瓜式一键安装即可。实际上,32位和64位的版本安装起来没有区别,双击打开后,第一步要记得勾上add python to Path 选项,这样的好处是自动配置环境变量

clipboard.png

可在命令提示符中用命令python --version,验证安装是否成功:

clipboard.png

到此,python已经安装好了!!!是不是hin简单~接下来安装scrapy吧^-^


2、scrapy的安装

先安装pywin32,进入,下载与已安装python版本对应的pywin64安装包,例如python3.4 64位对应的安装包为pywin32-218.win-amd64-py3.4.exe,下载完成后一直next安装,依然是傻瓜式安装法

clipboard.png

检查安装结果,在python命令行输入import win32api,如果没有报错说明安装完成,如果报错说明PYTHONPATH环境变量没有配置

clipboard.png

配置PYTHONPATH环境变量,将python安装目录下lib目录中的site-packages路径添加到PYTHONPATH环境变量,再次检验安装结果

clipboard.png

安装Twisted,进入下载对应twisted和lxml

clipboard.png

clipboard.png

打开命令提示符窗口,输入命令:

pip install D:downloadsTwisted-16.4.1-cp35-cp35m-win_amd64.whl(下载好的twisted模块的whl文件路径),盗一下别人的图

clipboard.png

再输入命令:pip --version,检查安装是否成功

clipboard.png

3、pip的安装,估计因为我安装的版本自动配置环境变量,所以我好像没有下载pip,就可以用pip命令

如图:

clipboard.png

但是,如果安装pip的话,同样要去python的官网下载,下载地址是 ,选择相应版本下载,下载完成之后,解压到文件夹。在该文件夹的目录下使用控制台命令:输入python setup.py install;并添加入环境变量。

clipboard.png


好啦!一切准备工作就绪,现在开始安装scrapy~

twisted库安装成功后,安装scrapy就简单了,在命令提示符窗口直接输入命令: pip install scrapy 回车

clipboard.png

现在一切都搞定了,可以新建一个Scrapy测试,敲一个基于Scrapy框架的爬虫程序咯。

心得:Windows下的安装过程还是很麻烦的,因为有很多依赖要添加,不过在各方查找资料以后仿佛就不是那么难了!一步一步在cmd中运行测试,还要看错误提示,少哪一个依赖就下载哪一个安装哪一个!环境框架已经搭好,接下来就是学习如何写爬虫程序了。

再贴两个链接吧:
1、
2、

转载地址:http://zopia.baihongyu.com/

你可能感兴趣的文章
C#下2\10\16进制互转代码总汇
查看>>
人工智能和机器学习领域的一些有趣的开源项目
查看>>
Objective-C:继承的体现
查看>>
三星发布Exynos 7872移动处理器 定位中端市场
查看>>
面试题大全
查看>>
设计模式系列-命令模式
查看>>
Java中的流
查看>>
如何启动或关闭oracle的归档(ARCHIVELOG)模式
查看>>
[LintCode] Paint Fence 粉刷篱笆
查看>>
mysql中实现类似oracle中的nextval函数
查看>>
使用按键精灵+umdh定位内存泄露问题的方式
查看>>
RecyclerView实现ViewPager效果
查看>>
Bandicam视频录制技巧总结+小丸工具箱压缩视频解决视频体积问题
查看>>
JSP实现用户登录样例
查看>>
搞笑的W3C和M$对DOM中属性命名
查看>>
[Struts]让Dreamweaver显示Struts标签的插件
查看>>
便利的html5 之 required、number 、pattern
查看>>
[LeetCode] Find K Pairs with Smallest Sums 找和最小的K对数字
查看>>
VC6.0 C++ 如何调用微软windows系统SDK 语音API
查看>>
Python 3.5 RuntimeError: can't start new thread
查看>>