Scrapy-Redis Windows下多台机互联

一、下载安装Redis

新下载：redis-6.2.6
假设主机IP为192.168.112.123，从机IP为192.168.112.124
192.168.112.123 （简称A）本IP为假设IP，使用真实IP进行测试过，完全可用
192.168.112.124 （简称B）本IP为假设IP，使用真实IP进行测试过，完全可用
确保在一个局域网内，且相互可以ping通。

---

二、配置Redis

进入cmd,输入redis-cli并回车。（redis-cli是客户端程序）如图正常提示进入，并显示正确端口号，则表示服务已经启动

本地IP:端口号
4.Redis配置 A、B的redis.windows.conf和redis.windows-service.conf文件
A的配置：
在两个文件中插入：

B的配置：(端口不能一样）

bind 192.168.112.123
port 6378
slaveof 192.168.112.124 6379

redis.windows-service.conf配置文件中,找到requirepass foobared字样，在其后面追加一行，输入requirepass 123456。这是访问Redis时所需的密码
配置完成后进入计算机服务中(右键计算机–>管理–>服务和应用程序–>服务)重启服务

---

开启主机服务

redis-server.exe redis.windows.conf

开启从机服务：

redis-server.exe redis.windows.conf

安装完进行启动验证
进入Redis的目录，cd E:\big data\Redis（我的redis存储地）

三、连接mysql

首先！！

在同一局域网下（连接同一网络）
关闭防火墙
可以先ping一下主机ip地址，确保两台电脑可以连接
利用navicat连接主机mysql

---

四、Scrapy-Redis代码

先写一个scrapy框架代码，并且保障可以成功运行
对scrapy代码进行更改，改为redis框架
运行即可

---

五、出现问题

本机打开时，出现积极拒绝

解决：

先启动service服务端，再开启客户端

redis-cli.exe

---

redis启动 creating server tcp listening socket

*解决：*端口被占用
在命令行中运行

redis-cli.exe
127.0.0.1:6379>shutdown
not connected>exit

然后重新运行redis-server.exe redis.windows.conf，启动成功

---

连接mysql时出现问题：
1064, "You have an error in your SQL syntax; check the manual that corresponds to your MySQL server
*解决：*更改mysql权限配置，仅主机需要
pycharm出现问题
出现问题代码：

sql = "insert into  select  (title,url) values ( %s, %s)"

改正为：

sql = "insert into `select` (title,url) values ( %s, %s)"

---

运行时：

Module 'banban.pipelines' doesn't define any object named 'BanbanPipeline'

这是在settings和pipelines设置中名字有误，出现程序无法判断管道问题。
*解决 *：保持settings中管道名与pipeline一致

问题：

这篇好文章是转载于：学新通技术网