亲宝软件园·资讯

展开

scrapy ssh连接远程服务器

Aomori 人气:0

前段时间用scrapy尝试抓取一些数据,写的时候真的很酸爽,眼睛要花掉了 但是!我没有存到数据库中,也就是说我只是确认了爬虫的代码没问题(草)
为什么我要用服务器的mysql,本地的不好吗? 其实是我没有在本地装MySQL,但是我有服务器,再加上有phpmyadmin这么友好的web-base数据库管理工具,干嘛还折腾本地装软件

挖坑

其实刚开始写的时候,我是把数据库这模块的代码抛开的,链接数据库?不是很简单的事情吗,有啥好写的,首先打开搜索引擎,输入“ 如何用python连接远程mysql ”不就好了嘛!
然后我发现我看不懂,肯定是我打开的方式不对

填坑

后来经过了一路子的折腾,终于写好了,也连上了!
这里说一点不同的,在纯python上链接远程MySQL的代码,搬到scrapy上,是行不通的,虽然原理差不多,但还是得改
肯定是我搜索的姿势不正确,我找不到相关完整的scrapy链接远程mysql的参考,纯python的参考为居多。当时我另写了一个纯python测试链接,成功之后搬到scrapy的piplines.py上,Error警告啊

好了好了,不说废话了,回归正题

开搞

这里用到两个库,pymysql和sshtunnel

sshtunnel

它是让你通过ssh安全通道访问远程服务器的python库

pymysql

pymysql是在python3.5以上版本,用于链接MySQL的一个库,如果你是python3.4就装mysqldb这个库,(因为有很多参考上用的是mysqldb库)所以根据你的版本,不要装错了,不然就吃红条(错误)吧

代码

放置在piplines.py中

import pymysql
import sshtunnel

class SpiderPipeline(object):

    server = sshtunnel.SSHTunnelForwarder(
            ('**.***.**.**', 22),  #写你服务器的ip地址
            ssh_username='**',     #连接服务器的用户名
            ssh_password='**',     #连接服务器的密码
            remote_bind_address=('**.***.**.**', 3306), #服务器ip
            local_bind_address=('127.0.0.1', 3306)
        )
    server.start()   #连接开启
    print('SSH连接成功')

    def __init__(self):
            self.connect = pymysql.connect(
                host='127.0.0.1',
                port=3306,
                user='***',      # 数据库的用户名
                database='***',  # 数据库的库名
                password='***',  # 数据库密码
                charset='utf8'
            )
            print('mysql数据库连接成功')
            self.cursor = self.connect.cursor()
            print('游标获取成功')

    def process_item(self, item, spider):
        #我这里写的是插入数据的sql语句
        sql = """INSERT INTO charpter(CharterName,NovelName) VALUES ('%s','%s')""" % (item['charter_name'],item['book_name'])
        #执行sql
        self.cursor.execute(sql)
        #提交数据
        self.connect.commit()
        print('数据插入成功')
        return item

    def close_spider(self,spider):
        self.cursor.close()    #关闭游标
        self.connect.close()   #关闭数据库链接
        # server.stop()        #关闭ssh链接

这里就不多说废话了,看代码里面的注释基本能看懂了

我这种方式是同步存储,存储的速度相对慢一点,异步存储方式我还没去研究,这里给自己挖个坑,研究完异步存储我就另写一篇文哈哈哈

Mysql相关问题

如果发现代码无误的情况下,还是无法链接成功,这个时候就要看看你服务器的MySQL是否允许外来接入

mysql开放3306端口

要让MySQL允许链接,就要开放3306端口

查看端口是否打开

netstat -an|grep 3306

打开MySQL配置文件

文件路径:/etc/mysql/my.cnf

将里面的bin-address = 127.0.0.1 注释掉

重启MySQL

service mysqld restart

防火墙开放3306端口

查看firewalld状态

systemctl status firewalld

开放3306端口

firewall-cmd --zone=public --add-port=3306/tcp --permanent

重载

firewalld-cmd --reload

小结

其实连接数据库还是挺简单的,至少代码一看就懂,细心还是很重要的。当死活连不上,死活报错的时候,反过来想,代码肯定没问题,应该是哪个数据库的表或字段没有和代码上的一一对应,密码有特殊符号但是没转义等等,除此之外剩下的就交给程序玄学了

加载全部内容

相关教程
猜你喜欢
用户评论