seo优化_前端开发_渗透技术当然，我们同步的代码也是可以进行使用的，只是存储的速度相对比较慢。
同步代码：需要在setting中进行配置打开
import pymysql
class MysqlPipeline(object):
"""
同步操作
"""
def __init__(self):
# 建立连接
self.conn = pymysql.connect('localhost','root','Abcd1234','test') # 有中文要存入数据库的话要加charset='utf8'
# 创建游标
self.cursor = self.conn.cursor()
def process_item(self,item,spider):
# sql语句
insert_sql = """
insert into test_zxf(quote,author,tags,born_date,born_location) VALUES(%s,%s,%s,%s,%s)
"""
# 执行插入数据到数据库操作
self.cursor.execute(insert_sql,(item['quote'],item['author'],item['tags'],item['born_date'],
item['born_location']))
# 提交，不进行提交无法保存到数据库
self.conn.commit()
def close_spider(self,spider):
# 关闭游标和连接
self.cursor.close()
self.conn.close()
异步代码：
异步的过程，我们是通过使用twisted实现。创建一个连接池，twisted讲解资料太少了
import pymysql
from twisted.enterprise import adbapi
class MysqlPipelineTwo(object):
def __init__(self,dbpool):
self.dbpool = dbpool
@classmethod
def from_settings(cls,settings): # 函数名固定，会被scrapy调用，直接可用settings的值
"""
数据库建立连接
:param settings: 配置参数
:return: 实例化参数
"""
adbparams = dict(
host=settings['MYSQL_HOST'],
db=settings['MYSQL_DBNAME'],
user=settings['MYSQL_USER'],
password=settings['MYSQL_PASSWORD'],
cursorclass=pymysql.cursors.DictCursor # 指定cursor类型
)
# 连接数据池ConnectionPool，使用pymysql或者Mysqldb连接
dbpool = adbapi.ConnectionPool('pymysql',**adbparams)
# 返回实例化参数
return cls(dbpool)
def process_item(self,item,spider):
"""
使用twisted将MySQL插入变成异步执行。通过连接池执行具体的sql操作，返回一个对象
"""
query = self.dbpool.runInteraction(self.do_insert,item) # 指定操作方法和操作数据
# 添加异常处理
query.addCallback(self.handle_error) # 处理异常
def do_insert(self,cursor,item):
# 对数据库进行插入操作，并不需要commit，twisted会自动commit
insert_sql = """
insert into test_zxf(quote,author,tags,born_date,born_location) VALUES(%s,%s,%s,%s,%s)
"""
cursor.execute(insert_sql,(item['quote'],item['author'],item['tags'],item['born_date'],
item['born_location']))
def handle_error(self,failure):
if failure:
# 打印错误信息
print(failure)
