scrapy出现SSL问题 如何解决？

问题：<twisted.python.failure.Failure OpenSSL.SSL.Error: [(‘SSL routines’, ”, ‘unsafe legacy renegotiation disabled’)]>
自从升级了python3.10 有些维护的网站就爬取不了了

报错如上
经分析 可知问题有2

1. 没有添加请求头
只需要添加请求头即可

2. 版本问题
需要查看自己两个库的版本pyOpenSSLcryptography

这两个库的版本必须完美卡在一个版本区间
比如 PyOpenSSL如果在21.0.0 以上 即失败
cryptography，如果安装最新也会失败

执行一下命令

pip install cryptography==3.4.8
pip install pyOpenSSL==21.0.0
然后重新执行我们的代码

完美执行。