hush的文章

2021-07-23hush阅读(391)赞(0)

问题：在运行scrapy的过程中，如果想主动退出该怎么做？ 背景：比如说我只要爬取当日的新闻，那么在遍历的时候，如果出现了超过1条不是当日的新闻，那么就不爬取了，就主动退出爬虫，这个时候该怎么做呢？ 代码如下： import scrapy ...

2021-07-22hush阅读(327)赞(0)

1.基于内存的key-value数据库 2.基于c语言编写的，可以支持多种语言的api //set每秒11万次，取get 81000次 3.支持数据持久化 4.value可以是string，hash， list， set, sorted s...

2021-07-22hush阅读(1006)赞(4)

1. 问题 今天把 redis 从 3 升级到里 5，我按照常规流程，下载 redis 解压并添加新路径到环境变量，然后删除原有 redis 的环境变量路径，之后打开 conf 文件进行配置； 在准备工作完成后，我使用 redis-serv...

2021-07-22hush阅读(383)赞(0)

scrapy是一个异步的爬虫框架、异步解决的很大的问题就是io方面的操作，当我们爬虫请求到数据后，进行存储(io)的过程，也是需要被处理为异步的。 当然，我们同步的代码也是可以进行使用的，只是存储的速度相对比较慢。 同步代码：需要在sett...

2021-07-21hush阅读(340)赞(0)

yield Request(url=parse.urljoin(response.url, p_url),callback=self.parse_detail) 回调函数不执行： 加上： dont_filter=True参数 yield R...

2021-07-20hush阅读(1277)赞(3)

首先确定自己的Python环境版本，例如Python 3.5、3.6、3.7，甚至2.X等等。 打开PyTorch官网：https://pytorch.org/get-started/locally/ 如上图所示，根据自己的系统、安装工具、...

2021-07-19hush阅读(1430)赞(0)

今天跑了一下yolov5报了一个错误： CUDA error: no kernel image is available for execution on the device 于是乎，根据显卡的型号对应的运算能力是否匹配： 主机显卡是30...

2021-07-17hush阅读(416)赞(0)

前言 学习selenium过程中遇到不少问题，总结整理一下给大家分享 问题描述 出现下面的这样几次error之后，程序自动终止了 [9232:2000:0222/102513.017:ERROR:ssl_client_socket_impl...