在使用 datetime 库的时候，创建了一个对象。但是通过 Item 入MongoDB库的时候提示

2021-11-30 21:58:04.183 | DEBUG | feapder.core.parser_control:run:464 - parser 等待任务... 2021-11-30 21:58:04.197 | ERROR | feapder.utils.tools:dumps_json:844 - Object of type datetime is not JSON serializable 2021-11-30 21:58:04.201 | DEBUG | feapder.buffer.item_buffer:__add_item_to_db:323 -

其中一个json内容是：

[{'_id': 2508352, 'elapsed_mins': 1.0691154666666667, 'first_post_time': '11-30 21:57', 'first_post_time_obj': datetime.datetime(2021, 11, 30, 21, 57)...

但是在MongoDB上却能正常看到这个入库：

搜了一下网上的。发现是 json.dumps 不支持这个类型，解决方法简单粗暴转换为 str，其中一个方法是添加 default=str 在对应部分。

json.dumps(my_dictionary, indent=4, sort_keys=True, default=str)

不知道大佬觉得应该如何解决？实在不想转换到 str。。。。 多谢了！

********** feapder begin ********** Thread-5|2021-03-31 15:51:30,281|proxy_pool.py|reset_proxy_pool|line:664|DEBUG| 重置代理池成功: 获取5, 成功添加5, 失效0, 当前代理数5, Thread-5|2021-03-31 15:51:30,809|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:33,600|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:33,600|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:33,600|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 10 Thread-5|2021-03-31 15:51:34,604|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:34,604|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:34,604|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 20 Thread-5|2021-03-31 15:51:35,608|proxy_pool.py|reset_proxy_pool|line:664|DEBUG| 重置代理池成功: 获取5, 成功添加0, 失效5, 当前代理数0, Thread-5|2021-03-31 15:51:35,608|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:35,608|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:35,608|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:35,608|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 30 Thread-5|2021-03-31 15:51:36,613|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:36,613|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 40 Thread-5|2021-03-31 15:51:37,617|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:37,617|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:37,617|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 50 Thread-5|2021-03-31 15:51:38,621|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:38,622|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 60 Thread-5|2021-03-31 15:51:39,626|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:39,626|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 70 Thread-5|2021-03-31 15:51:40,629|proxy_pool.py|reset_proxy_pool|line:664|DEBUG| 重置代理池成功: 获取5, 成功添加0, 失效5, 当前代理数0, Thread-5|2021-03-31 15:51:40,629|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:40,629|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:40,629|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:40,629|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 80 Thread-5|2021-03-31 15:51:41,634|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:41,634|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:41,634|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 90 Thread-5|2021-03-31 15:51:42,638|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:42,638|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 100 Thread-5|2021-03-31 15:51:43,643|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:43,643|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:43,643|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 110 Thread-5|2021-03-31 15:51:44,646|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:44,646|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 120 Thread-5|2021-03-31 15:51:45,649|proxy_pool.py|reset_proxy_pool|line:664|DEBUG| 重置代理池成功: 获取5, 成功添加0, 失效5, 当前代理数0, Thread-5|2021-03-31 15:51:45,649|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:45,650|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:45,650|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:45,650|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 130 Thread-5|2021-03-31 15:51:46,654|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:46,654|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:46,654|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 140 Thread-5|2021-03-31 15:51:47,659|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:47,659|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 150 Thread-5|2021-03-31 15:51:48,664|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:48,664|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 160 Thread-5|2021-03-31 15:51:49,666|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:49,666|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:49,666|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 170 Thread-5|2021-03-31 15:51:50,669|proxy_pool.py|reset_proxy_pool|line:664|DEBUG| 重置代理池成功: 获取5, 成功添加0, 失效5, 当前代理数0, Thread-5|2021-03-31 15:51:50,669|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:50,669|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:50,669|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:50,670|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 180 Thread-5|2021-03-31 15:51:51,674|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:51,675|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:51,675|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 190 Thread-5|2021-03-31 15:51:52,679|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:52,680|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 200 Thread-5|2021-03-31 15:51:53,682|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:53,682|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:53,682|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 210 Thread-5|2021-03-31 15:51:54,687|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:54,687|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 220 Thread-5|2021-03-31 15:51:55,693|proxy_pool.py|reset_proxy_pool|line:664|DEBUG| 重置代理池成功: 获取5, 成功添加0, 失效5, 当前代理数0, Thread-5|2021-03-31 15:51:55,693|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:55,693|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:55,693|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:55,693|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 230 Thread-5|2021-03-31 15:51:56,698|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:56,698|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:56,698|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 240 Thread-5|2021-03-31 15:51:57,701|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:57,701|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 250 Thread-5|2021-03-31 15:51:58,706|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:58,706|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:58,706|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 260 Thread-5|2021-03-31 15:51:59,711|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:51:59,711|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 270 Thread-5|2021-03-31 15:52:00,715|proxy_pool.py|reset_proxy_pool|line:664|DEBUG| 重置代理池成功: 获取5, 成功添加0, 失效5, 当前代理数0, Thread-5|2021-03-31 15:52:00,715|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:52:00,715|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:52:00,715|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 280 Thread-5|2021-03-31 15:52:01,720|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:52:01,720|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:52:01,720|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 290 Thread-5|2021-03-31 15:52:02,721|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:52:02,722|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:52:02,722|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 300 Thread-5|2021-03-31 15:52:03,723|request.py|get_response|line:272|DEBUG| 暂无可用代理 ... Thread-5|2021-03-31 15:52:03,723|proxy_pool.py|reset_proxy_pool|line:646|DEBUG| 代理池重置的太快了:) 310

目前想完成一个需求：爬取目标网站的所有 URL。代码如下：

class UrlSpider(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://example.cn")

    def parse(self, request, response):
        print(response.url)
        url_list = response.re("<a.*?href='(.*?)'")
        for url in url_list:
            # print(url)
            if response.url in url:
                yield feapder.Request(url, callback=self.parse)

这样调用的时候，url_list 中的 url 只有部分进入 feapder.Request 中。 同时设置 REQUEST_FILTER_ENABLE = True 后，似乎也没有生效。 是否我的使用方式存在问题？

PS：像 Scrapy 的 Link extractor 一样的效果。

feapder create -s first_spider 3
usage: feapder [-h] [-p] [-s] [-i] [-t] [-init] [-j] [-sj] [-c] [--params] [--setting] [--host] [--port] [--username] [--password] [--db] feapder: error: unrecognized arguments: 3

大佬的parse解析函数写的很棒，很适合小白分析网页数据并定位节点。 但每次都需要向网站发送request，然后根据网站回传的response进行解析，有些网站又做了反爬处理，时不时就弹验证，需要手动处理。实际上，小白写代码时需要不停的获取response（也就是网站的html文件）来编写代码，那就考虑把网站的html保存到本地，然后调用feapder处理，查看了说明文档和网上的实例，都没提及这点，所以想请教大佬该怎么操作？谢谢！

import feapder

class CantonfairAirSpider(feapder.AirSpider): def start_requests(self): yield feapder.Request("https://www.cantonfair.org.cn",verify=True)

def parse(self, request, response):
    html = response.text
    print(html)

if name == "main": CantonfairAirSpider().start()

解决方案

刚刚通过此文已将问题解决： 膜拜此文作者的刨根问题精神：https://zhuanlan.zhihu.com/p/350015032

遇到的问题

环境

操作系统：WIN10

Python版本：3.10

feapder代码

import feapder
from feapder import Item 

class ddxpTest(feapder.AirSpider):
    def start_requests(self):
        for i in range(200):
            yield feapder.Request(f"https://www.google.com/#{i}")

    def download_midware(self, request):
        request.proxies = {'http':"http://127.0.0.1:10801",'https':"https://127.0.0.1:10801"}
        return request

    def parse(self, request, response):
        title = response.xpath("//title/text()").extract_first()
        item = Item() 
        item.table_name = "spider_data" # 表名
        item.title = title
        yield item

if __name__ == "__main__":
    ddxpTest(thread_count=30).start()

截取的报错信息：

2021-11-18 10:58:27.859 | ERROR    | feapder.core.parser_control:deal_requests:607 - 
                                -------------- ddxpTest.parse error -------------
                                error          HTTPSConnectionPool(host='www.google.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', TimeoutError('_ssl.c:980: The handshake operation timed out')))
                                response       None
                                deal request   {
                            "url": "https://www.google.com/#178",
                            "parser_name": "ddxpTest",
                            "proxies": {
                                                        "http": "http://127.0.0.1:10801",
                                                        "https": "https://127.0.0.1:10801",
                                                        "ftp": "ftp://127.0.0.1:10801"
                            }
}

而且挂了代理后，百度也不能访问了：

2021-11-18 10:55:44.536 | ERROR    | feapder.core.parser_control:deal_requests:607 - 
                                -------------- ddxpTest.parse error -------------
                                error          HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', TimeoutError('_ssl.c:980: The handshake operation timed out')))
                                response       None
                                deal request   {
                            "url": "https://www.baidu.com/#188",
                            "parser_name": "ddxpTest",
                            "proxies": {
                                                        "http": "http://127.0.0.1:10801",
                                                        "https": "https://127.0.0.1:10801",
                                                        "ftp": "ftp://127.0.0.1:10801"
                            }
}

使用requests库测试挂代理访问google，一切正常。

import requests
proxies = {    'socks5': 'socks5://127.0.0.1:10800',    'socks5': 'socks5://127.0.0.1:10800'}
# proxies = {'http':"http://127.0.0.1:10801",'https':"https://127.0.0.1:10801"}
r = requests.get('http://www.google.com',proxies=proxies)
print(r.text[:30])

输出：<!doctype html><html itemscope

I have copied codes from test_playwright.py in a bacthspider script, and it worked wrong with warning: "It looks like you are using Playwright Sync API inside the asyncio loop. Please use the Async API instead." I known test_playwright plays well in Airspider demo, does there exist a bacthspider demo using palywright?

chrome 的渲染有个问题， selenium + chrome 访问 https://baijiahao.baidu.com/s?id=1739368224007714423 时，浏览器会一直加载一个 js 文件，造成该标签页卡住，然后浏览器就无法响应其他行为（刷新，获取页面源码，访问其他url……），feapder 是否可以加一个参数来禁止加载 js。

如果以上链接失效，请访问以下任意链接： https://baijiahao.baidu.com/s?id=1739304797053642547&wfr=spider&for=pc https://baijiahao.baidu.com/s?id=1739377098661725506&wfr=spider&for=pc https://baijiahao.baidu.com/s?id=1739377692137820326&wfr=spider&for=pc https://baijiahao.baidu.com/s?id=1739377788266450267&wfr=spider&for=pc

你好，我使用框架抓取自动入库后，发现MySQL中每批数据仅存储了第一条；运行过程中并没有报错；

我开启了item去重和request去重；

# 去重
ITEM_FILTER_ENABLE = True  # item 去重
REQUEST_FILTER_ENABLE = True  # request 去重

存储时代码大概是这样的；

for keyword_info in response.json["extendList"]['list']:
    keyword = keyword_info['word']
    word_id = keyword_info['word_id']
    keyword_relate = keyword_info['relate']

    # 准备存储；
    item.keyword = request.keyword
    item.keyword_id = request.keyword_id
    item.recommend_keyword = keyword
    item.recommend_keyword_id = word_id
    item.keyword_relate = keyword_relate

    yield item  # 存入MySQL；

你好，我在使用框架的时候遇到这样一个现象，可能会是一个潜在的隐患 我是直接在解析体里实例化Item，然后给Item的各个键赋值。 整个解析体会有一些条件分支，如下示例代码所示 一开始我没有注意到，因为大部分情况和我料想的一样 else语句里没有赋值的字段都是自动填充None到数据库的 但是后来发现，有的数据本来key_a, key_b, key_c需要有值的，实际上却只有一个status字段的值是1，其余均为空 定位到上面那张图的代码位置 原因我猜想是这样的，多条数据在一起入库，生成sql语句的时候，选择了列表中第一条记录的key，而第一条记录的key如果是else条件下赋值的，就会只有一个字段被使用，那么这一批一起入库的数据就只有一个字段入库了 不知作者能不能明白我的意思哈哈~

item = Item()
item.create_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time()))
if 'hhh' in response.text:
    item.status = 1
    item.key_a = response.xpath('...')
    item.key_b = response.xpath('...')
    item.key_c = response.xpath('...')
else:
    item.status = 0

需知

升级feapder，保证feapder是最新版，若BUG仍然存在，则详细描述问题

pip install --upgrade feapder

问题 当数据库连接失败的时候,conn,和cursor未返回,调用close_connection会报错 截图

代码 feapder.db.mysqldb.py文件

建议在try之前定义conn,cursor,再close_connection加入判断如下:

    def close_connection(self, conn, cursor):
        if conn:
            cursor.close()
        if cursor:
            conn.close()

问题 在 python3.8.x 下， feapder 所有版本都有这个问题，当使用某些IP白名单 ssl 代理时，会遇到各种连接不上代理服务器的错误。

错误会有很多种，我遇到的：443错误，1133 错误，握手超时 等

解决方法 安装完所有包后，卸载 urllib3，并安装 1.26 以下的低版本，这样就可以正常使用 ssl 代理了。 pip uninstall urllib3 pip install urllib3==1.25.11

1.修复了在content含有非法字符时，自定义encoding不生效，而是使用UnicodeDammit对文本进行解析，导致response.text输出仍为乱码的问题 2.修复了使用UnicodeDammit猜测编码并转换文本后，encoding、apparent_encoding和文本实际编码显示不一致的问题 3.修复了ContentType为text/html时无法从请求头中获取编码的问题

以下为测试内容

from feapder import Request
print(False or 0)
res2 = Request('''http://part.csmu.edu.cn:82/zcglc/index.php?_m=mod_article&_a=fullist&caa_id=19''').get_response()
res2.encoding='utf-8'
print(res2.text)
print(res2.encoding)
print(res2.apparent_encoding)
print(res2.encoding_errors)

import feapder from feapder.network.proxy_pool import ProxyPool from feapder import Request from datetime import date from feapder.db.mysqldb import MysqlDB import time, re from utils.tengxunCos import tengxunCos from utils.langconv import *

proxy_pool = ProxyPool(reset_interval_max=1200, reset_interval=300, check_valid=False) feapder.Request.proxies_pool = proxy_pool

def parse(self, request, response): movie_id = request.movie_id if "可播放" in response.text: 。。。。。。。。。 elif "登录跳转" in response.text: print("检测到有异常请求从您的IP发出，请登录再试") request.proxies_pool.tag_proxy(request.requests_kwargs.get("proxies"), -1)

request.proxies_pool.tag_proxy(request.requests_kwargs.get("proxies"), -1) 这行代码无效