释放双眼,带上耳机,听听看~!
自带的校验功能还是比较慢,且不支持去重和清洗分组,所以自己就搓了一个简陋的小工具,来实现这些需求
验证了去重后的 2004 条书源,耗时仅 30 秒,具体详情可以看后面的说明。
因为是花了差不多一天写的,还比较简陋,功能不多,局限也多,不能接受的话,可以在寻找其他方案,下载链接在文末
局限
- 仅支持检测单个
json文件
书源(导出) - 仅判断书源地址是否可访问(状态码:200),不支持复杂判断(包括不限于,搜索功能是否可用、小说内容是否正常获取、内容是否缺失等等)
- 已有功能(自动归类、去重)强制执行,不支持关闭
功能
- 批量判断书源是否能被访问(状态码:200)
- 清理分组并自动归类(去除原始分组,自动按照:小说、漫画、音频、文件 进行分组)、
- 去除重复 URL(按照域名判断,相同域名只保留第一条)
采用了 多线程+协程 的方式进行批量检测
我采用默认配置进行了测试,验证了去重后的 2004 条书源,耗时仅 30 秒
用法
界面运行
双击打开(只能使用默认配置,读取 book.json
文件)
命令行
start.exe [-h] [-f JSON_FILE] [-t NUM_THREADS] [-b BATCH_SIZE] [-s TIMEOUT] -f --json_file json文件路径(默认读取 book.json) -t --num_threads 并发线程数 (默认: 16) -b --batch_size 批量大小 (默认: 30) -s --timeout 请求超时时间 (默认: 5秒) // 示例 start.exe start.exe -f "book.json" start.exe -f "book.json" -s 10 start.exe -f "book.json" -t 8 -b 10 -s 3