符文战场

CRAWLER数据抓取控制台
← 返回图鉴

数据现状

卡牌总数
—
已抓详情
—
待补详情
—
问答条目
—
有问答卡牌
—
今日已抓
—
本地图片
—
最近抓取
—

抓取策略 · 避开 WAF 封禁

接口在腾讯云 WAF 后面,按 IP + 频率拦截,一旦触发整域名 403(卡图 CDN 不受影响)。
规避方式按有效性排序:① 按需抓取(图鉴里点开某张才抓这一张,请求量从 1504 次降到实际浏览次数); ② 代理出口池(403 的出口自动冷却并换下一个 IP); ③ 慢速节奏 + 每日配额(一天只抓几百条,分几天补完,已抓的不会重复请求)。

执行抓取

数据源:微信小程序「符文战场」lol-api.playloltcg.com/xcx · 抓取器 tools/lol-crawler.js · 产出 crawler_output/card_list.json、card_details.json、card_qa.json、meta.json。
详情逐条落盘到 crawler_output/.cache/details/,中断后再次执行会自动跳过已抓的; 勾选「忽略缓存重抓详情」可刷新服务端后来补充的字段(如收录商品)。

运行日志

空闲