数据现状
卡牌总数
—
已抓详情
—
待补详情
—
问答条目
—
有问答卡牌
—
今日已抓
—
本地图片
—
最近抓取
—
抓取策略 · 避开 WAF 封禁
接口在腾讯云 WAF 后面,按 IP + 频率拦截,一旦触发整域名 403(卡图 CDN 不受影响)。
规避方式按有效性排序:① 按需抓取(图鉴里点开某张才抓这一张,请求量从 1504 次降到实际浏览次数); ② 代理出口池(403 的出口自动冷却并换下一个 IP); ③ 慢速节奏 + 每日配额(一天只抓几百条,分几天补完,已抓的不会重复请求)。
规避方式按有效性排序:① 按需抓取(图鉴里点开某张才抓这一张,请求量从 1504 次降到实际浏览次数); ② 代理出口池(403 的出口自动冷却并换下一个 IP); ③ 慢速节奏 + 每日配额(一天只抓几百条,分几天补完,已抓的不会重复请求)。
执行抓取
数据源:微信小程序「符文战场」lol-api.playloltcg.com/xcx ·
抓取器
详情逐条落盘到
tools/lol-crawler.js ·
产出 crawler_output/card_list.json、card_details.json、card_qa.json、meta.json。
详情逐条落盘到
crawler_output/.cache/details/,中断后再次执行会自动跳过已抓的;
勾选「忽略缓存重抓详情」可刷新服务端后来补充的字段(如收录商品)。