数据采集与治理

高难度数据源自动化采集框架重构

学院科研数据获取（去哪儿旅游数据、小红书笔记）

代理池 + 分布式并发，把 72 小时压到 6 小时

Python代理IP池分布式并发反爬对抗增量更新

单线程串行采集、代理频繁失效，整站全量采集动辄 48–72 小时，科研项目等不起。

自建代理 IP 池并按小时检测可用率、自动汰换；把单节点并发从 5 提到 50；多节点分布式负载均衡；加入每日增量更新。

去哪儿全量采集 72 小时 → 6 小时以内（12 倍），小红书 48 小时 → 3 小时（16 倍），代理可用率稳定在 99.5% 以上。