企业版 · 能力介绍

梁振杰

把数据变成可用产品的全栈技术专家——从数据采集、治理、建模到 AI 落地与系统上线，一个人跑通全流程。

厦门大学统计学博士 · 闽江大学经管学院教师 · 科创中心副主任

me@zjliang.io · https://me.zjliang.io

核心能力

数据采集与治理

突破高难度反爬，自建代理池与分布式并发，把脏数据洗成可用数据资产。

海关 3,525 个采集任务 · CNKI 1 万+ 论文 · 去哪儿 12 倍 · 小红书 16 倍

数据平台与产品化

从 0 搭建数据库、API、权限与运维，把数据做成可访问、可交付的产品。

datahub 数据服务 · 课程平台 · AI 助教 · 教材平台，四个系统在线运行

AI 落地与智能体

本地化大模型部署、RAG、文生图、视觉识别与 agent 工作流，让 AI 进业务。

ai-ta 平台 · agent 自动分流 · LLM 标注流水线（26,861 条，kappa 0.90）

统计建模与咨询

因果识别、工资分解、空间分析，把数据变成能支撑决策的证据。

TWFE/事件研究/CS-DID · 自贸区海关实证 · AI 劳动力市场工资分解

特种数据与交叉应用

无人机高光谱等非常规数据源，解决税务风控等真实业务问题。

闽侯县税务局"税即视"涉农虚开识别

人才培养与知识传递

把整套方法沉淀为教材与课程，帮团队学会自己跑。

24 讲《旅游数据分析与挖掘》· 《自贸区数字镜像》数字教材

数据采集与治理

高难度数据源自动化采集框架重构

代理池 + 分布式并发，把 72 小时压到 6 小时

难点

单线程串行采集、代理频繁失效，整站全量采集动辄 48–72 小时，科研项目等不起。

我做了什么

自建代理 IP 池并按小时检测可用率、自动汰换；把单节点并发从 5 提到 50；多节点分布式负载均衡；加入每日增量更新。

结果

去哪儿全量采集 72 小时 → 6 小时以内（12 倍），小红书 48 小时 → 3 小时（16 倍），代理可用率稳定在 99.5% 以上。

数据采集与治理

中国自贸区创新发展的数字镜像

突破海关变态反爬，3,525 个采集任务全自动并行完成

难点

海关统计数据查询反爬极其严格，人工查询不可行；数据分散在商品编码/省份/贸易伙伴/贸易方式多个维度。

我做了什么

配置 3,525 个查询参数任务，自动化并行采集、GBK 编码清洗、结构化入库；用 TWFE/事件研究/CS-DID 做出口效应因果识别；产出 9 章数字教材与可复现统计脚本。

结果

形成《中国自贸区创新发展的数字镜像》数字教材，全部关键数字由脚本一键核对。

统计建模与咨询

统计学的交叉学科程度测度

1 万+ 论文的采集、清洗、指标与实证，一周交付

难点

CNKI 反爬强度业界知名；参考文献学科归属没有现成字段，需要自行构建。

我做了什么

设计"从参考文献所属学科计算论文交叉程度"的指标；批量采集统计学顶刊近十年 1 万余篇论文；写代码清洗每篇参考文献的学科、计算指标、绘制趋势。

结果

验证了交叉学科程度逐年上升的猜想；采集到实证全流程不到一周完成。

特种数据与交叉应用

税即视——无人机高光谱识别涉农虚开

把无人机高光谱图像接进税务风控

难点

涉农自开发票虚开难以仅凭票据识别，需要真实的种植/生产证据。

我做了什么

用无人机采集高光谱影像作为配套数据，结合税务开票数据与地理信息，构建识别流程，开发"税即视"应用界面与数据接口。

结果

形成可复用的"空天地数据 + 税务风控"方案，已在闽侯县税务局落地。

数据平台与产品化

学院数据服务平台（datahub）

统一数据仓库 + Web/API，把数据做成可访问的服务

难点

学院科研数据分散、口径不一，缺少统一的存储、清洗与开放入口。

我做了什么

设计统一数据仓库与 Web/API，完成数据库设计、ETL、Swagger 接口文档、权限与日常运维。

结果

4 个系统在线运行，形成学院统一的数据服务入口。

AI 落地与智能体

AI 助教平台

把大模型接进教学，问答交互全部入库

难点

教学问答重复、缺少学生交互记录的沉淀，答疑难以沉淀为可复用的教学资产。

我做了什么

用 FastAPI 接入大模型 API，支持文本与视觉两种模型模态，会话数据入库并做权限控制。

结果

AI 助教平台在线运行，接入 2 种模型模态（文本+视觉）。

数据平台与产品化

课程学习平台

从内容到批改，把学习行为留在自己手里

难点

课程内容与作业批改分散在多个工具，缺少统一平台沉淀学习行为。

我做了什么

用 FastAPI + SQLite 搭建课程学习平台，划分 6 大内容板块，提供作业沙箱、学习行为采集与 AI 批改。

结果

课程学习平台在线运行，覆盖 6 大板块。

人才培养与知识传递

数字教材平台

自包含 HTML 教材 + 登录分发，12 章在线阅读

难点

教材以自包含 HTML 交付，需要统一的在线阅读与登录分发入口。

我做了什么

用 FastAPI + pandoc 把教材转为自包含 HTML，搭建带登录分发的数字教材平台。

结果

12 章教材可在线阅读。

可承接服务

数据采集与反爬对抗 — 高难度数据源自动化采集、代理池、增量更新与质量监控
数据产品与平台搭建 — 数据库+API+前端仪表盘+部署运维，一次交付可持续运营
AI 全栈落地 — 本地/云端大模型、RAG、智能体工作流、文生图/视觉识别
数据分析与建模咨询 — 建模、因果评估、可视化报告与决策支持

合作方式

加个微信，把方案聊清楚

me@zjliang.io · https://me.zjliang.io