数据分析的演进
LLM 正在改变数据分析。你现在可以用自然语言提问,获得图表、洞察和报告。
工具
- PandasAI:对 DataFrame 进行自然语言查询。
- LangChain Pandas Agent:LLM 生成并执行 Pandas 代码。
- ChatGPT Code Interpreter:上传 CSV,即时获得分析。
- Julius AI:带可视化的 AI 数据分析师。
工作流模式
1. 将数据加载到 DataFrame。
2. 用自然语言提问。
3. LLM 生成 Python 代码回答。
4. 执行代码返回结果和可视化。
示例问题
- 「上季度各地区的平均营收是多少?」
- 「展示营销支出与转化率之间的相关性。」
- 「找出客户年龄分布中的异常值。」
最佳实践
- 执行前始终验证生成的代码。
- 提供列描述作为上下文。
- 使用沙箱执行环境。
- 与传统 EDA 结合进行彻底分析。
- 显式设置列类型,避免误读。
局限性
- LLM 可能产生不正确的分析。
- 复杂统计测试可能不可靠。
- 大数据集需在 LLM 处理前采样。
- 始终交叉验证重要发现。
安全与沙箱
绝不要在生产数据上直接运行 LLM 生成的代码而不做沙箱隔离。使用 Docker 容器或子进程隔离并设置严格的资源限制。设定内存上限(如 2GB)和超时(30 秒)防止失控查询。对敏感数据,在将 DataFrame 传给 LLM 前遮蔽 PII 列。
大数据集扩展
LLM 无法直接处理数百万行。大数据集策略:
- 采样:发送 1000 行代表性样本让 LLM 理解 schema,然后将生成的代码应用于完整数据集。
- 分块处理:将数据分块,逐块分析,再汇总结果。
- DuckDB + PandasAI:用 DuckDB 作为内存 SQL 引擎直接查询 Pandas DataFrame——比逐行处理快得多。
常见坑
- 幻觉列名:LLM 有时编造列名。执行前始终对照 df.columns 验证。
- 类型不匹配:日期存为字符串会导致静默失败。显式设置 dtypes。
- 聚合错误:偏态数据用 .mean() 而非 .median()。在提示词中指定统计方法。
让模型写查询,而不是写数字
AI 辅助分析的可靠模式是:让模型产出「能算出数字的代码」,绝不让它直接产出数字。被要求算总数的模型会给你近似值;被要求写一段 pandas 表达式、由运行时求值的模型会给你可核验的真实结果。把执行那一步留在你自己的进程里,把中间 DataFrame 打印出来读一遍。那多看十秒钟,是把「貌似合理的叙述」变成「分析」的关键。
描述数据占了一半的工作
多数糟糕的生成分析源于模糊的 schema。提问之前,先把列名、dtype、几行样本、空值计数给模型。有了这些,它就不会编造列,也不会暗示不存在的连接。值得写一个小助手自动生成这份画像,因为你之后每个问题都需要它,而手写正是错误滋生之处。
生成代码的护栏
生成的 pandas 代码用你的凭据、在你的文件系统上运行。执行前先限制它能做什么:禁止网络调用、数据目录只读、设墙钟超时、给内存设硬上限。先把代码打印出来扫一眼再跑。这是很便宜的保险,挡住「模型决定去下载点什么、写个文件,或构造一个耗尽内存的笛卡尔连接」。
相信 DataFrame,而不是那句话
最终结论里每一条断言,都应当能追溯到你看过的一行输出。如果某句话里的数字,你在打印出的 DataFrame 里指不出来,就删掉那句话,或者去把数字算出来。