# 数据工程

很多数据分析师和数据开发以为 AI 项目卡住，是模型不够聪明、Prompt 不够好。Meta 的 AI Storage Blueprint 提醒了另一件事：模型能不能发挥作用，取决于数据能不能稳定、及时、可追溯地喂进去。本文从普通数据从业者视角，拆解为什么数据链路比模型演示更早决定 AI 项目的上限。

本期数据周刊关注 Data Engineering Weekly #277：Databricks Lakebase、Meta AI Storage、Expedia 诊断 Spark SQL Plan、Stripe 重放历史流量。对数据分析师、BI 和数据开发来说，为什么 AI 能帮忙之前，先要准备 3 份证据？

AI 问数和 Text-to-SQL 正在进入数据团队，但数据分析师、数据开发和 BI 同学真正要担心的，不是模型不会写 SQL，而是它写得太顺、错得太像对。本文从一次指标复盘会讲起，拆开 AI 写 SQL 的 3 类背锅风险、1 段 SQL 对照、10 项上线检查和 20 个高频问题模板。

一次数据事故从周五晚上拖到周日，团队 48 小时修完任务、补跑数据、恢复看板，但复盘时才发现真正缺的不是告警，而是影响面、修复记录、责任边界和上线验证。本文用 5 个问题拆解数据事故复盘，帮数据开发和数据治理团队避免下次重复摔在同一个地方。

一次 AI 问数 Demo 里，模型把 LEFT JOIN 改成 INNER JOIN，SQL 看起来更短、更顺，却让未转化用户被悄悄排除。AI 写 SQL 的风险不只是语法错误，而是错得很像对的。本文拆解生成错误、业务逻辑错误和可信问数系统的边界，并自然介绍 Forge。

数据质量问题反复出现，很多团队第一反应是加监控和告警，但告警本身不能解决责任缺位。本文从空值、重复、延迟、口径变化和下游影响出发，拆解数据质量治理如何进入开发、发布和复盘流程。

很多数据团队每天都在做临时取数和专项分析，但这些工作做完就消失，无法沉淀成资产。本文拆解如何从一次临时分析中沉淀指标、维度、模型、SQL 模板和业务解释，让数据团队减少重复劳动。

很多团队想把自然语言问数和 AI Agent 接进数据库，但真正的难点不是让模型写 SQL，而是指标口径、权限控制、语义层、审计追踪和人工确认。本文给出企业问数 Agent 上线前必须补齐的 5 个底座。

本期数据周刊关注 Data Engineering Weekly #270：Airbnb Viaduct 1.0、Netflix Data Projects、Meta PB 级数据摄取迁移和 Databricks Catalog Commits。AI 进入数据团队后，数据平台如何从工具堆叠走向边界清楚？

报表慢、查询超时、看板打不开，很多团队习惯临时加资源或改 SQL。本文从一次数据看板变慢的场景出发，拆解性能问题背后的模型设计、查询模式、资源治理和责任机制。

很多数据团队的宽表一开始只是为了提效，后来却变成无人敢改的巨表。本文从主题边界、粒度边界和口径边界三个角度，解释数据建模为什么会失控，以及数据开发如何让宽表重新可维护。

本期数据周刊关注 Data Engineering Weekly #269：Meta AI 第二大脑、Salesforce/Informatica 多 Agent、Netflix 模型图谱，以及 Whatnot 变慢却没人发现的 ML 特征管道。AI 进生产后，数据团队如何让知识、模型和管道可观测、可复用、可追责？

很多数据分析师和数据开发明明做了取数、报表、SQL 优化、异常排查，却在简历上写不出项目经验。本文用偏散文的方式，讲清如何把日常工作整理成可追问、可验证、能打动面试官的项目证据。

很多数据分析师和数据工程师刷了 SQL、Python、AI Agent，却在简历和面试里说不清自己做成了什么。项目证据到底是什么？求职和晋升时，如何把学习、业务问题、数据判断、结果验证和面试表达整理成能被招聘方看见、也经得起现场追问的材料？

IBM Think 2026、Google Agentic Data Cloud、Citi Arc 都在把 Agent 推进企业生产环境。数据工程师和数据分析师真正该关心什么？不是再做一个会查数的 Demo，而是数据上下文、实时数据、权限治理和可观测性这四层基础设施。

本期围绕一个共同主题——Agent 协作的"基建配方"。wuphf 用 Markdown + Git 给多 Agent 搭了一个共享办公室，769 颗 star；Aparna Dhinakaran 拆开了 5 个主流 Agent 框架的上下文管理设计；Apache Fluss + Roaring Bitmap 把实时用户画像的延迟从小时压到秒。Agent 落地下一步的主线是——记忆怎么共享、上下文

你五年前学 Hadoop、三年前学 Spark、去年学 dbt、今年在学 LangChain——你比五年前的自己强了多少？大多数数据人陷在一种慢性病里：以为自己在学新东西，其实只是在换皮。这篇讲怎么区分"学工具"和"学能力"，以及为什么工具瘾在 AI 时代会让你死得更快。

本期数据工程圈的几篇复盘有一个共同特征——都带具体的钱或时间数字。Shopify 用 JSON-to-Python 转译把 Flow Agent 的推理成本降了 68%，Monzo 用数据契约把处理成本降了 40%、数据着陆时间加速 25%，Halodoc 把 Spark on EKS 的节点利用率拉到 96%。Agent 落地走完了"做小"和"稳定"两步，进入第三步——算账。

AI 不是替代数据人，是让现有技能贬值速度差异巨大。有些技能 5 年还在涨——数据建模、因果推断；有些 2 年就半价——纯 ETL 工具操作；有些刚出生就在升值——RAG、Agent、eval。这篇给一份具体的技能折旧速度表，以及对应的学习时间投资策略。

DeepSeek V4 上周末发布，1.6T 参数、1M 上下文、编码 benchmark 拉平 GPT-5.4 和 Claude Opus 4.6，但价格只要 $3.48 / 百万 token——是 Claude 的 1/7。问题来了：你的日常工作流要不要切？切的隐性成本有哪些？什么时候该切、什么时候别动？

本期数据工程圈集中讨论 Agent 在生产环境的落地——Whatnot 直言 LLM 平台 80% 的故障和模型无关，Slack 拆解长跑 Agent 如何靠 Director's Journal 管上下文，Teads 让 AI 编排 ML 实验带来约 100 万美元利润。一个共同结论是：模型反而是最轻的那一块，真正的坎在基础设施上。