Posts

数据分析师、数据工程师和转型 AI 的数据人，2026 年到底该先补 SQL、Python、业务分析、Agent/RAG，还是项目经验？这篇给一张学习体检表，把 0-1 年新人、1-3 年执行者、3-5 年瓶颈期、转 AI 人群和求职党分开诊断，帮你找到下一课。

IBM Think 2026、Google Agentic Data Cloud、Citi Arc 都在把 Agent 推进企业生产环境。数据工程师和数据分析师真正该关心什么？不是再做一个会查数的 Demo，而是数据上下文、实时数据、权限治理和可观测性这四层基础设施。

5 年前数据人靠"熟练度"吃饭——SQL 秒写、pandas 不查文档、Spark 调优烂熟于心。今天 AI Copilot 把这些"熟练度"的相对价值打到了零。这篇给已经在数据行业里的人一份重新校准过的学习地图——为什么表达力和阅读力变成最稀缺的两种能力？为什么技术底层"知道和了解"就够、不必再练熟？以及具体怎么练。

本期围绕一个共同主题——Agent 协作的"基建配方"。wuphf 用 Markdown + Git 给多 Agent 搭了一个共享办公室，769 颗 star；Aparna Dhinakaran 拆开了 5 个主流 Agent 框架的上下文管理设计；Apache Fluss + Roaring Bitmap 把实时用户画像的延迟从小时压到秒。Agent 落地下一步的主线是——记忆怎么共享、上下文

这两年招聘市场上「AI 工程师」标签暴涨，薪资比同段位的传统数据/后端高 30%-50%。但稍微看几份 JD 你会发现，不同公司说的「AI 工程师」完全不是同一种人——有的是真做 LLM 应用，有的是包装过的传统后端，有的是 RAG demo 工程师，有的是啥都做的「AI 杂工」。这一篇拆开「AI 工程师」这个标签的虚和实。

之前讲过 2026 年数据岗位金字塔变形——4-6 年经验段突然变香。这篇兑现那期的钩子：从 2-4 年走到 4-6 年那个高需求段，到底要做哪些具体动作？6 个跃迁关键动作 + 各自的优先级 + 时间预期。有人 3 年跨过去，有人 8 年还卡着——差别不在年限，在动作。

模型在变商品——DeepSeek V4 把价格打到 Claude 的 1/7，下一年还会更便宜。能力的护城河会从"用什么模型"挪到"怎么用模型"。这篇拆开"会用模型"的具体能力清单——Prompt 工程、Eval 设计、Context 管理、Cost Engineering、判断力——每一种讲清是什么、为什么变重要、怎么练。

你五年前学 Hadoop、三年前学 Spark、去年学 dbt、今年在学 LangChain——你比五年前的自己强了多少？大多数数据人陷在一种慢性病里：以为自己在学新东西，其实只是在换皮。这篇讲怎么区分"学工具"和"学能力"，以及为什么工具瘾在 AI 时代会让你死得更快。

本期数据工程圈的几篇复盘有一个共同特征——都带具体的钱或时间数字。Shopify 用 JSON-to-Python 转译把 Flow Agent 的推理成本降了 68%，Monzo 用数据契约把处理成本降了 40%、数据着陆时间加速 25%，Halodoc 把 Spark on EKS 的节点利用率拉到 96%。Agent 落地走完了"做小"和"稳定"两步，进入第三步——算账。

AI 不是替代数据人，是让现有技能贬值速度差异巨大。有些技能 5 年还在涨——数据建模、因果推断；有些 2 年就半价——纯 ETL 工具操作；有些刚出生就在升值——RAG、Agent、eval。这篇给一份具体的技能折旧速度表，以及对应的学习时间投资策略。

2026 年数据岗位市场出现了一个明显的金字塔变形——入门段（0-2 年）持续缩水，4-6 年经验突然变得抢手，入门段年薪反而上涨。Indeed Hiring Lab 报告显示，数据/分析岗 JD 中 45% 已包含 AI 关键词，是所有职业最高。这不是简单的「AI 抢饭碗」，是市场在重新定义「什么样的人值得雇」，每个段位的破局点不一样。

DeepSeek V4 上周末发布，1.6T 参数、1M 上下文、编码 benchmark 拉平 GPT-5.4 和 Claude Opus 4.6，但价格只要 $3.48 / 百万 token——是 Claude 的 1/7。问题来了：你的日常工作流要不要切？切的隐性成本有哪些？什么时候该切、什么时候别动？

一个朋友在群里问：知识库里有没有初级数据开发的八股文？我的回答是——有，但你不该在这上面押注。面试里八股文的占比已经从三分之二降到塞牙缝，工作里 80% 写 SQL 的时代也过去了。真正的问题不是背不背八股文，而是你还在用执行者的思路寻找出路。这篇讲讲 AI 这波变革为什么躲不过去。

本期数据工程圈集中讨论 Agent 在生产环境的落地——Whatnot 直言 LLM 平台 80% 的故障和模型无关，Slack 拆解长跑 Agent 如何靠 Director's Journal 管上下文，Teads 让 AI 编排 ML 实验带来约 100 万美元利润。一个共同结论是：模型反而是最轻的那一块，真正的坎在基础设施上。

数据工程师会被 Agent 取代吗？答案是：不会，但「写管道的数据工程师」会。这篇文章把 2026 年数据工程的价值重心从执行指令迁移到设计意图、护栏和数据产品契约的完整方法论讲清楚——包含 MCP、Data Product、Intent 三层架构，以及工程师该补的三类能力。

2026 年 Atlan 把 Agent Observability 列为与 DataOps 平级的新品类。Agent 出错了怎么复现？回归怎么量化？线上怎么兜底？这篇文章把 Agent 可观测性拆成三件套：Trace 追踪调用链、Eval 量化行为质量、Guardrail 拦截风险输出，配合主流工具（Langfuse、Braintrust、Guardrails AI）给出一套可落地的监控方案。

2026 年 4 月 6 日 Dremio 宣布 Iceberg V3 在云服务正式可用，意味着 V3 从规范走向生产。这篇深度解析拆开 V3 的四大变化：行级血缘、Row Lineage、Deletion Vectors、Variant 类型，以及它们为什么是为 AI workload 重新设计——数据工程师和数据架构师读完能拿到一张清晰的升级路径图。

2026 年 Snowflake Cortex Analyst 和 Databricks AI/BI Genie 宣称 Text-to-SQL 准确率达到 90%，数据分析师真的要失业了吗？这篇文章把问题问对：哪种数据分析师要失业、哪种会因此受益。给出三类角色的终局推演和一条清晰的转型路径——写给还在写 SQL 导表的分析师。

AI 工程师和数据负责人最容易踩的坑之一：问题一出现就想着 Fine-tune。但 Fine-tune 不是默认选项，是最后选项。这篇文章给出一套 2026 年的决策框架：先穷尽 RAG、Prompt、工具调用，再考虑 SFT / LoRA / DPO，并配上成本、数据量、迭代速度三个维度的判断阈值——帮你把钱和时间花在对的地方。

Databricks 主导的 Unity Catalog 和 Snowflake 发起、Apache 托管的 Polaris，2026 年正式在企业数据目录市场正面交锋。这篇文章横评两条路线的权限模型、表格式支持、跨引擎能力和治理边界，给数据架构师和平台负责人一份可以带进选型会议的判断框架。

2026 年数据工程师、数据分析师、数据架构师到底该补哪些课？从 Databricks、Snowflake、Atlan、Cloudera 2025 年底到 2026 年 4 月的一系列动作里筛出最硬的十项：Agentic DE、Iceberg V3、MCP、Unity/Polaris、Agent 可观测性、Fine-tune 决策框架——每项都附上为什么要学和通往知识库的入口。