# flink

本期数据周刊关注 Data Engineering Weekly #269：Meta AI 第二大脑、Salesforce/Informatica 多 Agent、Netflix 模型图谱，以及 Whatnot 变慢却没人发现的 ML 特征管道。AI 进生产后，数据团队如何让知识、模型和管道可观测、可复用、可追责？

写了5年代码，技术很自信。但新来的技术leader比你小两岁，每次讨论方案都能提出你没想到的角度。本文拆解「写代码」和「做架构」的本质区别：前者是解决问题，后者是定义问题。从执行力到判断力的转型，是工程师职业发展的关键跃迁。

Spark还没学完Flink又火了，Flink还没熟AI又来了。你学得越多越焦虑，因为新技术出现的速度远快于你学习的速度。本文提供一个判断框架：区分「必须学」和「可以不学」，把有限精力投入到半衰期最长的知识上。

凌晨两点修复Flink任务，第二天没人记得你的付出。数据正常时你是空气，出问题时你是罪人。本文刻画数据开发工程师的4种典型困境：基础设施无名英雄、需求管道工、技术债背锅侠、沉默的架构师，揭示工程师在组织中「隐身」的根本原因。

Databricks Genie Code与Snowflake Cortex Code同周发布AI编程代理，Flink推出Agents子项目打造流处理AI引擎。全球数据分析市场2026年将达1044亿美元，数据工程师薪资$96K-$138K，AI正在重塑数据分析师和数据工程师的岗位要求。入门变难，复合能力成为硬通货，数据人的突破口在哪里？

一个实习生Spark源码读了三遍，却搭不出一条最基础的ETL管道。数据团队的高级工程师追求完美，两周无法交付；初级工程师三天交出粗糙版本，两周后迭代成核心工具。本文揭示职场成长的核心逻辑：七成完整胜过十成精通，被动积累是温柔的陷阱，主动挑战才是真正的来源。

面向初中级数据从业者的计算引擎选型指南，系统对比 Spark、Flink、Presto/Trino 的设计理念、性能特点、适用场景与学习曲线，帮你在批处理、实时流处理、交互式查询三大场景做出正确决策。

3-5年资深数据工程师进阶路线：从离线数仓到实时计算（Flink SQL/Kafka），掌握平台架构设计、Spark深度调优、流批一体和数据治理4大核心能力。解决「业务要实时但只会离线」「Spark任务越调越慢」的L3阶段典型瓶颈，帮你完成从熟练开发者到数据架构师的关键跃迁。