跳到正文
全部标签

# 数据仓库

共 12 篇文章

  • 金融数据架构案例 - 构建安全可靠的数据基础设施 PRO

    金融数据架构案例 - 构建安全可靠的数据基础设施

    金融数据架构是现代金融业务的数字化堡垒,在安全、合规、稳定的严苛要求下实现数据价值最大化。。金融级价值的体现:金融数据架构的价值首先体现在安全至上的理念,通过多层防护机制确保资金和客户数据的绝对安全,这是金融机构立身之本。其次展现为实时风控能力,系统能够在毫秒级时间内完成风险识别和欺诈检测,有效防范金融风险。同时...
  • 企业级建模方法论 - 从星型架构到规模化实施 PRO

    企业级建模方法论 - 从星型架构到规模化实施

    企业级建模不是简单的数据表设计,而是需要统筹考虑业务复杂度、技术约束、性能要求、治理规范和未来扩展的系统性架构工程。。数据体量:TB级到PB级数据规模的建模设计。业务复杂度:跨部门、跨系统、跨地域的业务场景统一。技术异构:多种数据库、多种技术栈的兼容性设计。团队协作:多团队、多角色的协同建模和维护。一致性保障:跨...
  • 数据仓库与数据湖建模 - 现代企业数据架构双引擎

    数据仓库与数据湖建模 - 现代企业数据架构双引擎

    数据仓库建模示例采用严格的维度建模方法,销售事实表通过主键和多个外键构建标准的星型模型结构。表结构包含时间、产品、客户、门店等维度外键,支持多维度分析查询。预计算的度量值包括销售金额、折扣金额、利润金额和销售数量等核心业务指标,外键约束确保了数据的引用完整性和质量保证。。数据湖建模示例展现了灵活的Schema-o...
  • 维度建模基础 - 分析型数据建模的核心方法

    维度建模基础 - 分析型数据建模的核心方法

    维度建模是由Ralph Kimball在1990年代提出的专门用于数据仓库和分析型数据库的建模方法。它采用"事实-维度"的结构,将业务过程转化为可分析的数据模型,是数据仓库建模中最重要和广泛应用的方法。。业务过程驱动是维度建模的根本设计思维,将业务中的具体过程作为建模起点:。事务性事件:销售订单、支付交易、用户注...
  • 从字节跳动SQL面试题看数据思维:如何用中间表设计优雅解决亿级数据问题 PRO

    从字节跳动SQL面试题看数据思维:如何用中间表设计优雅解决亿级数据问题

    一道字节跳动SQL面试题,看似考聚合查询,实际考察的是数据仓库分层设计能力——特别是中间表(DWS层)的设计思维。面试不是考SQL语法,而是考你在生产环境中处理亿级数据的经验。本文从初级解法到专家解法逐层拆解,展示面试官真正想看到的数据思维。
  • 消失的两周,我为数据工程师造了一间“暖房”

    消失的两周,我为数据工程师造了一间“暖房”

    停更两周,我把自己关进小黑屋,为数据工程师造了一间「暖房」——一个覆盖SQL、Spark、数仓建模、求职面试的完整学习和实战平台。2025即将翻篇之际,聊聊为什么要做这件事,以及数据工程师在2026年最需要的到底是什么。
  • 为什么西贝3分钟能上菜,你的报表却要等2小时?

    为什么西贝3分钟能上菜,你的报表却要等2小时?

    西贝3分钟上菜靠的是预制菜,数据仓库3分钟出报表靠的是分层预计算——ODS/DWD/DWS/ADS每一层都是对数据的「预制」处理。本文借西贝预制菜风波,用最直观的类比讲透数据仓库分层思想:为什么你的报表要等2小时,以及如何通过合理分层把它缩短到3分钟。
  • 混乱是梯子:为什么等 AI 落地再说是最危险的策略

    混乱是梯子:为什么等 AI 落地再说是最危险的策略

    「等AI落地再学」听起来理性稳健,实际上可能是最危险的策略。回顾大数据11年发展历程,技术从来不是「落地了再学」的——混乱期恰恰是建立优势的最佳窗口。本文用大数据行业的真实教训,解释为什么数据从业者现在就该开始布局AI能力。
  • 从小作坊到数据帝国:大数据发展简史

    从小作坊到数据帝国:大数据发展简史

    通过一个虚构的商业故事,带你了解大数据的发展历程。从Excel表格到数据仓库,从传统数据库到大数据平台,看企业如何在数据时代中成长。这不仅是技术的演进,更是商业决策方式的革命。
  • 用食堂类比理解大数据架构:从采购到上菜的完整流程

    用食堂类比理解大数据架构:从采购到上菜的完整流程

    通过生动的食堂运营类比,深入浅出地讲解企业大数据架构的核心概念。从原材料采购(数据集成)到仓库管理(ODS、CDM、ADS),从厨师烹饪(数据分析)到自动炒菜机(BI系统),再到食材管理(数据治理),让你轻松理解复杂的大数据体系。
  • 数据架构师 L2:架构基础

    数据架构师 L2:架构基础

    数据架构师入门路线图:系统学习数据架构设计基础、Lambda/Kappa架构模式和技术选型方法论。从数仓分层设计到湖仓一体概念,从单体架构到分布式架构,帮助2-3年数据工程师建立架构思维,迈出从开发者到架构师的第一步。
  • 为什么新人必须先学数仓分层,再学RAG架构

    为什么新人必须先学数仓分层,再学RAG架构

    2025年,不学数仓分层你连面试都过不了。93%岗位要求会Hive/Spark/数仓建模,只有7.6%要求会RAG。本文告诉你为什么必须学传统分层、它解决什么问题,以及学完传统再学RAG和直接学RAG的本质区别。