技术教程 - 拾穗数据

【离线数仓】拉链表的3种构建方案

【离线数仓】拉链表的3种构建方案

文章介绍了三种将快照表转换为拉链表的方法，并分别列出了优点和缺点。方案一优点是思路简洁、易于维护，但存在初始化时丢失历史...

石头 (Elazer) 2025-03-22

Python与Apache Spark的集成：操作指南

Python与Apache Spark的集成：操作指南

在大数据处理领域，Apache Spark因性能优越成为开发者的首选工具之一，而Python的简洁特性和丰富库支持使其与...

石头 (Elazer) 2025-03-20

Spark 与 Java

Spark 与 Java

Apache Spark 是高效的大数据分布式计算框架，Java 与其结合可充分发挥其优势。使用 Java 操作 Spa...

石头 (Elazer) 2025-03-20

Spark SQL

Spark SQL

Spark SQL 是大数据处理的重要工具，支持标准 SQL 语法，并以 SparkSession 作为入口，通过 Da...

石头 (Elazer) 2025-03-20

Apache Spark 概述

Apache Spark 概述

Apache Spark 是由加州大学伯克利分校的 AMPLab 研发的开源大数据处理系统，现为 Apache 基金会顶...

石头 (Elazer) 2025-03-20

Hive 中数据倾斜的解决办法

Hive 中数据倾斜的解决办法

Hive 中数据倾斜的解决办法包括：数据预处理，如哈希分区和范围分区；合理设计表分区，如按日期分区；使用 Skew Jo...

石头 (Elazer) 2025-03-20

Hive 表的存储格式

Hive 表的存储格式

Hive 表的存储格式对其数据处理性能和存储效率有重要影响。Hive 支持多种存储格式，包括文本格式、SequenceF...

石头 (Elazer) 2025-03-20

Hive 概述

Hive 概述

Hive 是基于 Hadoop 生态系统的数据仓库工具，能够将结构化数据文件映射为数据库表，提供类 SQL 查询功能。其...

石头 (Elazer) 2025-03-20

YARN

YARN

YARN 是 Hadoop 生态系统中负责资源管理和任务调度的核心组件，采用主从架构，包括 ResourceManage...

石头 (Elazer) 2025-03-20

MapReduce

MapReduce

MapReduce是一种基于函数式编程中映射（Map）和归约（Reduce）操作的大规模数据处理框架，其设计思想在于将复...

石头 (Elazer) 2025-03-20