跳到正文
全部标签

# 小文件

共 1 篇文章

  • 把数据湖换成 Iceberg 前,先找出最值得迁的 3 张表

    把数据湖换成 Iceberg 前,先找出最值得迁的 3 张表

    Grab 把 Hive Parquet 迁往 Apache Iceberg 后,部分查询从约 70 秒降到 6 秒,部分 S3 API 成本最多下降约 95%。但普通数据开发不该先问要不要全湖迁移,而应从小文件、查询频率、元数据等待和人工补分区里找出最值得先动的 3 张表。