LakeHouse

Bloom Filter 只能处理 =，IN 谓词。 什么是 Bloom Filter? Bloom Filter 是用于判断某个元素是否在一个集合中的数据结构，优点是空间效率和查…

前置背景 ZoneMap Min-max 过滤也叫 ZoneMap 过滤。 一个 ZoneMap 一般包含如下信息： Parquet 的 ZoneMap 含有： ORC 的 Zon…

Iceberg Rest Catalog 在介绍 Polaris 之前，先介绍下 Iceberg 的 Rest catalog。 Iceberg 支持众多 catalog，比如 H…

本文深入探讨了 ORC 和 Parquet 这两种主流数据湖文件格式的异同。从文件结构、类型系统、NULL处理到复杂类型存储，文章全面比较了两种格式的设计理念和实现细节。特别关注了统计信息的存储、随机 IO 性能、Footer 大小以及 Schema Evolution 支持等关键方面。虽然Parquet 在当前市场占据优势，但文章指出两种格式各有千秋，选择应基于具体使用场景。通过这篇深度分析，读者可以更好地理解这两种格式的优缺点，为数据湖存储方案的选择提供有价值的参考。

Apache ORC 支持对列进行加密，且会对该列的统计信息一起加密。同时加密后的文件，即使 reader 没有正确的 master key 也能够正常的查看，只不过看到的都是错误…

介绍 Apache ORC 中 RLE v1 和 RLE v2 的具体算法实现。

Decimal 在 Apache ORC 存储主要是依赖 zigzag 编码，zigzag 编码能有效的压缩绝对值小的数字。

Starburst 的 Warp Speed 技术利用机器学习算法，为 Trino 查询自动预热数据，显著提升性能。本文通过对 Warp Speed 架构的解析，来说明如何在 Lakehouse 中做好 cache 这个特性。

在优化 HDFS 查询性能时，慢节点问题会显著影响 SQL 的查询效率。本文浅谈了目前解决 HDFS 慢节点的几种思路。

我发现自己每次用 Spark 造 Iceberg 表都要耗费老大的劲，官方文档总是没有一个现成的 Demo，网上也搜索不到，全靠自己琢磨。故在这里记录一下，顺带帮助一下可能需要的人…