从 OceanBase 离开，再出发

24 年底，我刚写下了 从 StarRocks 离开，再出发，告别了自己人生的第一份工作。结果，今天又要再写一篇了。 今天上海的组员也难得出差到杭州，聚在一起吃了顿散伙饭。下午走出公司大门的时候，多少还是有些许不舍…

AI 的焦虑

AI、AI、AI，每天上班总能听到，办公室的空气里到处弥漫着 AI 焦虑的气息。 老板们在焦虑，焦虑着自己的产品会在 AI 时代被抛弃，焦虑着自己会在这场 AI 军备竞赛里面落后腿。 打工人也在焦虑，焦虑自己会被 AI 替…

Apache Paimon PK 表的 data distribution

本人初次接触 Paimon，以下内容仅是自己的理解，如有错误，欢迎评论。 下面所有讨论的内容仅限 PK 表。 Paimon 通过 bucket 提升数据的读写并行度，每一个 bucket 是一棵独立的 LSM 树，也是最小的读写单元。 当表…

Arrow-rs Parquet Reader 浅析

在千篇一律 arrow-cpp 系的 Parquet Reader 实现中，arrow-rs 上面的实现着实让人眼前一亮，这里简单记录下。 Parquet C++ Reader 早期由 Impala 团队开发，即 parquet-cpp，后合并到 arrow-cpp 中。Doris 引擎在早…

Apache Iceberg Delete File 解析

Iceberg 默认使用 Copy On Write 技术，也就是当你删除一行数据时，它会读取原有的文件，删除目标行，然后再重新写一遍，这样开销显然很大。后面 Iceberg 引入了 Merge On Read 技术，通过标记的方式，实现高效的数…

Apache Iceberg 概念梳理

在学习 Iceberg 源码前，我们需要搞清楚 Iceberg 中的各种概念，这样源码看起来才能更有层次感。 所以这篇文章只做一件很纯粹的事情，就是理清 Iceberg 中的名称概念，不做其它阐述。 下面所有的命名不是我自己 YY …

OceanBase Mac/Win Clion 开发环境搭建

OceanBase 作为一个大型的 C++ 项目，使用 Clion 能够明显提升开发效率，其很多功能是 VS Code 所不具备的。目前 OB 官网推荐使用 VS Code + ccls 插件来索引代码，但是其索引慢的离谱，而且跳转能力也一般，说实话…

假如我还有三天假期

n 年不遇的 gap，即将迎来了尾声，写下这篇日记的时候，假期余额已不足3天。 要我评价这 15 天的 gap，我只能说一个字，爽，两个字，真爽。自打毕业后，就没这么爽过了。 前几天还沉浸在离职的伤感中，休息了几天后…

从 StarRocks 离开，再出发

雄关漫道真如铁，而今迈步从头越 写于 2024 年 12 月 20 日礼拜五 last day，StarRocks 杭州办公室的会议室中。 用流水账记录一下这两年发生的事情以及最近离职带来心里上的感触，便于 n 年后的自己再次进行 review…

Apache Parquet Bloom Filter

Bloom Filter 只能处理 =，IN 谓词。 什么是 Bloom Filter? Bloom Filter 是用于判断某个元素是否在一个集合中的数据结构，优点是空间效率和查询时间都非常高，缺点是有一定的误判率。 布隆过滤器是由一个Bit数组和…