HackerNews

Pg_lake: Icebergとデータレイクを利用したPostgres

Pg_lake: Postgres with Iceberg and data lake access

https://github.com/Snowflake-Labs/pg_lake


pg_lakeは、Postgresを利用してIcebergやデータレイクのファイルにアクセスするための拡張機能です。これにより、Postgresを単独のレイクハウスシステムとして利用でき、Icebergテーブルに対するトランザクションや高速クエリをサポートします。また、S3のようなオブジェクトストレージに保存された生データファイルと直接操作が可能です。主な機能として、PostgreSQLから直接Icebergテーブルを作成・変更し、さまざまなファイル形式(Parquet、CSV、JSON)に対するクエリやインポートを行い、結果を再びS3にエクスポートできます。さらに、DuckDBのクエリエンジンを利用した高速実行が可能で、Dockerを使った簡単なセットアップや、ソースからのビルドによる手動設定が提供されています。