Archive

2024  8

12月  2

ふつうのデータ基盤移行 - Part 2. 技術選定編

12月 16, 2024 · soonraah

ふつうのデータ基盤移行 - Part 1. 戦略策定編

12月 1, 2024 · soonraah

11月  1

読書メモ: DMBOK2 第13章 データ品質

11月 18, 2024 · soonraah

5月  1

Data Contract CLI から考える Data Contracts ファーストのデータパイプラインの未来

5月 9, 2024 · soonraah

4月  1

読書メモ: DMBOK2 第8章 データ統合と相互運用性

4月 4, 2024 · soonraah

3月  1

読書メモ: DMBOK2 第6章 データストレージとオペレーション

3月 17, 2024 · soonraah

1月  2

読書メモ: DMBOK2 第5章 データモデリングとデザイン

1月 21, 2024 · soonraah

読書メモ: DMBOK2 第4章 データアーキテクチャ

1月 6, 2024 · soonraah

2023  10

12月  5

読書メモ: DMBOK2 第15章 データマネジメント成熟度アセスメント

12月 30, 2023 · soonraah

現実の CSV ファイルのデータを BigQuery に load する仕組みを作るという泥臭い作業を dlt でやってみる

12月 20, 2023 · soonraah

dlt 入門 - ELT の Extract と Load を担う data load tool

12月 18, 2023 · soonraah

読書メモ: DMBOK2 第12章 メタデータ管理

12月 9, 2023 · soonraah

CDC + Apache Iceberg で Amazon Athena にデータを取り込む

12月 3, 2023 · soonraah

11月  2

読書メモ: DMBOK2 第3章 データガバナンス

11月 19, 2023 · soonraah

読書メモ: DMBOK2 第1章 データマネジメント

11月 13, 2023 · soonraah

5月  2

near real time で更新される Apache Iceberg の table のメンテナンス

5月 28, 2023 · soonraah

Apache Iceberg の table を near real time で更新する

5月 11, 2023 · soonraah

4月  1

Data Contract について調べた

4月 8, 2023 · soonraah

2022  2

12月  1

Glue Schema Registry の導入を断念した話

12月 13, 2022 · soonraah

6月  1

「データレイク」と「データレイク層」

6月 21, 2022 · soonraah

2021  3

7月  1

成熟フェーズの事業におけるデータサイエンティスト

7月 12, 2021 · soonraah

2月  1

Apache Flink の Backpressure の仕組みについて調べた

2月 28, 2021 · soonraah

1月  1

データレイク関連の OSS - Delta Lake, Apache Hudi, Apache Kudu

1月 26, 2021 · soonraah

2020  12

12月  2

いまさらながらのデータレイク

12月 31, 2020 · soonraah

Apache Flink の DataStream API 利用時の CSV ファイル読み込み

12月 1, 2020 · soonraah

11月  2

機械学習の精度と利益と倫理とイシューと

11月 12, 2020 · soonraah

ストリーム処理システムに求められる機能性、および Apache Flink におけるその対応

11月 7, 2020 · soonraah

9月  1

バッチ処理おじさんがストリーム処理のシステムを開発するにあたって調べたこと

9月 6, 2020 · soonraah

8月  5

A/B テストの運用が重くてつらいという話

8月 23, 2020 · soonraah

Apache Flink の Temporary Table Function を用いた stream data と static data の join

8月 16, 2020 · soonraah

Apache Flink の Broadcast State Pattern を用いた stream data と static data の join

8月 6, 2020 · soonraah

あまり大きな Pull Request を作ってほしくない

8月 3, 2020 · soonraah

勉強会メモ: Spark Meetup Tokyo #3 Online

8月 1, 2020 · soonraah

7月  2

Spark DataFrame クエリの弱い分離レベル

7月 19, 2020 · soonraah

Apache Spark 3.0.0 について調べた

7月 12, 2020 · soonraah