読書メモ: DMBOK2 第8章 データ統合と相互運用性
4月 4, 2024 · soonraah
読書メモ: DMBOK2 第6章 データストレージとオペレーション
3月 17, 2024 · soonraah
読書メモ: DMBOK2 第5章 データモデリングとデザイン
1月 21, 2024 · soonraah
読書メモ: DMBOK2 第4章 データアーキテクチャ
1月 6, 2024 · soonraah
読書メモ: DMBOK2 第15章 データマネジメント成熟度アセスメント
12月 30, 2023 · soonraah
現実の CSV ファイルのデータを BigQuery に load する仕組みを作るという泥臭い作業を dlt でやってみる
12月 20, 2023 · soonraah
dlt 入門 - ELT の Extract と Load を担う data load tool
12月 18, 2023 · soonraah
読書メモ: DMBOK2 第12章 メタデータ管理
12月 9, 2023 · soonraah
CDC + Apache Iceberg で Amazon Athena にデータを取り込む
12月 3, 2023 · soonraah
読書メモ: DMBOK2 第3章 データガバナンス
11月 19, 2023 · soonraah
読書メモ: DMBOK2 第1章 データマネジメント
11月 13, 2023 · soonraah
near real time で更新される Apache Iceberg の table のメンテナンス
5月 28, 2023 · soonraah
Apache Iceberg の table を near real time で更新する
5月 11, 2023 · soonraah
Data Contract について調べた
4月 8, 2023 · soonraah
Glue Schema Registry の導入を断念した話
12月 13, 2022 · soonraah
「データレイク」と「データレイク層」
6月 21, 2022 · soonraah
成熟フェーズの事業におけるデータサイエンティスト
7月 12, 2021 · soonraah
Apache Flink の Backpressure の仕組みについて調べた
2月 28, 2021 · soonraah
データレイク関連の OSS - Delta Lake, Apache Hudi, Apache Kudu
1月 26, 2021 · soonraah
いまさらながらのデータレイク
12月 31, 2020 · soonraah
Apache Flink の DataStream API 利用時の CSV ファイル読み込み
12月 1, 2020 · soonraah
機械学習の精度と利益と倫理とイシューと
11月 12, 2020 · soonraah
ストリーム処理システムに求められる機能性、および Apache Flink におけるその対応
11月 7, 2020 · soonraah
バッチ処理おじさんがストリーム処理のシステムを開発するにあたって調べたこと
9月 6, 2020 · soonraah
A/B テストの運用が重くてつらいという話
8月 23, 2020 · soonraah
Apache Flink の Temporary Table Function を用いた stream data と static data の join
8月 16, 2020 · soonraah
Apache Flink の Broadcast State Pattern を用いた stream data と static data の join
8月 6, 2020 · soonraah
あまり大きな Pull Request を作ってほしくない
8月 3, 2020 · soonraah
勉強会メモ: Spark Meetup Tokyo #3 Online
8月 1, 2020 · soonraah
Spark DataFrame クエリの弱い分離レベル
7月 19, 2020 · soonraah
Apache Spark 3.0.0 について調べた
7月 12, 2020 · soonraah