データ基盤
データ基盤の考え方と歴史、BigQuery・dbt の実務メモ。 Google Cloud のプロダクト個別の設定値は Google Cloud へ。
基盤の考え方・歴史
- SQLiteとPostgreSQLの違い — サービス名でなくエンジンの血筋で選ぶ
BigQuery（SQL・運用）
- BigQuery — BQが何者かの辞書ノート（入口）
- BigQueryのウィンドウ関数 — OVER句の基本構文
- BigQueryでテーブルをもとに戻す方法 — タイムトラベルで過去データ復元
- APIとJobの違い — 重い取込はjob・即応はAPI
- Cloud StorageとBigQuery — Cloud Storage→BQ取込3方式の選び方
dbt（モデル構築）
- dbtのYAMLファイルの書き方手順 — source/model定義とpre-hook回避
- dbtのYAMLで主キーとテストを書く — 主キー定義とテストの書き方
- dbtでpre-hookを使わずSQL側で処理する — pre-hookを避けSQL側で処理
関連
Table of contents