データ基盤
データ基盤の考え方と歴史、BigQuery・dbt の実務メモ。 Google Cloud のプロダクト個別の設定値は Google Cloud へ。
基盤の考え方・歴史
- SQLiteとPostgreSQLの違い — サービス名でなくエンジンの血筋で選ぶ
- 文字コードと文字列 — 文字の事故は「読めない」と「一致しない」の2つだけ
- ビットと数値の型 — 数の事故は「範囲」と「精度」の2つだけ
BigQuery（SQL・運用）
- BigQuery — BQが何者かの辞書ノート（入口）
- BigQueryのウィンドウ関数 — OVER句の基本構文
- BigQueryでテーブルをもとに戻す方法 — タイムトラベルで過去データ復元
- APIとJobの違い — 重い取込はjob・即応はAPI
- Cloud StorageとBigQuery — Cloud Storage→BQ取込3方式の選び方
dbt（モデル構築）
- dbtのYAMLファイルの書き方手順 — source/model定義とpre-hook回避
- dbtのYAMLで主キーとテストを書く — 主キー定義とテストの書き方
- dbtでpre-hookを使わずSQL側で処理する — pre-hookを避けSQL側で処理