データ基盤の**考え方と歴史**、BigQuery・dbt の実務メモ。 Google Cloud のプロダクト個別の設定値は [[Notes/Google Cloud|Google Cloud]] へ。 ## 基盤の考え方・歴史 - [[Notes/SQLiteとPostgreSQLの違い|SQLiteとPostgreSQLの違い]] — サービス名でなくエンジンの血筋で選ぶ ## BigQuery（SQL・運用） - [[BigQuery]] — BQが何者かの辞書ノート（入口） - [[Notes/BigQueryのウィンドウ関数|BigQueryのウィンドウ関数]] — OVER句の基本構文 - [[Notes/BigQueryでテーブルをもとに戻す方法|BigQueryでテーブルをもとに戻す方法]] — タイムトラベルで過去データ復元 - [[Notes/APIとJobの違い|APIとJobの違い]] — 重い取込はjob・即応はAPI - [[Notes/Cloud StorageとBigQuery|Cloud StorageとBigQuery]] — Cloud Storage→BQ取込3方式の選び方 ## dbt（モデル構築） - [[Notes/dbtのYAMLファイルの書き方手順|dbtのYAMLファイルの書き方手順]] — source/model定義とpre-hook回避 - [[dbtのYAMLで主キーとテストを書く]] — 主キー定義とテストの書き方 - [[dbtでpre-hookを使わずSQL側で処理する]] — pre-hookを避けSQL側で処理 ## 関連 - [[Notes/Google Cloud|Google Cloud]] - [[Notes/GitHub|GitHub]] - [[Notes/開発環境|開発環境]] - [[Notes/AIと働く|AIと働く]]