## What — Cloud Storageと3つの取り込み方式 Cloud Storageはクラウド上のファイル置き場。Google DriveやDropboxでよく利用しているクラウドの、インフラ版。 - バケット：一番外側の入れ物（フォルダーのルートみたいなもの） - オブジェクト：その中の1ファイル（CSV） Cloud StorageからBigQueryに入れる方法は3つ。 - **ロードジョブ**：Cloud StorageのCSVをBQの中にコピーして取り込む、無料のバッチ処理。一度入れれば手元で速く読める - **外部テーブル**：コピーせず、Cloud Storageを直接読むための"地図"をBQに登録するだけ。クエリのたびにCloud Storageへ取りに行く - **DTS**：ロードジョブを「毎朝6時」みたいに定期自動で回すマネージドサービス。コードを書かず設定だけ ## How — どれを選ぶか ``` 取り込みの手間をゼロにしたい / 常に最新のCloud Storageを見たい → 外部テーブル BQに取り込んで、同じデータを何度も速く分析したい → ロードジョブ └ それを毎日 定期で・コードを書かず 自動化したい → DTS └ 置かれた瞬間に即取り込みたい → どれでも不可。イベント駆動(Eventarc)が要る ``` ## 関連 - [[データ基盤]] - [[Cloud Storage]] - [[BigQuery]] - [[Cloud Storageのバケットとprefix]] - [[APIとJobの違い]]