What — Cloud Storageと3つの取り込み方式

Cloud Storageはクラウド上のファイル置き場。Google DriveやDropboxでよく利用しているクラウドの、インフラ版。

• バケット：一番外側の入れ物（フォルダーのルートみたいなもの）
• オブジェクト：その中の1ファイル（CSV）

Cloud StorageからBigQueryに入れる方法は3つ。

• ロードジョブ：Cloud StorageのCSVをBQの中にコピーして取り込む、無料のバッチ処理。一度入れれば手元で速く読める
• 外部テーブル：コピーせず、Cloud Storageを直接読むための"地図"をBQに登録するだけ。クエリのたびにCloud Storageへ取りに行く
• DTS：ロードジョブを「毎朝6時」みたいに定期自動で回すマネージドサービス。コードを書かず設定だけ

How — どれを選ぶか

取り込みの手間をゼロにしたい / 常に最新のCloud Storageを見たい
   → 外部テーブル

BQに取り込んで、同じデータを何度も速く分析したい
   → ロードジョブ
        └ それを毎日 定期で・コードを書かず 自動化したい → DTS
        └ 置かれた瞬間に即取り込みたい → どれでも不可。イベント駆動(Eventarc)が要る

関連

• データ基盤
• Cloud Storage
• BigQuery
• Cloud Storageのバケットとprefix
• APIとJobの違い