imu-note
いむたろ
いむたろ
@imutaroh
新卒エンジニア / データ基盤 × AI

What — クラウド上のファイル置き場

Cloud StorageはGoogle Cloudのオブジェクトストレージ。Google DriveやDropboxの、インフラ版。CSV・画像・ログなど「ファイルそのもの」を置く場所で、SQLで中身を分析する場所ではない(それは BigQuery の仕事)。

構造は2階層で覚える。

  • バケット:一番外側の入れ物(フォルダーのルートみたいなもの)
  • オブジェクト:その中の1ファイル(CSVなど)

フォルダに見える階層は実は prefix という文字列の飾りで、物理的な入れ子ではない。

How — データ基盤での使いどころ

データ基盤では「生データの受け皿」がCloud Storageの定位置。外部から届いたファイルをまずCloud Storageに置き、そこから BigQuery に取り込んで分析する。取り込み方は3方式(ロードジョブ・外部テーブル・DTS)あり、選び方は Cloud StorageとBigQuery に整理した。

関連