June 7, 2023 時点の、主に以下資料に基づくメモです

• BIGQUERY ドキュメント

全般

クラスタ化テーブル

• 最大4つまでのカラムを指定してクラスタ化列を作り、クラスタ化列内のデータは適切なサイズのストレージブロックに振り分けられ内部でソートされる。フィルタ時などで特定のブロックだけ読めば良くなるので高速化を期待できる
• 実際にクエリするまでスキャン量は正確にわからない
• パーティション分割している場合は、各パーティション内をソートする

パーティション分割テーブルは、日毎に分割するなら約11年、時毎なら約5.5ヶ月のデータしか保持できない

• テーブル毎のパーティション数の上限は 4000 なので

API でJob を同期実行するなら query, 非同期なら insert

クエリ

特定のカラムを除いて select する (SELECT * EXCEPT (...))

特定のカラムを SELECT中に置き換える (SELECT * REPLACE(… as …))

0 オリジンは OFFSET, 1 オリジンは ORDINAL

関数に SAFE プレフィックスを付けるとエラー時に NULL が返る

• オペレータはサポートされていない代わりに SAFE_DIVIDE のような関数がある
• CAST は SAFE_CAST で

CAST で base64エンコードできる

JSON 関連の関数は EXTRACT* 系を使うべきではない

• JSON_{QUERY, VALUE}* 系を使うべし