• incremental_storategy には merge と insert_overwrite がある
• どちらも BigQuery では merge 文として実行される

merge

• デフォルトの incremental_storategy

• merge 文で差分更新する

  MERGE t USING s ON c WHEN MATCHED THEN

  • ソースから抽出した差分について、更新するテーブルに対し unique_key で指定したカラム が一致するレコードがあれば UPDATE, なければ INSERT
  • unique_key で指定したキーについて、更新するテーブル上の一致するレコードを宛先を全スキャンして探してしまう。更新対象テーブルが大きいほどスキャンサイズが増える

insert_overwrite (INSERT + OVERWIRTE)

• source に含まれる パーティション を tatget から削除し、そのまま置き換える
• パーティションをごそっと削除するので target のフルスキャンが発生しない
• 置き換えるパーティションが少なく、 source で単純に置き換えできるなら良さそう

参考

BigQueryにおけるdbtの増分更新についてまとめてみた - Timee Product Team Blog

dbtのincremental modelを用いたBigQueryの差分更新 〜 copy_partitionsも試してみた 〜