開発する前に知っておくと良さそうなことを整理した

もくじ

package とりあえずこれを入れておけ

packages.yml

packages:
  - package: dbt-labs/dbt_utils
    version: 0.8.6

  - package: dbt-labs/codegen
    version: 0.7.0

version は更新してね

モデルのレイヤ構成

• データを投入したい人のリクエストで staging レイヤを整える
  • データソースを base レイヤを経由しながら stg に揃える感じ
  • stg のテーブル仕様を整合する感じになるのかな
• データを利用したい人のリクエストで marts を整える

stg/base レイヤの構成

staging は marts を作るためのレイヤ。ビジネスレイヤのためのソースレイヤが staging

• models/staging/<データソース？名>/stg_<データソース？名>__元テーブル名.sql
  • 元テーブルをそのまま使う場合はここでそのまま stg にする
    • 基本的な変換(カラム名変換や型変換など)はここでやる
  • 複数の元テーブルから作る場合は base テーブルで基本変換しておいて stg でくっつける
  • stg に対するテストは stg_<データソース？名>.yml に書く
• models/staging/<データソース？名>/base/base_<データソース？名>__元テーブル名.sql
  • stg で複数テーブルを使用する場合はここで変換しておく
  • 基本的に ephemeral にしておく。ユーザが直接クエリすることはないので
  • base に対するテストは base/base.yml に書く

stg モデルを簡単に用意する

ベストプラクティスによると、models/staging/hoge/fuga.sql のように、source を参照する staging テーブルを用意するのが良いらしい。けど既存のテーブル/ビューをそのまま使えるなら、以下で生成できる。

dbt run-operation generate_base_model --args \
    '{"source_name":"dataset_name","table_name":"table_name"}'

• イマイチだった案