dbt

dbt (data build tool) adalah sebuah tool untuk transformasi data di dalam warehouse yang memungkinkan tim data melakukan modeling, testing, dan dokumentasi data secara terstruktur. dbt bukan alat untuk ekstraksi atau loading data (ETL), melainkan fokus pada transformasi data setelah data berada di warehouse (dikenal juga sebagai T dalam ELT).

Fungsi Utama

1. Transformasi data: Mengubah data mentah menjadi data yang siap dipakai (clean, terstruktur, konsisten).
2. Modular & versi kontrol: Semua transformasi ditulis dalam SQL atau Jinja (templating), sehingga bisa dikelola seperti kode software.
3. Testing: Menyediakan fitur untuk memvalidasi data (misal memastikan tidak ada NULL di kolom penting).
4. Dokumentasi & lineage: Bisa membuat dokumentasi otomatis dan menampilkan hubungan antar model data.

Cara Kerja

1. Data sudah ada di data warehouse (misal BigQuery, Snowflake, Redshift, Postgres).
2. dbt dijalankan untuk melakukan transformasi SQL dari tabel mentah menjadi tabel siap pakai (misal tabel fact & dimension).
3. dbt juga bisa membuat views atau tables baru di warehouse.

Keunggulan dbt

1. Mengikuti prinsip software engineering (version control, modularity, testing).
2. Memudahkan kolaborasi tim data.
3. Mendukung workflow staging → intermediate → mart, sehingga pipeline data lebih terstruktur.