|
内容紹介・もくじなど
著者プロフィール
大橋 潤(オオハシ ジュン)
アマゾン ウェブ サービス ジャパン合同会社所属。SIerでのシステム構築・運用を経てAWSにクラウドサポートエンジニアとして入社し、アナリティクス関連サービスの技術サポートに従事。検索技術とデータエンジニアリング全般に関心あり 大橋 潤(オオハシ ジュン)
アマゾン ウェブ サービス ジャパン合同会社所属。SIerでのシステム構築・運用を経てAWSにクラウドサポートエンジニアとして入社し、アナリティクス関連サービスの技術サポートに従事。検索技術とデータエンジニアリング全般に関心あり |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
本書は、データウェアハウス上でのデータ変換を担うオープンソースツールdbt(data build tool)を実践的に解説する書籍です。データエンジニア、アナリティクスエンジニア、データアナリストなど、データ基盤の…(続く)
本書は、データウェアハウス上でのデータ変換を担うオープンソースツールdbt(data build tool)を実践的に解説する書籍です。データエンジニア、アナリティクスエンジニア、データアナリストなど、データ基盤の構築や運用に関わる方々を対象としています。たとえば、改修を重ねた変換SQLが200本あって、依存関係を把握している人がもういない。あるSQLのロジックを直したら、下流のテーブルが実は壊れていて、気づいたのは翌朝のアラートだった。影響範囲を調べるだけで丸一日。実装した人はとっくに異動していて、テストもドキュメントもないパイプラインだけが残っている。似たような中間テーブルが増え続けて、集計テーブルをひとつ追加するだけで何週間もかかる。こういう状態に対して、dbtは実用的な解決策を提供します。SQLによる変換処理に対して、依存関係の自動解決、データテスト、ドキュメント自動生成、CI/CD連携など、アプリケーション開発で当たり前とされてきたプラクティスを持ち込めるのが特徴です。dbt Labs社によって2016年に開発が始まり、現在はオープンソースのdbt Coreと、マネージドなdbt platformという形態で提供されています。アダプタと呼ばれるプラグインの仕組みによって対応先のデータプラットフォームを拡張でき、Snowflake、BigQuery、Redshift、Databricksをはじめ、コミュニティが開発したアダプタも含めると対応範囲は広がり続けています。
もくじ情報:第1章 dbtで解決するデータ変換の課題;第2章 dbtをはじめよう;第3章 チーム開発を支えるテスト、ドキュメント、CI/CD;第4章 実践的データモデリング;第5章 データ品質管理の実践;第6章 ワークフローエンジンによるdbtの運用;第7章 レイクハウスにおけるdbtの活用;第8章 既存システムからのマイグレーション;付録A セマンティックレイヤーの紹介;付録B AIによるdbt設計・運用の効率化;付録C dbtトラブルシューティングガイド