データマネジメント › Web参考書 › 第2章

データ基盤:データレイク・DWH・データマート、ELT と ETL、データ仮想化とデータファブリック、BI ツールとセルフサービス分析

第2章 データ分析・データ利活用(重点分野) / 節 1

シラバスのキーワード: データ基盤の役割(データ蓄積,データ加工,データ分析,データ活用)データレイクデータウェアハウス(DWH)データマートELTETLデータ仮想化データコネクタデータファブリックBI ツールオントロジーセマンティックレイヤーセルフサービス分析データブレンディングデータプレパレーション

データ基盤は、社内外のデータを集めて整え、分析や業務に使えるようにする仕組みです。DM の受験者は基盤を作る側ではなく使う側ですが、シラバスの【内容】は、データサイエンティストやデータエンジニアの説明を理解して円滑に連携できることを求めています。用語の区別と、ビジネス部門の担当者が基盤を使うときのルールを押さえます。

この節の用語(小分類ごと)

データ基盤

試験で問われる観点

関連する節

この節の練習問題(6問)

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    データ基盤の役割を,データ蓄積,データ加工,データ分析,データ活用の四つに分けたとき,データ加工に当たるものとして,最も適切なものはどれか。
    1. 1販売管理や顧客管理などの業務システムから定期的にデータを取り込み,過去の分も含めて消失しないように保管しておく。
    2. 2BI ツールで地域別・商品別の売上を集計し,前年と比べて落ち込んでいる地域と商品の組合せを見つけ出す。
    3. 3システムごとに異なる商品コードの体系や日付の形式をそろえ,複数のデータをつなぎ合わせて分析に使える形に整える。
    4. 4分析で分かった売れ筋の傾向を基に,店舗の担当者が発注量や売場の配置を見直し,日々の業務の判断に役立てる。
    答えと解説

    正解: 3

    データ基盤は,業務システムなどで発生したデータを集めて保管する蓄積,分析できる形に整える加工,集計や統計的手法で傾向を見いだす分析,その結果を業務の改善や意思決定に生かす活用の役割を担う。システムごとに異なるコード体系や日付の形式をそろえ,複数のデータを結合して使える形に整えるのはデータ加工に当たる。業務システムからデータを取り込んで保管するのは蓄積,BI ツールで集計して落ち込んでいる地域と商品を見つけるのは分析,その傾向を基に発注量や売場を見直すのは活用である。加工の内容を理解しておくと,集計された数値の意味を正しく読める。

  2. 問2
    データ基盤を構成する要素と,ビジネス部門での利用場面の組合せとして,適切でないものはどれか。
    1. 1データレイク:用途がまだ決まっていない通話音声や SNS の投稿,センサーのログなどを元の形式のまま保存しておき,データサイエンティストが探索的な分析に使う。
    2. 2データマート:全社の多様なデータを,部門や目的を限定せずに元の形式のまま一か所に集め,将来どのような分析にも使えるように大量に保存しておく。
    3. 3データウェアハウス(DWH):複数の業務システムの販売,在庫,顧客のデータを統合して整理し,全社の経営指標を年度や月ごとに比べて意思決定に使う。
    4. 4BI ツール:DWH やデータマートのデータを基に,売上や在庫の状況をダッシュボードに表示し,担当者が自ら集計の切り口を変えて確認する。
    答えと解説

    正解: 2

    データマートは,DWH などで統合されたデータから,特定の部門や目的に必要なデータだけを抽出・集計して格納したものであり,対象を絞ることで部門の担当者による素早い分析を可能にする。全社の多様なデータを目的を限定せずに元の形式のまま大量に保存しておくのはデータレイクの特徴であり,データマートの利用場面として適切でない。用途未定の音声やログを元の形式で保存して探索的な分析に使うデータレイク,複数のシステムのデータを統合して全社の指標を時系列で比べる DWH,それらのデータをダッシュボードに表示し担当者が自ら切り口を変える BI ツールは,いずれも適切である。

  3. 問3
    データ基盤にデータを取り込む方式の一つである ELT の説明として,最も適切なものはどれか。
    1. 1業務システムから抽出したデータを,専用の処理サーバで形式の変換やクレンジングを済ませてから,DWH に格納する。
    2. 2業務システムのデータを基盤に取り込まず,問合せのたびに元のシステムへ接続して,その場でデータを参照・統合する。
    3. 3DWH に格納済みのデータから,特定の部門の分析に必要な項目だけを抽出・集計し,部門専用の領域に格納する。
    4. 4業務システムから抽出したデータを,まず元の形のままデータ基盤に格納し,必要に応じて基盤の処理能力で変換する。
    答えと解説

    正解: 4

    ELT(Extract,Load,Transform)は,抽出したデータをまず元の形のまま DWH やデータレイクなどのデータ基盤に格納し,その後に基盤の処理能力を使って必要な形に変換する方式である。加工前のデータが基盤に残るので,ビジネス部門から新しい集計の切り口を求められたときにも,元のデータから変換をやり直せる。変換を済ませてから格納するのは ETL であり,格納する前に変換後の形を決めておく必要がある。データを移動せずに仮想的に統合して参照するのはデータ仮想化,部門の分析に必要な項目だけを切り出して格納するのはデータマートの作成である。

  4. 問4
    データ基盤の考え方の一つであるデータファブリックの説明として,最も適切なものはどれか。
    1. 1クラウドや社内のシステムに分散したデータを,メタデータを活用して統合的に発見・接続・管理し,利用者が所在を意識せずに使えるようにする仕組み
    2. 2特定の SaaS やデータベースと,データ基盤や BI ツールとの間の接続手順を部品化し,個別にプログラムを作らずにデータを取り込めるようにする仕組み
    3. 3全社の業務システムのデータを定期的に抽出して一つのデータベースに物理的に集約し,あらかじめ定めた形式で時系列に蓄積する仕組み
    4. 4BI ツール上で,社内の販売データと外部の気象データなど出所の異なるデータを組み合わせ,担当者が一つの分析画面で扱えるようにする手法
    答えと解説

    正解: 1

    データファブリックは,クラウドや社内の複数のシステムなどに分散したデータを,メタデータを活用して関連付け,統合的に発見・接続・管理できるようにする設計の考え方である。データを必ずしも一か所に集め直さずに,所在の違いを意識させずに利用者へ届けることを目指す。SaaS やデータベースとの接続手順を部品化して取り込みを容易にするのはデータコネクタであり,データファブリックを構成する要素にはなるが,考え方全体ではない。データを一つのデータベースに物理的に集約して時系列に蓄積するのは DWH,BI ツール上で出所の異なるデータを組み合わせるのはデータブレンディングの説明である。

  5. 問5
    ある企業では,営業部門と経理部門がそれぞれ別の BI ツールで“売上高”を集計しているが,返品の扱いや計上日の基準が部門ごとに異なり,会議で示される数値が一致しないことが多い。この問題を解決する方法として,最も適切なものはどれか。
    1. 1各部門が使う BI ツールを一つの製品に統一し,集計の方法は従来どおり各部門の担当者がそれぞれの業務の都合に合わせて設定する。
    2. 2部門ごとの集計の手順を表計算ソフトの手順書にまとめて各部門で保管し,数値が食い違ったときは手順書を突き合わせて差異の理由を説明する。
    3. 3関係部門で合意した“売上高”の定義をセマンティックレイヤーに一元的に登録し,各部門の BI ツールから共通に参照する。
    4. 4各部門の担当者が DWH の明細データに直接アクセスし,それぞれが必要と考える条件で問合せを書いて“売上高”を集計できるようにする。
    答えと解説

    正解: 3

    セマンティックレイヤーは,データ基盤と BI ツールなどの利用側との間に置かれ,データを“売上高”“顧客数”のような業務の用語や指標に対応付けて,その定義や算出方法を一元的に管理する層である。ツールや部門が異なっても同じ定義に基づく数値が得られるので,部門間の食い違いを防げる。定義そのものは,データオーナーなどの関係者が合意して決める。BI ツールの製品を統一しても,集計の方法を各部門が個別に設定すれば定義の違いは残る。手順書を突き合わせて差異を説明するのは食い違いが起きた後の対応であり,原因を解消しない。各担当者が明細から独自の条件で集計すると,定義のばらつきがかえって広がる。

  6. 問6
    ビジネス部門の担当者が BI ツールを使ってセルフサービス分析を行う際の対応 a〜c のうち,望ましくない対応だけを全て挙げた組合せはどれか。 a 自部門の担当者がデータプレパレーションの機能で独自に加工した集計表を,加工の条件や指標の定義を示さないまま他部門に配布し,それぞれの判断の根拠に使ってもらう。 b 自社の販売データに自治体のオープンデータをデータブレンディングで組み合わせる前に,利用規約で二次利用の条件を確認し,出典と取得日を記録しておく。 c 分析のたびにデータ基盤から抽出すると時間が掛かるので,一度抽出した顧客データの明細を部門の共有フォルダに置き,以後の分析ではそれを使い回す。
    1. 1a
    2. 2a,c
    3. 3b,c
    4. 4a,b,c
    答えと解説

    正解: 2

    セルフサービス分析は,ビジネス部門の担当者が IT 部門に依頼せずに,BI ツールなどで自らデータを準備して分析する取組であり,組織のルールの範囲内で行うことが前提となる。独自に加工した集計表を条件や定義を示さずに他部門へ配布すると,同じ名称の指標で異なる数値が流通し,判断を誤らせるおそれがあるので,a は望ましくない。抽出した明細を共有フォルダに置いて使い回すと,データ基盤側の更新が反映されない古い複製で判断することになり,アクセス権限の管理も及ばなくなるので,c も望ましくない。オープンデータを組み合わせる前に利用規約を確認し,出典を記録する b は望ましい対応である。