中分類9 は、データを集め、加工し、分析して伝えるための知識で、データ基盤、データ分析・データ利活用、業務分析の三つの小分類から成ります。データの品質や管理の体制は中分類8(データマネジメント)、AI の使い分けは中分類10 の範囲で、ここでは分析の基盤と手法が問われます。
この節の用語(小分類ごと)
データ基盤
- データレイク: データを元の形式のまま蓄積する基盤。読み出すときに構造を解釈するスキーマオンリードが基本。
- データウェアハウス(DWH): スキーマに変換してから格納する(スキーマオンライト)分析用の統合データベース。部門別に切り出したものがデータマート。
- レイクハウス(新): データレイクに DWH のトランザクション管理やスキーマ管理を加え、BI と機械学習の両方に使えるようにした構成。
- スタースキーマ(新): 事実を記録するファクトテーブルを、日付や商品などの切り口のディメンションテーブルが囲む形。ディメンションを正規化したものがスノーフレークスキーマ。
- データ仮想化(新): データを物理的に移さずに仮想的に統合して参照する技術。メタデータを生かして分散したデータを横断的につなぐ設計がデータファブリック(新)。
- セマンティックレイヤー(新): 業務用語と計算の定義を、物理的なデータとの間に一元的に置く層。ツールごとの数値の食い違いを防ぐ。
- 多次元分析: 集計の軸を切り替えて分析する手法(OLAP)。詳細に下りるのがドリルダウン、集約へ上がるのがドリルアップ。分析前の整形や結合はデータプレパレーション(新)。
データ分析・データ利活用
- データの種類: JSON や XML は半構造化データ、画像や自由記述の文章は非構造化データ。一時点で複数の対象を観測したものがクロスセクションデータ。
- オルタナティブデータ: 財務諸表や公的統計などの従来のデータ以外のデータ。衛星画像、位置情報、SNS への投稿など。
- データの加工: 同じ対象のレコードをまとめる名寄せ、外れ値・欠損値の処理、ストップワード除去、平均 0、標準偏差 1 にそろえる標準化。
- アソシエーション分析: 一緒に買われやすい商品の組合せを見つける分析。リフト値は信頼度を結論側の商品の購入割合で割った値で、1 を上回るほど併買の傾向が強い。
- 歪度と尖度(新): 歪度は左右の非対称性で、右に裾を引くと正になり、平均値が中央値より大きくなりやすい。このような分布では代表値として中央値も併せて使う。尖度はとがり具合。
- 擬似相関: 因果のない二つの変数が、両方に影響する第三の変数(交絡因子)によって相関して見える現象。
- 統計的バイアス/認知バイアス: 標本抽出の偏りから生じる選択バイアスや生存者バイアスと、自説に合うデータを重視する確証バイアスのような人の判断の偏り。
- 仮説検定: 帰無仮説が正しいのに棄却するのが第 1 種の誤りで、その確率の上限が有意水準。帰無仮説が誤っているのに棄却しないのが第 2 種の誤り。
- 目的に応じたグラフの選択: 比較は棒グラフ、構成は積み上げ棒グラフ、分布は箱ひげ図、推移は折れ線グラフ、相関は散布図。
業務分析
- 需要予測: 最小二乗法で傾向線を当てはめる方法、直近の一定期間を平均する移動平均法、直近の実績ほど重みを大きくする指数平滑法。
- QC 七つ道具/新 QC 七つ道具: 前者はパレート図など数値データを扱う手法、後者は親和図法など言語データを整理する手法。
- デルファイ法: 専門家へのアンケートを、集計結果を返しながら繰り返して意見を収束させる手法。乱数による多数回の試行で結果の分布を見積もるのはモンテカルロ法。
- ワークサンプリング法: 作業者の状態を瞬間的に多数回観測し、作業の構成比率を推定する IE の手法。線形計画法は制約条件の下で目的関数を最大または最小にする。
試験で問われる観点
- データ基盤の区別。スキーマオンライトで統合するのは DWH、元の形式で蓄積するのはデータレイク、両者を一つにするのはレイクハウス、移さずに統合するのはデータ仮想化。
- リフト値の計算。1,000 件中、A を含むのが 200 件、B が 250 件、両方が 100 件なら、信頼度 0.5 ÷ B の割合 0.25 = 2.0。支持度 0.1 や信頼度と取り違えない。
- 第 1 種と第 2 種の誤りは帰無仮説の内容に当てはめて判定する。「差はない」が帰無仮説なら、差がないのに効果ありと判断するのが第 1 種。
- 擬似相関と、生存者バイアス、選択バイアス、確証バイアスとの区別。オルタナティブデータに企業が開示する財務データは含まれない。
- 二つの量の相関には散布図。レーダーチャートは複数項目のバランスの比較に使う。
関連する節
- データマネジメント: データ品質とメタデータの管理
- AI 利活用: 識別 AI と生成 AI の使い分け
- 経営戦略・デジタル戦略: データ活用を位置付ける DX 戦略