プロフェッショナルデジタルスキル › Web参考書 › 第2章

データ分析・データ利活用:データ基盤の型、統計的手法、可視化、業務分析の手法

第2章 データ・AIの利活用 / 節 2

シラバスのキーワード: データレイクデータウェアハウス(DWH)レイクハウススタースキーマスキーマオンリードデータファブリックセマンティックレイヤーオルタナティブデータアソシエーション分析リフト値擬似相関仮説検定(第 1 種の誤り,第 2 種の誤り)箱ひげ図需要予測(最小二乗法,移動平均法,指数平滑法)モンテカルロ法

中分類9 は、データを集め、加工し、分析して伝えるための知識で、データ基盤、データ分析・データ利活用、業務分析の三つの小分類から成ります。データの品質や管理の体制は中分類8(データマネジメント)、AI の使い分けは中分類10 の範囲で、ここでは分析の基盤と手法が問われます。

この節の用語(小分類ごと)

データ基盤

データ分析・データ利活用

業務分析

試験で問われる観点

関連する節

この節の練習問題(13問)

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    H 社は,配送車両の車載端末から送られる位置情報のイベントを,イベントの発生時刻を基準とするウィンドウ処理で集計している。ウィンドウは長さ 10 分で 5 分ごとに始まり,開始時刻を含み終了時刻を含まない。ウォーターマーク(それまでに到着したイベントの発生時刻の最大値から 2 分を引いた時刻)がウィンドウの終了時刻以上になった時点でそのウィンドウの集計を確定し,確定後に到着したイベントはそのウィンドウには加えない。イベントが次の順に到着したとき,10:05〜10:15 のウィンドウで確定した件数は幾つか。 到着順(括弧内はイベントの発生時刻):①(10:03),②(10:06),③(10:09),④(10:15),⑤(10:12),⑥(10:18),⑦(10:13)
    1. 12
    2. 23
    3. 34
    4. 45
    答えと解説

    正解: 2

    このウィンドウに入り得るのは発生時刻が 10:05 以上 10:15 未満のイベントで,②,③,⑤,⑦が該当し,④の 10:15 は終了時刻なので含まない。④の到着後のウォーターマークは 10:13 で,まだ確定しないので,到着の順序が逆転した⑤の 10:12 は加えられる。⑥の到着でウォーターマークが 10:16 となり,終了時刻の 10:15 以上になるので,②,③,⑤の 3 件で確定する。その後に到着した⑦は遅延データとして加えない。順序の逆転を全て遅延とみなすと 2 件,⑦を加えると 4 件,さらに④も含めると 5 件と誤る。

  2. 問2
    データパイプラインの配信保証と,障害時の再実行に関する記述のうち,適切でないものはどれか。
    1. 1at-least-once の配信保証の下では同じメッセージが重複して届くことがあるので,受信側でメッセージの識別子を基に,処理済みのものを再び反映しないようにする。
    2. 2一時的な通信の障害に備えたリトライでは,再試行の間隔を回数とともに広げ,上限の回数を超えたデータは別の領域に退避して,後から原因を調べて再処理する。
    3. 3変換の規則を改めて過去の期間のデータを作り直すバックフィルでは,日付の区画ごとに出力を置き換える形で再実行し,同じ区画を何度処理しても結果が変わらないようにする。
    4. 4取込み処理をべき等にするため,受け取ったレコードに処理を実行した時刻を付けて追記し,同じ入力で再実行したときも実行ごとの記録を区別できるようにする。
    答えと解説

    正解: 4

    べき等性は,同じ入力で処理を何度実行しても結果が変わらない性質である。実行の時刻を付けて追記すると,再実行のたびに同じ内容のレコードが別のものとして増えるので,べき等にはならず,記述は適切でない。キーによる上書きや日付の区画ごとの置換えで出力を作れば,べき等にできる。at-least-once はメッセージを失わない代わりに重複があり得るので,受信側で識別子による重複の排除を行う。一時的な障害には間隔を広げながら上限付きでリトライし,失敗したデータは退避して再処理する。過去分を作り直すバックフィルも,区画ごとの置換えでべき等にする。

  3. 問3
    F 社は,ポイント施策を 4 月から一部の地域の店舗(実施店)で始め,他の地域の店舗(非実施店)では実施していない。1 店当たりの月間売上の平均は表のとおりである。差分の差分法で施策の効果を推定するとき,1 店当たりの月間売上に対する効果の推定値と,その推定が妥当であるための前提の組合せとして,適切なものはどれか。 表 1 店当たりの月間売上の平均(単位:万円) |店舗|施策の前(1〜3 月)|施策の後(4〜6 月)| |実施店|520|610| |非実施店|480|540|
    1. 130 万円,施策が無かったとしても,実施店と非実施店の売上は同じ幅で変化したとみなせること
    2. 230 万円,施策の後の期間に,実施店と非実施店の 1 店当たりの売上のばらつきが等しいとみなせること
    3. 370 万円,施策の後の期間に,実施店と非実施店の立地や店舗の規模の構成が等しいとみなせること
    4. 490 万円,施策の前後の期間で,実施店に含まれる店舗の顔ぶれが変わっていないとみなせること
    答えと解説

    正解: 1

    差分の差分法は,施策を受けた群の前後の変化から,受けなかった群の前後の変化を差し引いて効果を推定する。実施店の変化は 610 − 520 = 90,非実施店の変化は 540 − 480 = 60 なので,効果は 90 − 60 = 30 万円となる。実施店の前後の差の 90 は季節などによる共通の変化を含み,施策の後の群間の差の 70 は施策の前からあった水準の差 40 を含む。この推定は,施策が無ければ両群が同じ幅で変化したという平行トレンドの仮定に依存し,両群の売上の水準やばらつきが等しい必要はない。

  4. 問4
    G 社は,クレジットカードの取引から不正を検知するために,2 段階の判定を行っている。第 1 段の判定モデルは,不正な取引の 95%,正当な取引の 4% に警告を出す。警告が出た取引だけに行う第 2 段の判定は,不正な取引の 90%,正当な取引の 10% を“不正の疑いあり”とする。全取引に占める不正な取引の割合は 1% であり,取引が不正か正当かが決まれば,二つの判定の結果は互いに独立であるとする。第 1 段で警告が出て,第 2 段でも“不正の疑いあり”とされた取引が,実際に不正な取引である確率は約何 % か。
    1. 18%
    2. 219%
    3. 368%
    4. 486%
    答えと解説

    正解: 3

    ベイズの定理を用いる。不正な取引で両方の判定が陽性となる確率は 0.01 × 0.95 × 0.90 = 0.00855,正当な取引で両方が陽性となる確率は 0.99 × 0.04 × 0.10 = 0.00396 である。求める確率は 0.00855 ÷ (0.00855 + 0.00396)≒ 0.68 で,約 68% となる。第 1 段だけで求めると 0.0095 ÷ (0.0095 + 0.0396)≒ 0.19,第 2 段の性能に不正の割合 1% をそのまま当てはめると約 8%,検出の確率の積 0.95 × 0.90 を答えると約 86% と誤る。第 1 段で不正の割合が高まった取引に第 2 段を行うので,事後確率が大きく上がる。

  5. 問5
    業務の分析や計画でモデル化を行うとき,確定モデルではなく確率モデルを用いるのが適切な場面はどれか。
    1. 1原材料の価格は月ごとに変動するが,来月分は契約で単価を取り決めてあるので,その単価を用いて来月の製造原価を計算する。
    2. 2各作業の所要日数は作業ごとに異なるが,いずれも一つの値に定めてあるので,工程表から全体の最短の所要日数を求める。
    3. 3製品ごとの利益と工程ごとの作業時間の上限が決まっているので,利益が最大になる製品の生産量の組合せを求める。
    4. 4来客の間隔と応対の時間は客ごとの実績を分布として集計してあるので,窓口の数ごとの待ち時間の分布を見積もる。
    答えと解説

    正解: 4

    確定モデルは,入力や関係が確定した値で表され,同じ条件なら結果が一つに決まるモデルであり,確率モデルは,需要や到着の間隔などの不確実な要素を確率分布で表し,結果も分布として扱うモデルである。来客の間隔と応対の時間が事前に決まらない窓口の計画は,待ち行列の理論や,乱数を用いて試行を繰り返すモンテカルロ法などの確率モデルで,待ち時間の分布を見積もるのが適切である。契約で単価が確定した原価の計算,所要日数が確定した工程表の最短の日数,利益と作業時間の上限が決まった生産量の最適化は,いずれも値が確定しているので確定モデルで扱える。

  6. 問6
    データ基盤のアーキテクチャの一つであるレイクハウスの説明として,最も適切なものはどれか。
    1. 1多様な形式のまま蓄積したデータに,トランザクション管理やスキーマ管理の機能を加え,一つの基盤で BI と機械学習の両方に使えるようにしたもの
    2. 2複数の業務システムから抽出したデータを,あらかじめ定めたスキーマに合わせて変換してから格納し,時系列で統合して意思決定の支援に利用できるようにしたもの
    3. 3全社で統合したデータから,特定の部門や分析の目的に必要なデータだけを抽出・集計して格納し,その部門の利用者が素早く分析できるようにしたもの
    4. 4複数のデータベースやファイルに分散しているデータを物理的に複製・移動せずに,仮想的な統合ビューを通して一つのデータベースのように参照できるようにしたもの
    答えと解説

    正解: 1

    レイクハウスは,データレイクとデータウェアハウス(DWH)の特長を組み合わせたアーキテクチャであり,オブジェクトストレージなどに蓄積した構造化・非構造化データに対して,DWH が備えるトランザクションの整合性やスキーマの管理などの機能を提供する。これにより,データを複数の基盤に複製せずに,BI による集計と機械学習の両方に利用できる。あらかじめ定めたスキーマに変換してから格納するスキーマオンライトで統合するのは DWH,部門や目的別に必要なデータを切り出すのはデータマート,物理的に移動せずに仮想的に統合して参照するのはデータ仮想化の説明である。

  7. 問7
    データの種類とその説明の組合せとして,適切でないものはどれか。
    1. 1半構造化データ:JSON や XML のように,固定的な表の形式はもたないが,タグやキーによってデータの意味や階層を示す構造をもつデータ
    2. 2非構造化データ:画像や音声,自由記述の文章のように,データの項目や形式があらかじめ定まっておらず,そのままでは表の形式で扱えないデータ
    3. 3オルタナティブデータ:企業が決算短信や有価証券報告書などで公式に開示する,売上高や利益などの財務に関するデータ
    4. 4クロスセクションデータ:ある一時点において,複数の地域や企業などの対象について同じ項目を観測して集めたデータ
    答えと解説

    正解: 3

    オルタナティブデータは,財務諸表や公的統計などの従来から分析に用いられてきたデータ以外の新しい種類のデータを指し,人工衛星の画像,位置情報,POS データ,SNS への投稿,Web の検索動向などが該当する。投資判断や景気の把握などで,従来のデータを補う目的で使われる。企業が公式に開示する財務データは従来型のデータであり,オルタナティブデータの説明として適切でない。JSON や XML のようにタグやキーで構造を示すのは半構造化データ,画像や音声,自由記述の文章は非構造化データ,一時点で複数の対象を観測したのはクロスセクションデータの説明として,いずれも適切である。

  8. 問8
    データ分析において注意すべき擬似相関の例として,最も適切なものはどれか。
    1. 1現在も営業を続けている店舗だけを調べて繁盛の要因を分析したため,同じ施策を実施して閉店した店舗の情報が結果に反映されなかった。
    2. 2Web のアンケートで生活スタイルを調査したため,インターネットをよく利用する人の回答が多くなり,世の中全体の傾向とずれた結果になった。
    3. 3新しい施策に効果があると考えていた担当者が,効果を示すデータばかりを重視し,効果を否定するデータを軽視して施策を評価した。
    4. 4月ごとのエアコンの販売台数と熱中症による救急搬送者数とが同じように増減していたが,いずれも気温の上昇に伴って増えていた。
    答えと解説

    正解: 4

    擬似相関は,二つの変数の間に直接の因果関係がないにもかかわらず,両方に影響を与える第三の変数(交絡因子)が存在することで,相関があるように見える現象である。エアコンの販売台数と熱中症の搬送者数は,どちらも気温に影響されて増減しているだけであり,一方が他方の原因ではない。営業を続けている店舗だけを分析して閉店した店舗の情報が抜け落ちるのは生存者バイアス,回答者がインターネットの利用者に偏るのは標本抽出に伴う選択バイアス,自分の考えを支持するデータばかりを重視するのは認知バイアスの一つである確証バイアスの例である。

  9. 問9
    世帯ごとの所得の分布のように,少数の大きな値があるために右側(値の大きい側)に長く裾を引く分布の性質として,最も適切なものはどれか。
    1. 1歪度は負の値になり,平均値は中央値よりも大きくなりやすい。
    2. 2歪度は正の値になり,平均値は中央値よりも大きくなりやすい。
    3. 3歪度は正の値になり,平均値は中央値よりも小さくなりやすい。
    4. 4尖度は負の値になり,平均値は中央値とほぼ等しくなりやすい。
    答えと解説

    正解: 2

    歪度は分布の左右の非対称性を表す指標であり,左右対称の分布では 0,右側に長く裾を引く分布では正,左側に長く裾を引く分布では負の値になる。右に裾を引く分布では,少数の大きな値に引っ張られて平均値が大きくなる一方,中央値はその影響を受けにくいため,平均値は中央値よりも大きくなりやすい。所得の分布で平均値が多くの世帯の実感より高くなるのはこのためであり,代表値として中央値が併せて用いられる。尖度は分布のとがり具合や裾の重さを表す指標であり,左右の非対称性を表すものではない。

  10. 問10
    Web サイトの A/B テストで,“新しいデザインと現行のデザインとで購入率に差はない”を帰無仮説として仮説検定を行う。第 1 種の誤りに当たるものはどれか。
    1. 1実際には購入率に差がないのに,新しいデザインのほうが購入率が高いと判断する。
    2. 2実際には新しいデザインのほうが購入率が高いのに,差があるとはいえないと判断する。
    3. 3実際に新しいデザインのほうが購入率が高く,検定の結果からも差があると判断する。
    4. 4実際には購入率に差がなく,検定の結果からも差があるとはいえないと判断する。
    答えと解説

    正解: 1

    仮説検定では,帰無仮説が正しいのに棄却してしまう誤りを第 1 種の誤り,帰無仮説が誤っているのに棄却しない誤りを第 2 種の誤りという。この A/B テストの帰無仮説は“購入率に差はない”なので,実際には差がないのに新しいデザインのほうが高いと判断するのが第 1 種の誤りであり,効果のない施策を採用することにつながる。第 1 種の誤りを犯す確率の上限が有意水準である。実際には差があるのに差があるとはいえないと判断するのは第 2 種の誤りである。差があるときに差があると判断すること,差がないときに差があるとはいえないと判断することは,いずれも正しい判断である。

  11. 問11
    データの可視化において,伝えたい目的とグラフの選択の組合せとして,適切でないものはどれか。
    1. 1構成:製品カテゴリ別の売上構成比が年度ごとにどう変わったかを示すために,100% 積み上げ棒グラフを用いる。
    2. 2分布:複数の店舗の客単価について,中央値やばらつき,外れ値を店舗間で比べるために,箱ひげ図を用いる。
    3. 3推移:過去 3 年間の月別の売上高の変化と,季節による周期性を示すために,折れ線グラフを用いる。
    4. 4相関:店舗ごとの売場面積と売上高との関係の強さを示すために,レーダーチャートを用いる。
    答えと解説

    正解: 4

    二つの量的な変数の関係の強さや傾向を示すには,一方を横軸,他方を縦軸にとって各データを点で表す散布図が適している。レーダーチャートは,複数の評価項目のバランスを対象ごとに比べるためのグラフであり,売場面積と売上高の相関を示す目的には適さない。構成比の変化を示す 100% 積み上げ棒グラフ,中央値やばらつき,外れ値を比べる箱ひげ図,時系列の変化や周期性を示す折れ線グラフは,いずれも目的に合った選択である。グラフは,比較,構成,分布,推移,相関のうちどれを伝えたいかによって選ぶことが基本となる。

  12. 問12
    あるスーパーマーケットの 1 か月間のレシート 1,000 件を対象にアソシエーション分析を行った。商品 A を含むレシートは 200 件,商品 B を含むレシートは 250 件,商品 A と商品 B の両方を含むレシートは 100 件であった。“商品 A を購入した顧客は商品 B も購入する”というルールのリフト値は幾らか。
    1. 10.1
    2. 20.5
    3. 32.0
    4. 42.5
    答えと解説

    正解: 3

    リフト値は,ルールの信頼度を,結論側の商品が全体の中で購入される割合で割った値であり,前提の商品を購入したことで結論の商品が購入されやすくなる度合いを表す。信頼度は商品 A を含むレシートのうち商品 B も含む割合なので 100÷200=0.5,商品 B を含むレシートの割合は 250÷1,000=0.25 であり,リフト値は 0.5÷0.25=2.0 となる。リフト値が 1 を上回るほど,二つの商品が併せて購入される傾向が強い。0.1 は両方を含むレシートの割合である支持度,0.5 は信頼度であり,2.5 は信頼度を商品 A を含むレシートの割合で割った誤りである。

  13. 問13
    ある工場では製品 P と製品 Q を生産しており,1 個当たりの利益は P が 4 万円,Q が 3 万円である。1 個の生産に必要な機械加工と組立の時間,及び 1 週間に使える時間の上限は次の表のとおりである。線形計画法を用いて 1 週間の利益が最大となる生産量を求めたとき,最大の利益はどれか。ここで,生産量は 0 以上とし,生産した製品は全て販売できるものとする。 工程 | P 1 個当たり | Q 1 個当たり | 1 週間の上限 機械加工 | 2 時間 | 1 時間 | 100 時間 組立 | 1 時間 | 2 時間 | 80 時間
    1. 1200 万円
    2. 2220 万円
    3. 3300 万円
    4. 4320 万円
    答えと解説

    正解: 2

    P の生産量を x,Q の生産量を y とすると,制約条件は 2x+y≦100,x+2y≦80,x≧0,y≧0 であり,目的関数は 4x+3y(万円)である。実行可能領域の頂点は (0, 0),(50, 0),(40, 20),(0, 40) で,2 本の制約式の交点 (40, 20) の利益は 160+60=220 万円となり,(50, 0) の 200 万円,(0, 40) の 120 万円を上回るので最大である。200 万円は利益の大きい P だけを生産した値,300 万円は組立の制約を無視して Q だけを 100 個とした値,320 万円は P だけの最大量 50 個と Q だけの最大量 40 個を合算した値である。