データマネジメント › Web参考書 › 第1章

データ品質管理:データ品質特性と測定量、測定尺度の性質、プロファイリングとクレンジング、品質管理の継続的プロセス

第1章 データマネジメント(重点分野) / 節 3

シラバスのキーワード: データ品質データ品質特性正確性完全性一貫性信憑性データ品質測定量データ品質モデルデータクレンジング欠損値の補完・除外外れ値の修正・削除データ品質の測定尺度(測定可能性,業務関連性,受容性,制御可能性)データプロファイリング・アセスメントデータ品質マネジメントデータ品質低下の予防措置

データ品質管理は、データが使う目的に足りる状態かを測り、足りなければ直し、そもそも悪いデータを生まないようにする活動です。シラバスの【内容】は、自分が入力・更新するデータの正確性を担保することを担当者に求めています。品質を語る共通の言葉(品質特性)と、測る・直す・防ぐの手順を押さえます。

この節の用語(小分類ごと)

データ品質管理

試験で問われる観点

関連する節

この節の練習問題(11問)

答えを見る前に選んでから開いてください。同じ問題は章別演習でランダム出題されます。

  1. 問1
    データ品質特性の一つである信憑性の説明として,最も適切なものはどれか。
    1. 1データの値が,表そうとしている対象の真の値を,意味の上でも表記の上でも正しく表している度合い
    2. 2データの出所や作成者が明らかであるなどの理由から,利用者がそのデータを真であり信頼できるとみなせる度合い
    3. 3同じ対象を表すデータどうしに矛盾がなく,他のデータと照らし合わせても食い違いが生じていない度合い
    4. 4データが,権限をもつ利用者だけがアクセスでき,その内容を解釈できるような状態に保たれている度合い
    答えと解説

    正解: 2

    ISO/IEC 25012(JIS X 25012)のデータ品質モデルでは,信憑性は,利用の文脈において利用者がデータを真であり信頼できるとみなす属性をもつ度合いとされ,出所の確かさを表す真正性の考え方も含む。出所や作成者,更新日が明示されたデータは,利用者が安心して意思決定に用いることができる。データの値が真の値を正しく表している度合いは正確性,データどうしに矛盾がない度合いは一貫性,権限をもつ利用者だけがアクセス・解釈できる度合いは機密性の説明である。値が正確であっても出所が不明であれば信憑性は低く評価されるため,正確性とは区別される。

  2. 問2
    ある部門で顧客マスタのデータ品質を測定することになった。完全性を評価するためのデータ品質測定量として,最も適切なものはどれか。
    1. 1登録されている住所のうち,送付した郵便物が宛先不明で返送されてきた住所の件数を,住所の登録件数で割った割合
    2. 2受注システムと請求システムとで同じ顧客番号のレコードを比べ,住所が一致したレコードの件数を比較した件数で割った割合
    3. 3最終更新日が 1 年以内であるレコードの件数を,顧客マスタに登録されている全てのレコードの件数で割った割合
    4. 4必須とされている項目について,値が入力されている項目の数を,全てのレコードの必須項目の延べ数で割った割合
    答えと解説

    正解: 4

    データ品質測定量は,データがデータ品質特性をどの程度満たしているかを数値で表すための測定の方法とその値であり,測定方法の例は ISO/IEC 25024 に示されている。完全性は,必要な属性に値がそろっている度合いを表す特性であり,必須項目の入力率はその代表的な測定量である。郵便物が返送されてきた住所の割合は,値が実際の対象を正しく表しているかを見る正確性,システム間で住所が一致する割合は,データどうしに矛盾がないかを見る一貫性,最終更新日が一定期間内のレコードの割合は,データが十分に新しいかを見る最新性の測定量の例である。なお,情報セキュリティでいう完全性(情報が改ざんされていないこと)とは意味が異なる。

  3. 問3
    データ品質モデルの説明として,最も適切なものはどれか。
    1. 1データの品質を評価する観点となる品質特性を体系的に定めたもので,品質への要求や評価の結果を関係者が共通の言葉で表すための枠組み
    2. 2業務で扱う対象とその属性,対象どうしの関連を図に表したもので,業務の理解やデータベースの設計の基礎として用いられる枠組み
    3. 3データ品質管理における業務部門,情報システム部門,DMO などの役割と責任の範囲を一覧に定めたもので,担当の重複や漏れを防ぐ枠組み
    4. 4品質特性ごとに測定した結果を部門やデータセット別に並べたもので,目標の達成状況と推移を経営層や関係者に報告するための枠組み
    答えと解説

    正解: 1

    データ品質モデルは,データの品質を構成する品質特性を体系的に定義したものである。代表例の ISO/IEC 25012(JIS X 25012)は,正確性,完全性,一貫性,信憑性,最新性,機密性など 15 の特性を,データそのものに固有の観点とシステムに依存する観点から整理している。品質への要求や測定,評価をこのモデルの特性で表すことで,部門をまたいで同じ言葉で品質を議論できる。対象と属性,関連を図に表すのはデータモデル,役割と責任を一覧にするのは体制や責任分担の定め,測定結果を部門別に並べて報告するのはスコアカードなどの報告の仕組みであり,いずれも品質特性の体系ではない。

  4. 問4
    データ品質の測定尺度に求められる性質のうち,制御可能性の説明として,最も適切なものはどれか。
    1. 1測定の対象を客観的な基準で数えることができ,その結果を定めた範囲の中の数値として表して比べられること
    2. 2測定の結果を業務の運営や成果と結び付けて説明でき,品質の良しあしが業務にどう影響するかを示せること
    3. 3測定の対象が業務やプロセスの中で管理できる側面であり,値が期待から外れたときに改善の行動につなげられること
    4. 4許容できる品質の水準をしきい値として定めておき,測定の結果がその水準を満たすかどうかを判断できること
    答えと解説

    正解: 3

    DAMA の DMBOK では,データ品質の測定尺度(メトリクス)に求められる性質として,測定可能性,業務関連性,受容性,制御可能性などを挙げている。制御可能性は,尺度が業務の中で管理できる側面を反映しており,値が期待から外れたときに,原因の調査やプロセスの見直しなどの具体的な行動を起こせることを指す。値が悪化しても誰も手を打てない尺度は,管理には役立たない。客観的な基準で数えて数値として比べられることは測定可能性,結果を業務の成果と結び付けて説明できることは業務関連性,許容できる水準をしきい値として定めて満たすかを判断できることは受容性の説明である。

  5. 問5
    ある部門で,データ品質の測定尺度を見直すことになった。現在の尺度の問題点 a〜c と,問題点を解消するために満たすべき測定尺度の性質の組合せとして,最も適切なものはどれか。 a 顧客データの品質が十分かどうかを,担当者それぞれの感覚で“良い”“悪い”と判断しており,値として比べることができない。 b 必須項目の入力率を毎月算出しているが,何 % 以上であれば問題ないとするかが関係者の間で合意されておらず,結果を評価できない。 c 算出しやすいという理由で備考欄の記入率を測定しているが,その値が業務の成果にどう影響するのかを誰も説明できない。
    1. 1a:受容性,b:制御可能性,c:業務関連性
    2. 2a:測定可能性,b:受容性,c:制御可能性
    3. 3a:受容性,b:制御可能性,c:測定可能性
    4. 4a:測定可能性,b:受容性,c:業務関連性
    答えと解説

    正解: 4

    測定可能性は,品質の状態を数値で表して比べられることであり,担当者の感覚による“良い”“悪い”の判断では満たされないので,a が該当する。受容性は,許容できる品質の水準をしきい値として定め,測定の結果が水準を満たすかを判断できることであり,合格の基準が合意されていない b が該当する。業務関連性は,測定の結果を業務の運営や成果と結び付けて説明できることであり,算出しやすさだけで選んだ尺度の値が業務にどう影響するかを説明できない c が該当する。制御可能性は,値が期待から外れたときに改善の行動につなげられることであり,a〜c の問題点とは異なる。

  6. 問6
    データ品質の改善に先立って行うデータプロファイリングの説明として,最も適切なものはどれか。
    1. 1誤りや欠損,表記ゆれが見つかったデータに対して,定めた規則に従って値を修正,補完,削除し,利用に適した状態に整える活動
    2. 2実際に蓄積されているデータの内容を項目ごとに調べ,空値の割合や値の分布,書式のパターンなどを把握して,品質の問題の候補を見つける活動
    3. 3データが発生元のシステムから加工や集計を経て報告書に至るまでの経路を記録し,ある値がどのデータから導かれたかを追跡できるようにする活動
    4. 4データ品質ルールに合わないデータが登録されないように,登録の画面や取込みの処理で値の形式や範囲を検査し,誤りがあれば受け付けない活動
    答えと解説

    正解: 2

    データプロファイリングは,定義書や担当者の思い込みではなく,実際に蓄積されているデータの中身を統計的に調べ,空値の割合,値の分布や最大値・最小値,書式のパターン,重複の有無などを把握する活動である。その結果を品質の要求と照らし合わせて問題の大きさや業務への影響を評価するのがアセスメントであり,両者によって改善の対象と優先順位が明らかになる。値を規則に従って修正や補完,削除するのはデータクレンジング,データの経路を記録して追跡できるようにするのはデータリネージの管理,登録時に形式や範囲を検査して誤りを受け付けないのはデータ入力チェックによる予防措置である。

  7. 問7
    業務部門の担当者が,売上の分析に用いるデータのクレンジングを行う。担当者の対応として,適切でないものはどれか。
    1. 1数量や金額が欠損しているレコードは,分析の目的に照らして除外するか補完するかを決め,採った方法と件数を記録して分析の利用者に伝える。
    2. 2販売日が未来の日付になっているなど,業務上あり得ない値のレコードは,元の伝票と照合して正しい値に修正し,照合できないものは除外する。
    3. 3他の取引と比べて金額が極端に大きい取引は,分析結果をゆがめる外れ値であるので,入力の誤りとみなして分析の対象から削除する。
    4. 4クレンジングで見つかった誤りのうち発生元で直すべきものは,データオーナーに内容を伝え,発生元のシステムでの修正と原因の調査を依頼する。
    答えと解説

    正解: 3

    外れ値は,他の値から大きく離れた値であり,入力の誤りによるものだけでなく,実際に発生した大口の取引のように正しい値であることも多い。発生の理由を確かめずに誤りとみなして削除すると,分析の結果が実態から離れ,重要な事実を見落とすおそれがあるので,適切でない。外れ値は発生の理由を確認したうえで,修正や削除,別扱いでの分析を判断する。欠損値を除外するか補完するかを目的に応じて決め,方法と件数を記録して伝えること,業務上あり得ない異常値を元の伝票と照合して修正し,照合できないものを除外すること,発生元で直すべき誤りをデータオーナーに伝えて修正と原因の調査を依頼することは,いずれも適切である。

  8. 問8
    ISO 8000-61 の考え方に沿って,データ品質マネジメントを構成するプロセスをデータ品質計画,データ品質制御,データ品質保証,データ品質改善に分けたとき,データ品質保証に当たる活動として,最も適切なものはどれか。
    1. 1定めた測定の基準に従ってデータの品質と業務プロセスの状況を測定し,その結果を評価して,品質の要求を満たしているかを確認する。
    2. 2利用者の品質への要求を整理し,データ品質の方針や目標,標準,手順を定めたうえで,品質管理の実施の計画を立てる。
    3. 3データの仕様と作業の手順を担当者に示し,それに従ってデータを作成・処理させながら,品質の状態を監視して逸脱を抑える。
    4. 4品質の問題の根本原因を分析して対策を立て,データのクレンジングや,問題の再発を防ぐための業務プロセスの見直しを行う。
    答えと解説

    正解: 1

    データ品質マネジメントのプロセス参照モデルである ISO 8000-61 では,品質の要求を基に方針や目標,標準,実施計画を定める計画,データの仕様と作業手順に従ってデータを処理し,品質を監視して管理する制御,測定の基準を定めてデータの品質やプロセスの状況を測定し,結果を評価する保証,根本原因を分析してクレンジングやプロセスの見直しを行う改善の流れが示されている。測定と評価によって品質が要求を満たしているかを確かめるのが保証に当たる。品質管理一般では,測定による確認を品質の制御の活動と捉えることもあるが,ISO 8000-61 では測定と評価は保証に置かれる。

  9. 問9
    データ品質マネジメントを継続的なプロセスとして運用するときの考え方として,適切でないものはどれか。
    1. 1品質の測定と評価を定期的に行い,その結果を基に目標や手順を見直すという計画から改善までの流れを,一度で終わらせずに繰り返し実施する。
    2. 2品質の問題を見つけたときは,誤ったデータを直すだけでなく,問題を生んだ業務やシステムの原因を調べて再発を防ぐ。
    3. 3データを作成する業務部門の担当者も品質に責任をもつ当事者と位置づけ,DMO などが定めたルールに沿って品質の維持に参加する。
    4. 4大規模なクレンジングによって品質の目標を一度達成したデータは,以後の定期的な測定を省き,利用者から誤りの報告があったときだけ対応する。
    答えと解説

    正解: 4

    データ品質マネジメントは,計画,制御,保証,改善を繰り返す継続的なプロセスとして運用する。データは日々の業務で作成や更新が続くため,一度クレンジングで品質を高めても,入力の誤りや業務の変化によって品質は再び低下しうる。定期的な測定を省いて報告を待つだけでは,問題の発見が遅れ,誤ったデータが意思決定に使われるおそれがあるので,適切でない。測定と評価の結果で目標や手順を見直して繰り返すこと,誤りの修正に加えて根本原因を除いて再発を防ぐこと,業務部門の担当者もルールに沿って品質の維持に参加することは,いずれも適切である。

  10. 問10
    業務部門で顧客データを扱う担当者の対応 a〜c のうち,データ品質の低下を予防する観点から望ましくない対応だけを全て挙げた組合せはどれか。 a 顧客の項目を新たに追加する際に,データスチュワードと相談して入力の形式や必須の有無などのルールを定め,入力チェックへの反映を依頼する。 b 部門で定めた住所の表記ルールが現場の慣習と合わないと感じたので,自分の担当分は従来の表記で入力を続け,ルールの見直しの要望も特に出さない。 c 外部の事業者から購入した顧客リストは,提供元の責任で品質が保たれているとみなし,内容を調べる受入れ時の確認をせずに社内の顧客データと統合する。
    1. 1a,b
    2. 2b,c
    3. 3a
    4. 4c
    答えと解説

    正解: 2

    b は,定められたデータ品質ルールに従わずに独自の表記で入力を続けているため,同じ住所が異なる表記で登録され,名寄せや集計の誤りにつながるので,望ましくない。ルールが実態に合わないと感じたときは,従ったうえで見直しを要望する。c は,外部から入手したデータの品質を確かめずに統合しているため,誤りや重複,形式の違いが社内のデータに持ち込まれるおそれがあり,望ましくない。受入れ時にはプロファイリングなどで内容を確かめる。a は,項目の追加に合わせてデータ品質ルールを定め,入力チェックに反映させるものであり,品質の低下を未然に防ぐ予防措置として望ましい。

  11. 問11
    マーケティング部門の担当者が,年齢層別の購買分析に用いるため,顧客マスタのデータプロファイリングを行い,表 1 の結果を得た。結果から読み取れる課題とその解決の方法として,最も適切なものはどれか。 表 1 顧客マスタのデータプロファイリングの結果(抜粋) |項目|空値の割合|値の特徴| |顧客番号|0 %|全て異なる値(重複なし)| |電話番号|2 %|“03-1234-5678”“0312345678” など複数の書式が混在| |生年月日|0 %|全体の 18 % が“1900/01/01”| |都道府県|0 %|47 種類の値|
    1. 1電話番号の空値が 2 % あり完全性が不十分なので,電話番号が空値のレコードを分析の対象から除外してから年齢層別の分析を行う。
    2. 2生年月日は空値の割合が 0 % で完全性に問題はないので,登録されている値をそのまま用いて年齢を算出し,年齢層別の分析を進める。
    3. 3生年月日の“1900/01/01”は不明な値の代わりの仮の値と考えられるので,登録の実態を確かめて欠損として扱い,除外か補完かを判断する。
    4. 4都道府県の値が 47 種類もあり表記が統一されていないので,代表的な地域名の表記に置き換える表記ゆれの修正を行ってから分析を進める。
    答えと解説

    正解: 3

    生年月日は空値の割合が 0 % であるが,全体の 18 % が同じ“1900/01/01”であり,実際の顧客の分布としては不自然である。生年月日が不明なときに仮の値を入れる運用が行われていた可能性が高く,そのまま年齢を算出すると高齢層が過大になる。登録の実態を確かめたうえで欠損として扱い,除外か補完かを判断するのが適切であり,空値の割合だけで完全性に問題がないと判断するのは誤りである。電話番号の空値は年齢層別の分析には影響せず,この項目の課題は書式の混在である。都道府県が 47 種類であることは正常であり,表記ゆれを示すものではない。