データ品質管理は、データが使う目的に足りる状態かを測り、足りなければ直し、そもそも悪いデータを生まないようにする活動です。シラバスの【内容】は、自分が入力・更新するデータの正確性を担保することを担当者に求めています。品質を語る共通の言葉(品質特性)と、測る・直す・防ぐの手順を押さえます。
この節の用語(小分類ごと)
データ品質管理
- データ品質特性: 品質を評価する観点。
- 正確性: 値が対象の真の値を正しく表している度合い。郵便物が宛先不明で戻る住所の割合で測れます。
- 完全性: 必要な項目に値がそろっている度合い。代表的な測定量は必須項目の入力率です。情報セキュリティでいう完全性(改ざんされていないこと)とは意味が違います。
- 一貫性: 同じ対象を表すデータどうしに矛盾がない度合い。受注システムと請求システムで住所が一致する割合など。
- 信憑性: 出所や作成者が明らかで、利用者が信頼できるとみなせる度合い。値が正確でも出所が不明なら信憑性は低くなります。
- 機密性: 権限のある利用者だけがアクセスし、解釈できる度合い。このほか最新性(十分に新しいか)などがあります。
- データ品質モデル: 品質特性を体系的に定めた枠組み。代表例の ISO/IEC 25012(JIS X 25012)は、データ自体に固有の観点とシステムに依存する観点から 15 の特性を定めます。部門をまたいで同じ言葉で品質を議論するための共通語です。
- データ品質測定量: 特性をどの程度満たすかを表す数値と、その測り方。例は ISO/IEC 25024 に示されています。
- データ品質の測定尺度の意味: DMBOK が挙げる、よい尺度の性質。数値で比べられる測定可能性、結果を業務の成果と結び付けて説明できる業務関連性、合格のしきい値が合意されている受容性、値が外れたときに改善の行動を起こせる制御可能性など。
- データプロファイリング・アセスメント: 実際に蓄積されたデータの中身を項目ごとに調べ、空値の割合、値の分布、書式のパターン、重複などを把握するのがプロファイリング。結果を品質の要求と照らして問題の大きさや業務への影響を評価するのがアセスメントです。
- データクレンジング: 欠損値の補完・除外、外れ値や異常値の修正・削除、重複の排除、表記ゆれの修正で、使える状態に整える処理。業務上あり得ない値(未来の販売日など)が異常値、ほかから大きく離れた値が外れ値です。
- データ品質マネジメント: 品質の要求を基に方針・目標・手順を定める計画、仕様と手順に従って処理しながら監視する制御、測定と評価で要求を満たすかを確かめる保証、根本原因を除く改善を繰り返す活動。ISO 8000-61 はこの流れをプロセス参照モデルとして示しています。
- データ品質低下の予防措置: 登録の画面や取込みで形式や範囲を検査するデータ入力チェックと、データ品質ルールの定義及び適用。項目を追加するときにルールを決め、入力チェックへの反映を依頼するのが典型です。
試験で問われる観点
- 特性と事例の対応。必須項目の未入力は完全性、システム間の食い違いは一貫性、出所の確かさは信憑性。
- 測定尺度の性質の判別。感覚で「良い・悪い」なら測定可能性、基準が合意されていないなら受容性、業務への影響を説明できないなら業務関連性が欠けている。
- 空値 0% でも安心しない。生年月日の 18% が「1900/01/01」なら、不明を表す仮の値として欠損扱いを検討する。
- クレンジングで、極端に大きな取引を理由を確かめずに外れ値として削除しない。除外や補完をしたら方法と件数を記録して伝え、発生元で直すべき誤りはデータオーナーに修正と原因の調査を依頼する。
- 一度クレンジングしても品質は再び落ちる。定期的な測定と根本原因の除去を続ける。
- 担当者の予防行動。ルールが現場に合わないと感じても独自の表記で入力せず、従ったうえで見直しを要望する。外部から買ったデータも受入れ時に確かめる。
関連する節
- データガバナンス: データ品質ルールとエスカレーションルール
- メタデータ管理: メタデータ自体の品質の測り方
- データ分析・データ利活用と業務分析: 外れ値が平均値に与える影響
- 情報セキュリティマネジメント: セキュリティでいう機密性・完全性・可用性
- より深く学ぶなら: PD 参考書 データマネジメント(データ品質モデルと予防措置を上位試験の水準で扱う節)