生成AIとデータ
データ分析は何から学ぶべきか|順番を間違えないための整理
データ分析の学習が止まるのは手法選びではなく、その手前の取得と整形です。取得・整形・集計・説明の順に固めたうえで、統計をどこまでやるか、機械学習にいつ進むかを業務側の条件から決めるための整理をまとめました。
この記事でやること
- こんな人に向けています
- データ分析を学びたいが、統計・SQL・可視化・機械学習のどれから手をつけるか決められない社会人
- 読み終えたときの状態
- 自分の業務に必要な範囲を見極め、学ぶ順番を決められる状態
「データ分析ができるようになりたい」と考えて、統計の入門書を1冊読み、次にSQLかプログラミングの教材に進む。ひととおり終えて職場のデータに向き合ったところで、手が止まります。止まる場所は手法の選択ではありません。その手前、必要な数字がどのシステムに入っているのか分からない、場所は分かるが自分の権限では取り出せない、という段階です。
順番でつまずくのは、教材と実務で作業の並びが逆になっているからです。教材は整形済みのデータが最初から手元にある前提で始まり、集計と手法の説明へ進みます。実務はデータを探すところから始まり、探し当てたデータは教材のような形をしていません。
以下では、取得・整形・集計・説明・高度な手法という並びで、どこを先に固めるかを整理します。統計をどこまでやるか、機械学習にいつ進むかも、この並びの中に置くと決めやすくなります。
教材のデータは整っているが、業務のデータは整っていない
学習用のデータには共通の性質があります。1つのファイルにまとまっていて、列の意味が決まっていて、欠損が少なく、1行が1件を表します。この形になっていれば、あとは集計と可視化の練習ができます。
業務のデータは、この4つがどれも成り立ちません。売上は基幹システム、顧客情報は別の管理台帳、現場の実績は各拠点が作った表計算ファイルに入っていて、集計の単位もそろっていません。同じ「受注日」でも、部署によって受注が確定した日を指す場合と、内示を受けた日を指す場合があります。年度の途中で商品分類が変わっていて、前年と並べられないこともあります。
教材を終えた時点で身についているのは、整ったデータを扱う力です。実務で最初に必要になるのは、整っていないデータを整った形にする力のほうです。この並びのずれが、「勉強したのに使えない」の正体です。
工程を5つに分けると、時間を食う場所が分かる
分析の作業は次の5工程に分けられます。工程ごとに、実務での負荷と教材での扱われ方は大きく違います。
| 工程 | 実務での負荷 | 教材での扱われ方 | 止まったときに出る症状 |
|---|---|---|---|
| 取得(どこから持ってくるか) | 権限の確認・依頼・出力形式の調整が入り、日単位の待ちが発生する | ほぼ扱われない。データは配布される前提 | 「分析したいが、そもそもデータがない」 |
| 整形(使える形にする) | 全工程で最も時間を取られやすい。表記ゆれ・定義違い・重複の処理 | 前処理として一部だけ扱われる | 数字が合わない。毎回ゼロから手作業でやり直す |
| 集計(数える・分ける) | 作業自体は短い。分け方の設計に時間がかかる | 中心的に扱われる | 集計はできたが、そこから何が言えるか分からない |
| 説明(結果を渡す) | 相手が決める内容に合わせて出し方を変える必要がある | ほとんど扱われない | 資料は作ったが、議論も判断も動かない |
| 高度な手法(検定・予測) | 使う場面が限られる | 教材の後半で厚く扱われる | 手法は使えたが業務が何も変わらない |
教材で厚く扱われる部分と、実務で時間を取られる部分は、ほぼ逆の並びになっています。手法の勉強から入ると、取得と整形の力がつかないまま時間が過ぎ、扱えるのは配布された練習用データだけという状態が続きます。
取得・整形・集計・説明を先に固める
学ぶ順番は工程の順でよく、途中を飛ばさないほうが結果的に早く進みます。各段階で「できるようになること」と「次へ進んでよい合図」は次のように置けます。
| 段階 | できるようになること | 次へ進んでよい合図 |
|---|---|---|
| 取得 | 必要な数字がどのシステムのどの項目に入っているかを自分でたどれる。出力を依頼するときに条件を指定できる | 人に聞かずに元データへ到達できる |
| 整形 | 表記ゆれの統一、期間と単位のそろえ方、重複と欠損の扱いを自分で決められる | 先月と同じ手順で今月分のデータを作り直せる |
| 集計 | 期間・属性・区分などの分け方を変えて数字の動きを見られる。分母を意識して比率を出せる | 数字が動いた理由について、どの要素が効いたかを言える |
| 説明 | 相手が何を決める場面かに合わせて、出す数字を絞れる | 資料を見た人が、次にやることを決められる |
取得の段階でやることは、技術の学習というより社内の構造の把握です。どのシステムが何を持っていて、誰に頼めば出せるのか、出力形式は何が選べるのか。ここは検索しても出てこないため、業務の中でしか身につきません。裏を返せば、教材を進める前に着手できる部分でもあります。
整形は、覚えることが多い割に成果が見えにくく、飛ばしたくなる工程です。それでも先にやる価値があるのは、整形の手順を決めておくと同じ集計を毎月繰り返せるからです。ここが場当たりのままだと毎回作り直しになり、依頼が来るたびに数日を消費します。
集計まで到達すると、業務で出てくる問いの多くには答えが出ます。「どの商品の売上が落ちたのか」「どの拠点で解約が増えたのか」は、分け方を変えて数えれば分かります。この段階で統計や機械学習は要りません。
説明の工程は技術ではありませんが、ここが弱いと分析の結果が使われません。相手が何を決めようとしているのかを先に聞き、その判断に効く数字だけを出します。全部の集計結果を並べた資料は、読む側に判断を丸投げしていることになります。
SQLから入るか表計算から入るかは、データの置き場所で決まる
道具の選択は好みではなく、扱うデータがどこにあるかで決まります。
- データベースに入っていて、参照権限がある、または申請すれば取れる場合は、SQLを先に覚えます。抽出条件を自分で書けるようになると、依頼と待ちの時間がまるごと消えます
- データが各部署の表計算ファイルとして散らばっている場合は、表計算ソフトの関数と集計機能で回せる範囲を広げます。この状況でSQLを覚えても、書いた文を実行する先がありません
- 社内にBIツール(集計と可視化を担当するツール)が入っている場合は、画面の操作より先に、その裏側にあるデータの構造を確認します。元のテーブルが何を1行としているかを知らないまま操作を覚えると、集計を誤ったことに気づけません
プログラミング言語に進む判断は、表計算では処理しきれない量になったとき、または同じ処理を毎月繰り返す必要が出てきたときです。業務に持ち込む段階で何が要るかはPythonを仕事で使えるレベルまで学ぶには何が必要かで扱っています。
統計は「言い切る責任を負うか」で線を引く
統計は、範囲を決めないまま入門書を通読すると、検定の手順を覚えたあたりで止まります。使う場面が来ないためです。線引きは、その数字について「差がある」と言い切る責任を負うかどうかで決めます。
負わない場合、つまり社内の報告や現状の把握が目的なら、次の範囲で足ります。
- 平均と中央値の使い分け。分布が偏っているデータで平均だけを見ない
- 分布を見る習慣。代表値を出す前に、形を確認する
- 比率を出すときに分母を明示する。「増加率」は分母の取り方で結論が変わる
- 相関と因果を分ける。同時に動いている2つの数字について、第三の要因がないかを疑う
- 手元のデータに偏りがないかの確認。回答が集まった層と、全体の構成は一致しないことが多い
この5つは統計の計算というより、数字の読み方です。ここが抜けたまま高度な手法へ進むと、誤った結論を精度よく出すことになります。
言い切る責任を負う場合、たとえば施策の効果を検証して継続の可否を決める、変更を加えた前後で影響を判定する、といった場面では、検定や区間推定が必要になります。ただしこの段階でも、手法の計算方法より、比較する2つの群が本当に比較できる状態かを設計するほうに時間を使います。分けた時点で条件が違っていれば、どんな手法を通しても結論は出ません。
機械学習に進むのは3つがそろったとき
機械学習に進む条件は、次の3つが同時に満たされたときです。1つでも欠けている段階で始めると、モデルは動くが業務は変わらない、という結果になります。
- 予測する対象と、外れたときのコストが決まっている。「売上をなんとなく予測したい」では設計できません。翌月の受注数なのか、解約しそうな顧客の絞り込みなのか。そして外した場合に何を損するのかを説明できることが前提になります
- 過去のデータが、期間と量の両方でそろっている。予測したい事象が過去に十分な回数起きていて、そのときの状況が記録に残っている必要があります。取得と整形ができていなければ、学習に使える形のデータはそもそも作れません
- 結果を使う業務の側が決まっている。誰がいつその予測を見て、どの判断を変えるのか。ここが空白のまま作ったモデルは、精度を上げる作業だけが延々と続きます
逆に、集計で答えが出る問いに機械学習を持ち込まないでください。「どの層で解約が多いか」は、属性ごとに数えれば分かります。手法を高度にすると結論の説明が難しくなり、業務側が使えないまま終わります。
生成AIに集計や分析を任せる方法もありますが、出力が正しいかを確認する工程を自分で持てないと、確認のコストが作業のコストを上回ります。その見極め方は生成AIを仕事で使うために本当に必要なスキルで扱っています。
自分の業務での開始地点を決める手順
順番が決まっても、どこから入るかは業務によって変わります。次の3つで開始地点を特定できます。
- 直近3か月で、人から聞かれた数字を3つ書き出す。会議で出た質問、上司からの確認、他部署からの依頼のどれでも構いません
- その数字が、どのシステムのどのデータから作られているかを逆にたどる。誰かが手作業で加工している箇所があれば、その内容も記録します
- たどれなくなった地点を確認する。そこが最初の学習対象です
システムの名前が出てこなければ取得から、元データには届くが加工の中身を説明できなければ整形から、加工までは分かるが数字の意味を説明できなければ集計から始めます。学習範囲を業務から逆算すると、教材を最初から順に読む必要がなくなり、途中で止まっても再開の地点が分かります。
学ぶ対象をいまの仕事との距離で決める考え方は、30代から学び直すなら何を選ぶべきかでも扱っています。
よくある詰まりどころ
データを見せてもらえない
権限の問題は学習では解決しません。ただし、全社のデータが取れなくても、自分の担当範囲のデータは手元にあるはずです。まずその範囲で整形と集計を回し、再現できる手順を作ります。動いている手順があることは、権限を申請するときの根拠になります。
集計はできるが、これは分析と言えるのか
分けて数えることは分析の中心です。高度な手法を使うことが分析ではありません。判定は、誰かの判断が変わったかどうかで行ってください。集計の結果を見て行動が変わったなら、それは機能した分析です。
数字が毎回合わない
計算の誤りではなく、定義の不一致であることがほとんどです。期間の区切り、除外する条件、金額が税込みか税抜きか、キャンセル分の扱い。この4点を先に文書化し、依頼した相手と合意してから集計します。合意した内容はファイルに残し、次回の集計でそのまま使います。
独学で進める限界を感じる
止まっている理由が知識の不足なのか、業務側の制約なのかを先に切り分けてください。データが取れないことが原因であれば、講座を受けても状況は変わりません。手順と知識の面で止まっているなら、社会人向けITスクールの選び方で、目的別に必要な支援の型を整理しています。