ステップ14:この章のまとめと次の一歩
🎯 おつかれさまでした。 あなたはこの章で、Kaggleを一周しました。
あなたがこの章でやったこと
① コンペに参加し、Notebookを開いた
② 111年前の乗客名簿を読み込んだ
③ 「女性の生存率は男性の4倍」という事実をデータから発見した
④ 予測ファイルを作って提出し、順位表に名前を載せた
⑤ 機械学習モデルに法則を学習させた
⑥ 提出せずに精度を測る方法(交差検証)を手に入れた
⑦ 自分で仮説を立て、新しい特徴量を作ってスコアを伸ばした
⑦までやった人は、すでに「Kaggleのやり方」を一通り身につけています。あとは同じループを、別のデータで回すだけです。
覚えた言葉(確認)
いまなら、これらが自分の言葉で説明できるはずです。
| 言葉 | ひとことで言うと |
|---|---|
| 特徴量(X) | 予測の材料になる列 |
| 目的変数(y) | 当てたい列 |
| 前処理 | 文字を数字にし、空欄を埋める作業 |
| 学習(fit) | データから法則を覚えさせること |
| 推論(predict) | 覚えた法則で答えを出すこと |
| 過学習 | 丸暗記しすぎて未知のデータに弱くなること |
| 交差検証(CV) | データを分けて、提出せずに自分で採点する方法 |
| 特徴量エンジニアリング | 新しい列を自分で作ること |
| ベースライン | とりあえず最後まで動く最低限の一式 |
あやふやなものがあれば 用語集 で確認してください。
この章でいちばん大事だったこと
3つだけ持ち帰ってください。
1. まず一周する。 完璧に理解してから始めるのではなく、動かしてから理解する。
2. CVで測る。 測れないものは改善できない。提出回数には限りがあるが、CVは無限に試せる。
3. 特徴量 ≫ モデル > パラメータ。 凄いモデルを探すより、データをよく見て良い材料を作るほうが効く。
次に何をするか
A. この章をもう一度、自分の手で回す(推奨)
明日、何も見ずに 新しいNotebookで提出までやってみてください。詰まったらこのガイドに戻る。2周目で、驚くほど理解が深まります。
B. 他人のNotebookを読む
Titanicコンペの Code タブ → Most Votes 順 に並べて、上位のNotebookを開いてください。いまのあなたなら、何をしているか半分くらいわかります。これは大きな進歩です。
Copy & Editで自分のコピーを作るRun Allで動かす- 1箇所だけ変えて、CVがどう動くか見る
C. 次のコンペへ進む
Titanicの次におすすめの順番です。
| コンペ | 内容 | なぜ良いか |
|---|---|---|
| Playground Series | 毎月開催の練習コンペ | 1ヶ月で完結、公開Notebookが豊富 |
| House Prices | 住宅価格の予測 | 回帰(数値を当てる)の入門 |
| Spaceship Titanic | タイタニックの宇宙版 | 今回の知識がそのまま使える |
D. 知識を体系化する
手を動かした今なら、座学の吸収がまったく違います。
- 06 機械学習の基礎のきそ … この章で使った言葉の正確な意味
- 07 分析の流れ … この章の作業を一般化した「型」
- 08 使う道具とライブラリ … pandas のチートシート、LightGBMへの移行
- 12 参考リンク集 … 書籍・日本語サイト
💡 特に 07 分析の流れ は、この章でやったことの"地図"です。この章では Titanic という具体例で歩きました。あの地図を今見ると、自分がどこを歩いたのかがはっきりわかるはずです。
発展:もう少し伸ばしたい人へ
この章ではランダムフォレストを使いましたが、表形式データの主力は LightGBM です。差し替えは数行で済みます。
import lightgbm as lgb
model = lgb.LGBMClassifier(
n_estimators=500,
learning_rate=0.05,
num_leaves=15,
random_state=0,
)
# あとは同じ: model.fit(X, y) / model.predict(X_test)
CVで比べてみてください。Titanicはデータが小さいので劇的には変わりませんが、「モデルの差し替えは1行」 という感覚を掴めます。
さらにその先:
| やること | 効果 |
|---|---|
| 複数モデルの予測を平均する(アンサンブル) | 安定して少し上がる |
Ticket や Cabin から特徴量を作る | まだ掘れる余地がある |
| 年齢の欠損を、敬称ごとの中央値で埋める | 177人分の精度が上がる |
Titanicの現実的な上限は 0.80〜0.82 です。そこに届いたら、次のコンペに移るサインです。
最後に
Kaggleの面白さは、スコアでも順位でもありません。
「このデータの裏側では何が起きていたんだろう?」と考えて、その仮説を自分の手で検証できること。
ステップ4で「女性の生存率74%、男性19%」という数字を見た瞬間、あなたは111年前の船上で何が起きたかを、自分の手で確かめました。
それがKaggleです。 また次のデータで会いましょう。