ステップ10:2回目の提出とスコアの読み方
🎯 このステップでやること機械学習版を提出し、1回目と比べる。所要時間:約5分。
10-1. 保存して提出する
ステップ6と同じ手順です。
- 右上の 「Save Version」 を押す
- 「Save & Run All (Commit)」 を選んで Save
- 1〜3分待つ
- Output の
submission.csvから Submit を押す
✅ こう出れば成功
Score: 0.77 前後
環境やパラメータにより 0.75〜0.79 あたりに収まります。1回目(0.76555)から、ほんの少し上がった人もいれば、ほぼ同じか少し下がった人もいるはずです。
10-2. 「あれ、あまり上がらない」が正常です
ここでがっかりしないでください。これはKaggleで誰もが最初に体験する現象です。
| スコア | |
|---|---|
| ステップ6(女性なら生存ルール) | 0.76555 |
| ステップ10(ランダムフォレスト) | 0.77前後 |
機械学習を使ったのに、ほとんど変わっていません。なぜでしょうか。
理由:Titanicの生死の大半は「性別」で説明できてしまうから
ステップ4で見た通り、性別だけで74% vs 19%という圧倒的な差がありました。つまり 「女性なら生存」ルールは、すでにほぼ最適解に近いのです。
機械学習が勝つのは、ここから先です。
「三等客室の女性は半分しか助かっていない」(50%)
「一等客室の男性は4割弱が助かっている」(37%)
「10歳未満の子どもは、男の子でも助かりやすい」
こういう"例外"をどれだけ拾えるかが勝負になります。そして例外を拾うには、モデルを変えるのではなく、材料(特徴量)を良くする必要があります。
🎯 これがKaggleで最も大事な経験則です。
効果の大きさは:特徴量 ≫ モデルの種類 > パラメータ調整
初心者ほど「もっと凄いモデルを使えば勝てる」と考えますが、実際はそうなりません。
10-3. 提出履歴を確認する
コンペページの 「Submissions」 タブを開いてください。提出した2つが並んでいます。
| 提出 | スコア | 内容 |
|---|---|---|
| submission.csv | 0.77xxx | ランダムフォレスト |
| submission.csv | 0.76555 | 女性なら生存ルール |
💡 Version Name をちゃんと付けておくと、後で何をしたかわかります。 Save Version のときに
rf_depth6_cv0.823のような名前を付ける癖をつけると、10回提出した頃に「どれが何だったか」で迷わなくなります。
10-4. 記録をつける(強くおすすめ)
上達する人としない人の差は、ほぼここです。何を試して、どうだったかを記録する。
スプレッドシートでもメモ帳でも構いません。こういう表を作ってください。
| 番号 | 変更内容 | CV | 提出スコア | 採用 |
|---|---|---|---|---|
| 01 | 女性なら生存ルール | — | 0.76555 | ◯ |
| 02 | RandomForest 7特徴量 depth=6 | 0.8238 | 0.7751 | ◯ |
| 03 | (次のステップで追加) |
CVと提出スコアを並べて記録するのがポイントです。これを続けると、「CVが上がったとき、提出スコアも上がるか」という関係(CV-LB相関)が見えてきます。
💡 何をしたのか(読み飛ばし可)
スコアの構造を知っておく
あなたが見ている 0.77 というスコアは、実は テストデータの一部 で計算された暫定の点数です。
test.csv(418人)
├─ 一部 → Public Leaderboard(いま見えている点数)
└─ 残り → Private Leaderboard(コンペ終了時に公開される本当の点数)
- Public LB = コンペ中ずっと見える、暫定の順位表
- Private LB = 終了の瞬間に初めて公開される、本当の順位表
本番のコンペでは、この2つが入れ替わって順位が激しく動きます。これを shake(シェイク) と呼びます。だからこそ、ステップ9で学んだCVが重要なのです。Public LBだけを見て調整すると、最後に転落します。
(Titanicは常設の練習コンペなので、この区別を気にする必要はありません。知識としてだけ持っておいてください)
✅ ここまでできたら
次のステップが、この章のクライマックスです。 自分の手で特徴量を作って、スコアを伸ばします。