ステップ10:2回目の提出とスコアの読み方

🎯 このステップでやること機械学習版を提出し、1回目と比べる。所要時間:約5分。


10-1. 保存して提出する

ステップ6と同じ手順です。

  1. 右上の 「Save Version」 を押す
  2. 「Save & Run All (Commit)」 を選んで Save
  3. 1〜3分待つ
  4. Output の submission.csv から Submit を押す

✅ こう出れば成功

Score: 0.77 前後

環境やパラメータにより 0.75〜0.79 あたりに収まります。1回目(0.76555)から、ほんの少し上がった人もいれば、ほぼ同じか少し下がった人もいるはずです。

10-2. 「あれ、あまり上がらない」が正常です

ここでがっかりしないでください。これはKaggleで誰もが最初に体験する現象です。

スコア
ステップ6(女性なら生存ルール)0.76555
ステップ10(ランダムフォレスト)0.77前後

機械学習を使ったのに、ほとんど変わっていません。なぜでしょうか。

理由:Titanicの生死の大半は「性別」で説明できてしまうから

ステップ4で見た通り、性別だけで74% vs 19%という圧倒的な差がありました。つまり 「女性なら生存」ルールは、すでにほぼ最適解に近いのです。

機械学習が勝つのは、ここから先です。

「三等客室の女性は半分しか助かっていない」(50%)
「一等客室の男性は4割弱が助かっている」(37%)
「10歳未満の子どもは、男の子でも助かりやすい」

こういう"例外"をどれだけ拾えるかが勝負になります。そして例外を拾うには、モデルを変えるのではなく、材料(特徴量)を良くする必要があります。

🎯 これがKaggleで最も大事な経験則です。

効果の大きさは:特徴量 ≫ モデルの種類 > パラメータ調整

初心者ほど「もっと凄いモデルを使えば勝てる」と考えますが、実際はそうなりません。

10-3. 提出履歴を確認する

コンペページの 「Submissions」 タブを開いてください。提出した2つが並んでいます。

提出スコア内容
submission.csv0.77xxxランダムフォレスト
submission.csv0.76555女性なら生存ルール

💡 Version Name をちゃんと付けておくと、後で何をしたかわかります。 Save Version のときに rf_depth6_cv0.823 のような名前を付ける癖をつけると、10回提出した頃に「どれが何だったか」で迷わなくなります。

10-4. 記録をつける(強くおすすめ)

上達する人としない人の差は、ほぼここです。何を試して、どうだったかを記録する。

スプレッドシートでもメモ帳でも構いません。こういう表を作ってください。

番号変更内容CV提出スコア採用
01女性なら生存ルール—0.76555◯
02RandomForest 7特徴量 depth=60.82380.7751◯
03(次のステップで追加)

CVと提出スコアを並べて記録するのがポイントです。これを続けると、「CVが上がったとき、提出スコアも上がるか」という関係(CV-LB相関)が見えてきます。


💡 何をしたのか(読み飛ばし可)

スコアの構造を知っておく

あなたが見ている 0.77 というスコアは、実は テストデータの一部 で計算された暫定の点数です。

test.csv(418人)
  ├─ 一部  → Public  Leaderboard(いま見えている点数)
  └─ 残り  → Private Leaderboard(コンペ終了時に公開される本当の点数)
  • Public LB = コンペ中ずっと見える、暫定の順位表
  • Private LB = 終了の瞬間に初めて公開される、本当の順位表

本番のコンペでは、この2つが入れ替わって順位が激しく動きます。これを shake(シェイク) と呼びます。だからこそ、ステップ9で学んだCVが重要なのです。Public LBだけを見て調整すると、最後に転落します。

(Titanicは常設の練習コンペなので、この区別を気にする必要はありません。知識としてだけ持っておいてください)


✅ ここまでできたら

次のステップが、この章のクライマックスです。 自分の手で特徴量を作って、スコアを伸ばします。