用語集

わからない言葉が出たら、ここに戻ってきてください。分野ごとに並べています。


Kaggleのサイト用語

用語読み意味
Kaggleカグルデータサイエンスのコンペ・学習プラットフォーム。Google傘下
KagglerカグラーKaggleをやっている人
Competitionコンペティション予測精度を競う大会
Submit / Submissionサブミット予測結果を提出すること/提出物
sub(サブ)—Submissionの略。「今日の3サブ目」のように使う
Leaderboard(LB)リーダーボード順位表
Public LBパブリックコンペ中に見える暫定順位表(テストデータの一部で採点)
Private LBプライベート終了後に公開される最終順位表(残りのデータで採点)
shake up / shake downシェイクアップ/ダウン最終順位で大きく上がる/下がる現象
Notebook / Kernelノートブック/カーネルブラウザ上で動く分析プログラムのノート
Copy & Edit—他人のNotebookを自分用にコピーする機能
Upvoteアップボート高評価。メダルの元になる
Discussionディスカッション掲示板
Solution / Write-upソリューションコンペ終了後に投稿される解法の解説
Getting Started—常設の入門コンペ(Titanicなど)
Playgroundプレイグラウンド練習用の定期開催コンペ
Featuredフィーチャード企業主催の賞金つき本番コンペ
Code Competition—CSVではなくNotebookを提出する形式のコンペ
Late Submissionレイトサブミッション終了したコンペへの遅れての提出(順位には載らない)
Tierティア称号。Novice → Contributor → Expert → Master → Grandmaster
GMジーエムGrandmasterの略
private sharing—チーム外へのコードの個人的共有。ルール違反

データとファイル

用語意味
train(学習データ)正解つきのデータ。モデルを学習させるために使う
test(テストデータ)正解がないデータ。これを予測して提出する
validation(検証データ)trainから取り分けて、自分で精度を測るためのデータ
sample_submission提出ファイルの見本
CSVカンマ区切りのテキスト表形式ファイル
DataFramepandasの「表」。Excelのシートに相当
行 / レコード / サンプル1件のデータ(1人の乗客など)
列 / カラム / 変数項目(年齢、運賃など)
テーブルデータ表形式のデータ。Kaggleの主戦場

機械学習の基本語

用語読み意味
特徴量(Feature)とくちょうりょう予測の材料となる列。コードでは X
目的変数(Target)もくてきへんすう当てたい列。コードでは y。正解・ラベルとも言う
学習 / 訓練(fit / train)—データから法則を覚えさせること
推論 / 予測(predict / inference)—覚えた法則で未知データに答えを出すこと
モデル—学習によって作られた予測の仕組み
教師あり学習—正解つきデータから学ぶ。Kaggleの大半
教師なし学習—正解なしでデータの構造を見つける(クラスタリング等)
分類(Classification)—カテゴリを当てる(生存/死亡など)
回帰(Regression)—数値を当てる(価格など)
2値分類 / 多クラス分類—答えが2種類 / 3種類以上
過学習(Overfitting)かがくしゅう学習データを丸暗記し、未知データに弱くなった状態
未学習(Underfitting)—単純すぎて法則を捉えきれていない状態
汎化性能(Generalization)はんかせいのう未知データにも通用する力
正則化(Regularization)せいそくか過学習を防ぐためのブレーキ
ハイパーパラメータ—人間が事前に決める設定値(木の深さ・学習率など)
学習率(learning rate)—1回の更新でどれだけ進むか。小さいほど慎重
エポック(epoch)—学習データを何周したか(主にNN)
バッチサイズ—一度に処理するデータ件数(主にNN)
シード(seed)—乱数の種。固定すると結果が再現できる

検証と評価

用語意味
CV(Cross Validation)交差検証。データを分割して複数回検証し、平均を取る
CVスコア交差検証で得た平均スコア。Kagglerが最も信頼する数字
Fold(フォールド)CVで分割された1つのかたまり
KFoldデータをk個に分ける基本のCV
StratifiedKFold各Foldで正解の比率を揃えるCV。分類の標準
GroupKFold同一グループが学習と検証に分かれないようにするCV
TimeSeriesSplit時系列用のCV(過去で学習し未来を検証)
ホールドアウトデータを単純に学習用・検証用に2分割する方法
評価指標(Metric)スコアの計算方法
Accuracy正解率。高いほど良い
AUC(ROC-AUC)2値分類の定番指標。0.5が当てずっぽう、1.0が完璧
LogLoss確率の確からしさ。低いほど良い
RMSE回帰の定番。誤差の二乗平均の平方根。低いほど良い
RMSLE対数を取ってからRMSE。価格・売上など
MAE誤差の絶対値の平均
Precision(適合率)陽性と予測したうち本当に陽性の割合
Recall(再現率)本当の陽性のうち見つけられた割合
F1スコアPrecisionとRecallの調和平均
混同行列予測と正解の組み合わせの表
CV-LB相関手元のCVとLBスコアが連動しているかどうか

前処理・特徴量

用語意味
前処理(Preprocessing)データを学習できる形に整える作業
欠損値(Missing value / NaN)空欄のデータ
外れ値(Outlier)極端に大きい/小さい値
特徴量エンジニアリング新しい特徴量を作る作業。スコアに最も効く
カテゴリ変数文字列などの分類項目(性別、都市名など)
数値変数数で表される項目(年齢、金額など)
Label Encodingカテゴリに0,1,2…と番号を振る
One-Hot Encodingカテゴリごとに0/1の列を作る
Target Encodingカテゴリを、その目的変数の平均値で置き換える。強力だがリスクあり
スケーリング / 標準化値の大きさを揃える。線形モデルやNNで必要
ビニング連続値を区間に区切ってカテゴリ化する
対数変換(log変換)歪んだ分布をならす
リーク(Leakage)本来知り得ない情報が学習に混入する事故
分布シフトtrainとtestでデータの傾向が異なること
不均衡データ正解の片方が極端に少ないデータ

モデル

用語意味
線形回帰 / ロジスティック回帰最も単純なモデル。ベースライン向き
決定木(Decision Tree)if文の木で予測するモデル
ランダムフォレスト決定木を多数作って多数決する(バギング)
GBDT勾配ブースティング決定木。誤差を次の木で修正していく
LightGBMGBDTの代表的実装。表データの主力
XGBoostGBDTの定番実装のひとつ
CatBoostカテゴリ変数に強いGBDT実装
ニューラルネットワーク(NN)脳を模した構造のモデル
ディープラーニング層の深いNN。画像・音声・言語で強い
CNN画像向けのNN構造
Transformer自然言語処理の標準構造。LLMの土台
事前学習モデル(Pretrained Model)すでに大量データで学習済みのモデル
ファインチューニング事前学習モデルを自分の課題に合わせて追加学習すること
特徴量重要度(Feature Importance)どの特徴量が効いたかの指標
Early Stopping改善が止まったら学習を打ち切る仕組み

戦術・運用

用語意味
ベースラインとりあえず最後まで動く最低限の実装
EDA探索的データ分析。データを眺めて仮説を得る作業
アンサンブル複数モデルの予測を組み合わせること
ブレンド(Blending)予測値を平均・加重平均すること
スタッキング(Stacking)モデルの予測値を特徴量として、さらに別モデルで学習する
seed averaging乱数シードだけ変えた複数モデルを平均する
疑似ラベル(Pseudo Labeling)テストデータへの予測を正解とみなして学習に加える手法
後処理(Post Processing)予測結果をルールで補正すること
Trust your CV「Public LBよりも自分のCVを信じろ」という格言
パイプライン読み込み〜提出までの一連の処理の流れ
実験管理どの変更でスコアがどう動いたかを記録すること

環境・ツール

用語意味
PythonKaggleで使う主言語
Jupyter Notebookセル単位で実行できるノート形式の環境
pandas表データを扱うライブラリ。最重要
NumPy数値計算ライブラリ
matplotlib / seabornグラフ描画ライブラリ
scikit-learn(sklearn)機械学習の総合ライブラリ
Optunaハイパーパラメータ自動最適化ツール
PyTorchディープラーニングのライブラリ。Kaggleの主流
Google ColabGoogleが提供するNotebook環境
GPU / TPU高速計算用の装置。ディープラーニングで使う
Kaggle APIコマンドラインでデータ取得・提出ができる公式ツール