モデルの中で、前提として設定するパラメータ (フリーパラメータ?)
学習させるパラメータ(重みなど)と違い、学習中には設定を変えない
選択肢が多くなり過ぎるからという理由の他に、訓練データを用いて学習させる事が適切ではないため、ハイパーパラメータとしている場合もある
ハイパーパラメータの学習にテスト集合は使えないので(過剰適合になる)、学習させる場合は訓練データを2つに分割し、検証集合(Validation set)を作成して、その汎化誤差を用いて学習させる
ニューラルネットワークのハイパーパラメータの代表例
– 隠れ層のノード数
– 重みの初期化方法
– 層の深さ
– アップデート関数や学習率
など