ここは完全にメモですね。
機械学習の勉強をしていて、いくつかの知らない単語に対してメモしておきます。
バギング
KKT条件 (カルーシュ・クーン・タッカー条件)
非線形計画において一階導関数が満たすべき最適条件
MMアルゴリズム (上界最小化アルゴリズム, Majorization minimization algorithm)
直接解くことが難しい最小化問題に対し、その金時間数の最小化問題を逐次的に解くことで、解の候補を生成する方法
EMアルゴリズム (期待値最大化アルゴリズム, Expectation maximization algorithm)
確率モデルのパラメータを最尤推定する方法。期待値ステップと最大化ステップを交互に繰り返す
スパース
ノイズを取り除き、低次元部分空間の本質的な情報を引き出す方法
ニュートン法
方程式を反復法によって数値解を求める方法。ヤコビ行列の逆行列を勾配にかける事により、二次の近似を考慮した勾配を算出する。