G検定模擬試験set1 - 未解答
（イ）に最もよくあてはまる選択肢を 1 つ選べ.
ニューラルネットワークで用いられる活性化関数について扱う.出力層の活性化関数には,回帰では（ア）が,多クラス分類では（イ）が一般的に利用されてきた.また中間層の活性化関数として,従来は（ウ）などが一般的に利用されてきた.しかし,これらの活性化関数を利用すると勾配消失問題が起きやすいという問題があったため,近年は,入力が 0 を超えていれば入力をそのまま出力に渡し,0 未満であれば出力を 0 とする（エ）や複数の線形関数の中での最大値を利用する（オ）などが利用されている.
（解説あり）（ア）に最もよくあてはまる選択肢を 1 つ選べ.
ニューラルネットワークは高い表現力を持つ反面,過学習をしやすいという性質を持つため,それを改善させる方法が多数考案されている.例えば,学習の際に一部のノードを無効化する（ア）,一部の層の出力を正規化する（イ）,データの水増しをしてデータの不足を補う（ウ）,パラメータのノルムにペナルティを課す（エ）などがそれに当たる.
（ア）に最もよくあてはまる選択肢を 1 つ選べ.
確率的勾配法はディープラーニングにおいて最もよく知られる最適化アルゴリズムであり,いくつかの改善を加えたものが広く使われている.例えば,以前に適用した勾配の方向を現在のパラメータ更新にも影響させる（ア）という手法や,勾配を2乗した値を蓄積し,すでに大きく更新されたパラメータほど更新量（学習率）を小さくする（イ）や,（イ）における一度更新量が飽和した重みはもう更新されないという欠点を,指数移動平均を蓄積することにより解決した（ウ）などがある.
（ウ）に当てはまらない選択肢を 1 つ選べ.
RNN は（ア）系列データの処理に長けているニューラルネットワークである.RNN は,（イ）勾配消失問題が起きやすいという特徴を持っていたが,RNN の一種である LSTM では（ウ）を含む LSTM Block を組み込むことで,長期間の系列情報に対しても勾配消失せずに学習を行うことができる.
ニューラルネットワークの学習には勾配降下法が用いられる.勾配降下法の手順を適切な順番に並べ替えたとき,正しい順番になるものを選択肢から 1 つ選べ.
A．重みとバイアスを初期化する. B．誤差を減らすように重み（バイアス）を修正する. C．最適な重みやバイアスになるまで繰り返す. D．ネットワークの出力と正解ラベルとの誤差を計算する. E．データ（ミニバッチ）をネットワークに入力し出力を得る.
（エ）に最もよくあてはまる選択肢を 1 つ選べ.
現在の教師あり学習は,与えられたデータがどの分類に当てはまるのかを識別する（ア）と,様々な関連性のある過去の数値から未知の数値を予測する（イ）という二つに分類される.（ア）を用いることで,（ウ）のようなことができる.また（イ）を用いることで,（エ）のようなことができる.
（ア）に最もよくあてはまる選択肢を 1 つ選べ.
自己符号化器（Autoencoder）は,出力が入力と同じものに近づくことを目指して学習する.（ア）のアルゴリズムであり,（イ）が可能になる.このときの（ウ）が入力の特徴を抽出した表現となる.
（ア）に最もよくあてはまる選択肢を 1 つ選べ.
ディープラーニングの学習の目的は,損失関数の値をできるだけ小さくするパラメータを見つけることである.このような問題を解くことを（ア）という.このパラメータを見つけるアルゴリズムとして有名なのは（イ） である.ただ,（イ）は対象の関数の形がある分布や方向に依存すると非効率な経路でパラメータを探索してしまい,学習に時間がかかってしまうというデメリットがある.そこで,現在では（イ）の欠点を改善するために（ウ） などのアルゴリズムが使用されている.
loading!!
