G検定模擬試験set1 - 未解答
（エ）に最もよくあてはまる選択肢を 1 つ選べ.
ディープラーニングはソフトウェアフレームワークを利用して実装するのが一般的である.多層のニューラルネットワークモデルを定義し,データを用いて学習・予測を実行するのがフレームワークの役割だが,重要なのはネットワークの記述方法とその柔軟性である.ネットワークには大きく分けて 二つの記述方法がある.一つ目は（ア）による記述方法である.これらの記述方法を採用しているソフトウェアには（イ）があげられる.この方法を用いることによって,モデルの定義がテキストで設定でき,簡単に学習を開始させることが出来るというメリットがある.一方で,ループ構造をもつような RNN など,複雑なモデルを扱う際には,モデルの定義を記述することは難しくなる傾向にある.二つ目は（ウ）による記述方法である.代表的なフレームワークとして（エ）があげられる.一度書き方を覚えてしまえば,複雑なモデルでも比較的簡単に記述することが出来るが,モデルは,それぞれのフレームワーク固有のソースコードで出来上がるため,モデルが使用しているソフトウェアに依存してしまうという問題がある.
（ア）に当てはまらない選択肢を 1 つ選べ.
ディープニューラルネットワーク（DNN）のパラメータ最適化手法として（ア）などの勾配降下法が適用される.しかし,勾配降下法には（イ）などの問題があり,これらの問題に対処するために,学習率をパラメータに適応させることで自動的に学習率を調整することができる（ウ）や勾配の平均と分散をオンラインで推定し利用する（エ）が利用されてきた.
（解説あり）（イ）に最もよくあてはまる選択肢を 1 つ選べ.
機械学習においては過学習を避けるために,訓練誤差ではなく汎化誤差を可能なかぎり小さくする手法である（ア）を用いることが多い.また複数のモデルの予測結果の平均を利用する（イ）がある.他にもディープニューラルネットワーク（DNN）に対しては,ランダムに一定の割合のノードを削除して学習を行う（ウ）が有効とされている.（ア）手法にはいくつかのパラメータをスパースにする（エ）などがある.
（イ）に当てはまらない選択肢を 1 つ選べ.
ディープラーニングは,ニューラルネットワークを多層化したものであり,観測データから本質的な情報である（ア）を自動的に抽出できる点が特徴である.また,従来の機械学習手法と比べると,（イ）という性質も持っている.
（ア）に最もよくあてはまる選択肢を 1 つ選べ.
ニューラルネットワークで用いられる活性化関数について扱う.出力層の活性化関数には,回帰では（ア）が,多クラス分類では（イ）が一般的に利用されてきた.また中間層の活性化関数として,従来は（ウ）などが一般的に利用されてきた.しかし,これらの活性化関数を利用すると勾配消失問題が起きやすいという問題があったため,近年は,入力が 0 を超えていれば入力をそのまま出力に渡し,0 未満であれば出力を 0 とする（エ）や複数の線形関数の中での最大値を利用する（オ）などが利用されている.
（イ）に最もよくあてはまる選択肢を 1 つ選べ.
畳み込みニューラルネットワークの手法について扱う.（ア）は 1998 年に提案された,現在広く使われている CNN の元となるモデルであり,初めて多層 CNN に誤差逆伝播法を適用した手法である.2012 年に提案された（イ）は,画像認識のコンペティション ILSVRC で他手法に圧倒的な差をつけて優勝し,画像認識におけるディープラーニング活用の火付け役となった.しかし,一般に CNN は層を深くすると,パラメータ数が膨大となり学習が困難になってしまう傾向があった.層が深くなってもうまく学習を行うことができるモデルとして,ILSVRC2015 において多くの部門でトップの成績を収めた（ウ）がある.（ウ）は出力を入力と入力からの差分の和で表現したニューラルネットワークモデルである.
（ア）に最もよくあてはまる選択肢を 1 つ選べ.
ディープラーニングの学習の目的は,損失関数の値をできるだけ小さくするパラメータを見つけることである.このような問題を解くことを（ア）という.このパラメータを見つけるアルゴリズムとして有名なのは（イ） である.ただ,（イ）は対象の関数の形がある分布や方向に依存すると非効率な経路でパラメータを探索してしまい,学習に時間がかかってしまうというデメリットがある.そこで,現在では（イ）の欠点を改善するために（ウ） などのアルゴリズムが使用されている.
（エ）に最もよくあてはまる選択肢を 1 つ選べ.
現在の教師あり学習は,与えられたデータがどの分類に当てはまるのかを識別する（ア）と,様々な関連性のある過去の数値から未知の数値を予測する（イ）という二つに分類される.（ア）を用いることで,（ウ）のようなことができる.また（イ）を用いることで,（エ）のようなことができる.
loading!!
