G検定模擬試験set1 - 未解答
（ウ）に最もよくあてはまる選択肢を 1 つ選べ.
確率的勾配法はディープラーニングにおいて最もよく知られる最適化アルゴリズムであり,いくつかの改善を加えたものが広く使われている.例えば,以前に適用した勾配の方向を現在のパラメータ更新にも影響させる（ア）という手法や,勾配を 2 乗した値を蓄積し,すでに大きく更新されたパラメータほど更新量（学習率）を小さくする（イ）や,（イ）における一度更新量が飽和した重みはもう更新されないという欠点を,指数移動平均を蓄積することにより解決した（ウ）などがある.
（エ）に最もよくあてはまる選択肢を 1 つ選べ.
ディープラーニングの技術を利用したシステムを開発する際,複雑な処理が比較的簡潔に記述できることから,既存のフレームワークを利用することも多い.ディープラーニングのフレームワークは複数あり,google 社提供の（ア）や（ア）のラッパーとして機能する（イ）,国内企業である PreferredNetworks 社で開発された（ウ）などがある.また,（エ）は（ウ）と同じ Define-by-Run 方式を採用している.
（ア）に最もよくあてはまる選択肢を 1 つ選べ.
ニューラルネットワークには様々なモデルがあり,タスクによって適切な選択をする必要がある.例えば,画像を扱う際には（ア）,自然言語処理などの系列データには（イ）がよく使われる.他にも次元削減には（ウ）,画像生成には（エ）などが用いられる.
（オ）に最もよくあてはまる選択肢を 1 つ選べ.
自己符号化器はニューラルネットワークによる（ア）の代表的な応用であり,出力が入力に近づくようにニューラルネットを学習させる.主に（イ）のために利用されることが多く,活性化関数に恒等写像を用いた場合の 3 層の自己符号化器は（ウ）と同様の結果を返す.自己符号化器を多層化すると,ディープニューラルネット同様に勾配消失問題が生じるため,複雑な内部表現を得ることは困難であった.この問題に対して 2006 年頃に（エ）らは,単層の自己符号化器に分割し入力層から繰り返し学習させる（オ）を積層自己符号化器に適用することで,汎用的な自己符号化器の利用を可能とした.また,自己符号化器の代表的な応用例として（カ）がある.
（ア）に最もよくあてはまる選択肢を 1 つ選べ.
狭い意味でのディープラーニングとは層の数が深いニューラルネットワークを用いた機械学習である.複数の層を持つ階層的ニューラルネットワークは,1980 年代には（ア）という方法がすでに提案されていたが,現在ほど多くの層を持った学習をすることはできなかった.その理由として二つの理由が挙げられる.一つ目は,出力層における誤差を入力層に向けて伝播させる間に,誤差情報が徐々に拡散し,入力層に近い層では勾配の値が小さくなって学習がうまく進まないという問題が発生したからだ.このことを（イ）という.二つ目は,層の数が多いニューラルネットワークの学習の目的関数は多くの（ウ）を持ち,適切な結合の重みの初期値の設定が難しかった.
空欄（ア）,（イ）,（ウ）の組み合わせとして,適切な選択肢を 1 つ選べ.
良い表現として,ディープラーニングのアプローチは（ア）, （イ）,（ウ）に着目している.このことから,（ア）,（イ）,（ウ）の事前知識を適切に活用できるなら,表現学習は必ずしも層の数が多いニューラルネットワークの形をしていなくてもよいことになる.
（イ）に最もよくあてはまる選択肢を 1 つ選べ.
ディープラーニングはソフトウェアフレームワークを利用して実装するのが一般的である.多層のニューラルネットワークモデルを定義し,データを用いて学習・予測を実行するのがフレームワークの役割だが,重要なのはネットワークの記述方法とその柔軟性である.ネットワークには大きく分けて 二つの記述方法がある.一つ目は（ア）による記述方法である.これらの記述方法を採用しているソフトウェアには（イ）があげられる.この方法を用いることによって,モデルの定義がテキストで設定でき,簡単に学習を開始させることが出来るというメリットがある.一方で,ループ構造をもつような RNN など,複雑なモデルを扱う際には,モデルの定義を記述することは難しくなる傾向にある.二つ目は（ウ）による記述方法である.代表的なフレームワークとして（エ）があげられる.一度書き方を覚えてしまえば,複雑なモデルでも比較的簡単に記述することが出来るが,モデルは,それぞれのフレームワーク固有のソースコードで出来上がるため,モデルが使用しているソフトウェアに依存してしまうという問題がある.
（解説あり）（ウ）に最もよくあてはまる選択肢を 1 つ選べ.
自然言語処理の研究においても,ディープラーニングを利用した研究が目立ちつつあるが,その成果は分野においてまちまちである. 例えば,機械翻訳 や（ア）おいては大幅な性能向上が見られる一方で,構文解析や（イ） のように連続的な精度向上は見られるものの基本的な手法は大きく変わらないもの,そして 文脈解析 や（ウ）など現在のアプローチでは実用的な精度は見込めないものなどがある.
（イ）に当てはまらない選択肢を 1 つ選べ.
ディープニューラルネットワーク（DNN）のパラメータ最適化手法として（ア）などの勾配降下法が適用される.しかし,勾配降下法には（イ）などの問題があり,これらの問題に対処するために,学習率をパラメータに適応させることで自動的に学習率を調整することができる（ウ）や勾配の平均と分散をオンラインで推定し利用する（エ）が利用されてきた.
loading!!
