用語集（英字）

用語集（英字）#

A#

D#

DV#

  • 読み: でぃーぶい

  • 英語での表現: DV, Deviation variable

  • Tags: プロセス制御・記号

プロセス制御において、偏差（Deviation）を意味する略記号。DV = 設定値（SV） - 測定値（PV）。この偏差に基づき制御器は操作量（MV）を決定する

詳細は記事「プロセス制御とデータ分析 」を参照

K#

Kullback-Leibler divergence#

  • 読み: かるばっく・らいぶらー だいばーじぇんす

  • 英語での表現: Kullback-Leibler divergence

  • Tags: 確率・情報理論

2つの確率分布\(p(x), q(x)\)の差異を測る尺度。KLダイバージェンス、Kullback-Leibler情報量（KL情報量）、相対エントロピー（relative entropy）ともいう。

【離散確率分布の場合】

\[ D_\mathrm{KL}(p\|q) = \sum p(x)\ln \frac{p(x)}{q(x)} \]

【連続確率分布の場合】

\[ D_\mathrm{KL}(p\|q) = \int p(x)\ln \frac{p(x)}{q(x)}dx \]

KLダイバージェンスは以下の性質を持つ。

  • \(D_\mathrm{KL}(p\|q) \ge 0\)

  • \(D_\mathrm{KL}(p\|q)=0\) は \(p(x) = q(x)\) と等価

  • 一般には \(D_\mathrm{KL}(p\|q) \ne D_\mathrm{KL}(q\|p)\)

Pythonでは scipy.stats の entropy で計算できる。

L#

M#

MV#

  • 読み: えむぶい

  • 英語での表現: MV, Manipulated Variable

  • Tags: プロセス制御・記号

プロセス変数を設定値に近づけるために、制御器が計算する操作量。純粋な制御理論を扱う分野では、制御対象に入力する値という意味で、制御入力ともいう。

プロセス制御では、測定値（PV）を設定値（SV）に一致させることを目的としている。制御器が、偏差（DV）に基づき操作量（MV）を計算し、これをプラントに入力する。

詳細は記事「プロセス制御とデータ分析」 を参照。

P#

PV#

  • 読み: ぴーぶい

  • 英語での表現: PV, Process Variable

  • Tags: プロセス制御・記号

プラントのセンサーの観測値を意味する。測定値、制御変数（Controlled Variable, CV）など表記ゆれあり。また、純粋な制御理論を扱う分野では、「（制御対象の）出力」といったりするので注意が必要。

プロセス制御では、測定値（PV）を設定値（SV）に一致させることを目的としている。制御器が、偏差（DV）に基づき操作量（MV）を計算し、これをプラントに入力する。

詳細は記事「プロセス制御とデータ分析」 を参照。

R#

ReLU#

  • 読み: れる、れるー

  • 英語での表現: ReLU, rectified linear unit

  • Tags: 機械学習

深層学習においてよく用いられる活性化関数の一つで、

\[\begin{split} f ( x ) = \max (0, x) = \begin{cases} x, & x \ge 0 \\ 0, & x < 0 \end{cases} \end{split}\]

という形をしているもの。日本語に訳して正規化線形関数とも呼ばれる。また、工学では伝統的にランプ関数 (ramp function) と呼ばれている。

原点を通ること、非線形性があること、導関数が単位ステップ関数

\[\begin{split} f' ( x ) = \begin{cases} 1, & x > 0 \\ 0, & x < 0 \end{cases} \end{split}\]

（ \(x = 0\) では未定義）となって逆伝播の計算が高速になることとなどの理由から中間層の活性化関数としては最もよく用いられる。

S#

Softmax関数#

  • 読み: そふとまっくす かんすう

  • 英語での表現: softmax function

  • Tags: 機械学習

多クラス分類において、モデルの出力を確率に変換するためによく用いられる関数。\(n\)次元ベクトル \(\mathbf{x}=(x_1, \cdots, x_n)\) を入力として、Softmax関数の出力\(\mathbf{y}=(y_1, \cdots, y_n)\) は次式で与えられる。

\[\begin{split} \begin{align} y_i &= \mathrm{Softmax}(\mathbf{x})_i　\\ &= \frac{e^{x_i}}{\sum_{k=1}^n e^{x_k}} \ \ \ \ (k=1,\cdots, n) \end{align} \end{split}\]

なおここで、\(y_i\) は出力ベクトル\(\mathbf{y}\) の第\(i\)次元である。

Softmax関数は以下の性質をもつ。

  • \(0<y_i<1\)

  • \(y_1+y_2+\cdots+y_n=1\)

この性質から、出力を確率とみなせる。Pytorchにはtorch.nn.Softmaxとして実装されている。

例えば、\(\mathbf{x} = (7, 3, 1)\) にSoftmax関数を適用すると \(\mathbf{y}=(0.9796\ldots, 0.0179\ldots, 0.0024\ldots)\) となり各クラスに割り当てられる確率を表現できる。

import torch
softmax = torch.nn.Softmax()
input = torch.tensor([7.0, 3.0, 1.0])
softmax(input)

>>> tensor([0.9796, 0.0179, 0.0024])

なお、2クラス分類問題において同様に用いられるロジスティックシグモイド関数の多クラスへの拡張とみなすことができる。

Softplus関数#

  • 読み: そふとぷらすかんすう

  • 英語での表現: softplus function

  • Tags: 機械学習

次のような形

\[ f ( x ) = \log ( 1 + e^x ) \]

をした関数のこと。導関数 \(f' ( x )\) は標準シグモイド関数となる。次のような性質

  • 狭義単調増加: \(x > x' \implies f ( x ) > f ( x' )\)

  • \(\lim_{x \to - \infty} f ( x ) = 0\)

  • \(\lim_{x \to \infty} f ( x ) = \infty\)

を持ち、 \(x \to \pm \infty\) においてReLUに漸近することからReLUの平滑化近似として深層学習モデルの中間層の活性化関数として時折用いられる。また、正値を取る変数に対応する出力層の活性化関数として用いられることもある。

SV#

  • 読み: えすぶい

  • 英語での表現: SV, Setting Variable, Set Variable

  • Tags: プロセス制御・記号

プロセス変数（PV）の目標値。設定値ともいう。

プロセス制御では、測定値（PV）を設定値（SV）に一致させることを目的としている。制御器が、偏差（DV）に基づき操作量（MV）を計算し、これをプラントに入力する。

詳細は記事「プロセス制御とデータ分析」 を参照。

目次