生成AIモデルの進化やデータ駆動型アプローチが全盛を迎える中、多くのエンジニアやリサーチャーが改めて直面するのが「数理統計の基礎」という壁です。機械学習の論文や高度なアルゴリズム解説を読み進める際、避けて通れない最重要定理の一つがイェンゼンの不等式（Jensen's inequality）です。
「名前は知っているけれど、本質的な意味や使い所が曖昧」「数式を見るだけで敬遠してしまう」という方も少なくありません。しかし、その骨格にあるのは「凸関数のグラフのへこみ具合」という極めて直感的な幾何学的性質です。本記事では、数学が苦手な方でも頭にスッと入る図解的イメージから、相加相乗平均の証明、さらには現代AIを支える変分推論やEMアルゴリズムへの応用まで、その全貌を徹底的に掘り下げます。
【直感的理解】イェンゼンの不等式とは？凸関数の性質から図解で紐解く基本
イェンゼンの不等式を一言で表現するなら、「凸関数において、2つの点を結んだ線分上の値は、元の関数の値よりも常に上側（または同じ）にある」という当たり前にも思える事実を一般化した数理モデルです。
まず前提となるのが凸関数（下に凸な関数）の定義です。2次関数 $f(x) = x^2$ のようなお椀型のグラフを思い浮かべてみてください。グラフ上の任意の2点 $(x_1, f(x_1))$ と $(x_2, f(x_2))$ を直線で結んだとき、その線分は元の曲線よりも必ず上側に位置します。数式で表すと、内分比 $t$ （$0 \le t \le 1$）に対して次の関係が成り立ちます。
$$f(t x_1 + (1-t) x_2) \le t f(x_1) + (1-t) f(x_2)$$
左辺は「内分した地点（平均的な点）での関数の値」、右辺は「関数の値の内分（平均値）」を意味しています。つまり、下に凸な関数を通すと「平均値の関数値 $\le$ 関数値の平均」という不等号が常に成立します。一方、山型の凹関数（上に凸な関数、例えば対数関数 $\log x$ など）では不等号の向きが逆転し、「平均値の関数値 $\ge$ 関数値の平均」となります。このシンプルな幾何学的ルールが、イェンゼンの不等式のすべての出発点です。
【なぜ最重要なのか】統計学と機械学習を根底で支える数理的バックボーン
データサイエンスや統計学の専門書を開くと、頻繁にイェンゼンの不等式が登場します。なぜこれほど重宝されるのか、その理由は「確率変数と期待値の操作において、関数の外側と内側を安全に入れ替えるための強力なブリッジになるから」です。
実務のデータ分析やアルゴリズム開発において、非線形変換を施したデータの期待値 $E[f(X)]$ を直接計算するのは極めて困難なケースが多々あります。複雑な確率分布に従う変数を積分・総和するのは計算コストが膨大になるためです。そこでイェンゼンの不等式を活用すると、計算が容易な $f(E[X])$ を使って、求めたい値の上界（Upper Bound）や下界（Lower Bound）を瞬時に挟み込むことが可能になります。
最適化問題では「真の値を直接最大化・最小化できない場合、扱いやすい近似的な下界を最大化する」というアプローチが日常的に取られます。この下界の構成（サロゲート関数の作成）において、イェンゼンの不等式は理論的根拠を提供する不可欠なツールとして君臨しています。
【数式で追う】イェンゼンの不等式の厳密な証明と期待値による一般化
イェンゼンの不等式は、2点の加重平均から任意の $n$ 点、さらには連続的な確率分布の期待値（Expected Value）へと自然に拡張されます。一般化された定義式は以下の通りです。
確率変数 $X$ と凸関数 $f$ に対し、期待値が存在するとき、次の不等式が成立します。
$$f(E[X]) \le E[f(X)]$$
このイェンゼンの不等式の証明は、数学的帰納法を用いる方法や、凸関数の接線（劣微分）を利用するアプローチが有名です。ここでは直観的で切れ味の鋭い「接線を用いた証明」の概要を確認しましょう。
凸関数 $f(x)$ は、任意の点 $\mu = E[X]$ においてグラフの下側に接線（支持直線）を引くことができます。その接線の傾きを $a$ と置くと、すべての $x$ において次式が成り立ちます。
$$f(x) \ge a(x - \mu) + f(\mu)$$
この不等式の両辺について、確率変数 $X$ に関する期待値をとります。期待値の線形性により、右辺の第一項は $a(E[X] - \mu) = a(\mu - \mu) = 0$ となり綺麗に消滅します。結果として残るのは以下の形です。
$$E[f(X)] \ge f(\mu) = f(E[X])$$
凹関数の場合は不等号が反転するだけであり、同様の論理で成立します。極めて簡潔な導出でありながら、連続・離散を問わずあらゆる確率分布に適用できる普遍性を備えています。
【身近な証明】高校数学でおなじみ「相加相乗平均」との驚くべき関係
イェンゼンの不等式の威力を最も身近に実感できる具体例が、高校数学で学ぶ「相加相乗平均の不等式（AM-GM不等式）」の導出です。
正の実数 $x_1, x_2, \dots, x_n$ に対し、相加平均 $A = \frac{1}{n}\sum_{i=1}^n x_i$ と相乗平均 $G = \left(\prod_{i=1}^n x_i\right)^{1/n}$ の間には常に $A \ge G$ が成り立ちます。高校数学では数学的帰納法を使ってやや複雑なステップを踏んで証明するのが一般的ですが、イェンゼンの不等式を使えばわずか数行で決着がつきます。
自然対数関数 $f(x) = \log x$ は、2階微分 $f''(x) = -1/x^2 < 0$ であるため厳密に上に凸な凹関数です。等確率（各 $1/n$）で値をとる離散確率変数を考えると、凹関数に対するイェンゼンの不等式より次が成立します。
$$\log\left(\frac{1}{n}\sum_{i=1}^n x_i\right) \ge \frac{1}{n}\sum_{i=1}^n \log x_i$$
右辺に対数の性質を適用すると $\frac{1}{n}\sum_{i=1}^n \log x_i = \log\left(\prod_{i=1}^n x_i\right)^{1/n}$ と変形できます。両辺の真数を比較すれば、見事に相加相乗平均の関係式が導出されます。一見異なる分野の定理が、凸性という一本の糸で美しく繋がっている好例です。
【先端AI応用】カルバック・ライブラー情報量から変分推論の下界・EMアルゴリズム導出まで
現代の機械学習アルゴリズムの深層部では、イェンゼンの不等式がフル稼働しています。代表的な3つの応用例を見ていきます。
第一に、情報理論におけるエントロピーとカルバック・ライブラー情報量（KLダイバージェンス）の非負性証明です。KL情報量 $D_{\mathrm{KL}}(P \parallel Q)$ は2つの確率分布 $P$ と $Q$ の差異を測る尺度であり、いかなる場合も $D_{\mathrm{KL}}(P \parallel Q) \ge 0$ となることが理論の根幹をなします。この証明において、凹関数である $-\log x$（または凸関数としての $-\log$）にイェンゼンの不等式を適用することで、情報量が決して負にならない保証が得られます。
第二に、不完全データから最尤推定を行うEMアルゴリズム（Expectation-Maximization Algorithm）の導出です。観測データ $X$ と潜在変数 $Z$ を持つモデルの対数尤度 $\log P(X)$ を最大化したいものの、潜在変数の周辺化計算が複雑で直接最適化できません。そこでイェンゼンの不等式を適用し、対数尤度を常に下回らない「Q関数（下界）」を構成します。Eステップで下界を現在のパラメータに密着させ、Mステップでその下界を押し上げることで、確実に尤度を増加させる反復アルゴリズムが成立します。
第三に、画像生成モデル（VAE：変分オートエンコーダ）や大規模ベイズ推定で標準となった変分推論（Variational Inference）における変分下界（ELBO：Evidence Lower Bound）の導出です。複雑な事後分布を単純な分布で近似する際、真のデータ対数尤度 $\log p(x)$ に対し、イェンゼンの不等式を用いて下界 ELBO を導きます。
$$\log p(x) = \log \int p(x, z) dz = \log E_{q(z)}\left[\frac{p(x, z)}{q(z)}\right] \ge E_{q(z)}\left[\log \frac{p(x, z)}{q(z)}\right] = \mathrm{ELBO}$$
この下界をニューラルネットワークで最適化することこそが、近年のディープジェネレーティブモデルの心臓部となっています。
【不等式の系譜】コーシー・シュワルツやヘルダーの不等式との違いと使い分け
数学や機械学習の数理を学ぶ際、イェンゼンの不等式と並んで頻出するのがコーシー・シュワルツの不等式やヘルダーの不等式です。これらの位置づけを整理しておくと、数理モデルの読解スピードが格段に上がります。
コーシー・シュワルツの不等式はベクトル空間における内積とノルムの関係（幾何学的な角度や長さ）を規定するもので、幾何学的直感に優れています。一方、ヘルダーの不等式はそれを $L_p$ 空間へと拡張した一般化形式です。
実は、ヘルダーの不等式そのものもイェンゼンの不等式（あるいはヤングの不等式）を用いて証明される親戚関係にあります。大まかな使い分けとして、関数の凸性や期待値操作、対数尤度の評価が絡む統計的モデリングでは「イェンゼンの不等式」が主役となり、ノルムの評価や関数空間の距離測定、正則化項（L1/L2ノルム）の限界評価では「コーシー・シュワルツやヘルダーの不等式」が活躍します。
【イェンゼンの不等式】に関するよくある質問（FAQ）
Q1：凸関数と凹関数の見分け方で一番確実な方法は？
A1：2階微分が可能な関数であれば、微分した符号を確認するのが確実です。$f''(x) \ge 0$ であれば下に凸（凸関数）、$f''(x) \le 0$ であれば上に凸（凹関数）と判断できます。多変量の場合はヘッセ行列が半正定値であるかどうかが判定基準となります。
Q2：イェンゼンの不等式で等号が成立する条件は何ですか？
A2：主に2つのケースがあります。一つは対象の関数 $f(x)$ が線形関数（直線）である場合。もう一つは、関数が狭義の凸関数である場合において、確率変数 $X$ が定数である（分散がゼロであり、特定の値しかとらない）場合です。
Q3：なぜ機械学習では「対数関数（log）」と組み合わせて使われることが多いのですか？
A3：確率の積計算を足し算に変換できる対数尤度は頻出ですが、積分の外側に対数がある「$\log \int$」の形は解析的に解けません。対数関数が凹関数であることを利用してイェンゼンの不等式を適用すれば、「$\int \log$」の形（期待値の対数から対数の期待値へ）に変換でき、計算が劇的に扱いやすくなるためです。
イェンゼンの不等式は、単なる教科書上の数式トリックではありません。その本質は「非線形な変換と平均化操作の順序を入れ替えたときに生じるギャップ」を厳密にコントロールする知恵にあります。
高度なライブラリやフレームワークが普及した今だからこそ、モデルの裏側で動いているELBOの最大化や損失関数の挙動を数理レベルで直感的に把握できるスキルが、トップエンジニアと一般ユーザーを分ける決定的な差となります。数式に出会った際は、ぜひ頭の中でお椀型のグラフを思い浮かべ、「凸関数の外と内で何が起きているか」をイメージしてみてください。難解に見えたアルゴリズムの視界が一気にクリアになるはずです。
