2017年1月7日土曜日

条件付期待値のキモチ

条件付期待値についてなんとなくつかめてきた気がしたので備忘録がてら書きます. 勉強中なので些細なところで間違えてるかもしれません. (逐次修正していく)

*今回は確率変数は全て標本空間から実数への関数だとします.

条件付確率というのはP(A | B)で,
P(A | B) := P(A ∩ B) / P(B)
として定義されます.
これをもとにして条件付期待値 E(X | A) は
E(X | A) := Σx P(X=x | A)
などと定義され, これはよく慣れ親しんだものだと思います.

しかし測度論的な条件付期待値は違う定義をされていて, 慣れるには中々時間のかかるものだと思います.
例えば, 古典的な定義によると条件付期待値は E(X | A) などと書いたときは X は確率変数で A は事象のはずです. また E(X | A) はデータ型として見ると実数です.
しかしながら測度論的な定義では E(X | G) などと書き, この場合は X は確率変数, G はσ-集合体 となっていて, しかも E(X | G) 自体はG-可測な確率変数になっています.

Gは事象の集合であり, 古典的な定義と絡めて述べると, (誤解を恐れずに書くと)
ω∈A∈G に対し, E(X | G)(ω) = E(X | A) が成り立つので, 古典的な定義と齟齬は生じないこととなっています.

本記事では測度論的な条件付期待値の定義を述べるとともに, 単純な例を紹介したいと思います.


定義

確率空間 (Ω, F, P) 及び 事象A ∈ F  と 確率変数 X に対し,

E[X ; A] := E[X・1_A]

とします. つまり事象A における測度 P での X のルベーグ積分です.
今, G F  を の部分σ-集合体とします.
G が与えられたときの X の条件付期待値 E[X | G] とは, 以下の条件を満たす G-可測  な確率変数です.
  • 全てのA ∈ G に対し,  E[X ; A] = E[Y ; A]
このような確率変数の存在性はラドン-ニコディムの定理から保証されます. しかもこの定理によるとE[X | G] の存在は一意です.

* ここでいう一意とは, P のへの制限を P|G  と書いたときに, (確率測度としてのP|G)測度0の点を除いた部分で考えています. 即ち, P|G(X=Y) = 1 となるような二つの確率変数 X と Y は同一視しています.

* PのGへの制限 P|とは, 全てのA∈G に対して, P|G(A) = P(A) を満たす確率測度 P|G : Ω→G のことです.

可測であるということ

最も重要な部分は E[X | G] が G-可測であるという点です.

確率変数 X が G-可測であるとは, 全ての B ∈ B(R) に対し, 逆像 X^{-1}(B) ∈ G であることを言います. ここでB(R) は実数上のボレル集合体です.

直感的な説明ですが, GF  であるとき, G-可測ならば-可測である, が成り立ちます.
従って, G-可測であるという条件は -可測であるという条件よりも強いことを要請しているわけです.

例えば, 確率変数 X が G= {φ, Ω } に対し G-可測 であったならば, 集合X(Ω) は一点集合, 即ちX=定数 でなければなりません. なぜならば X(Ω) ⊇ { a, b } とすると, X^{-1}({a}), X^{-1}({b}) がそれぞれ背反であり, 非空であるため G-可測であることに反するからです.

また, 確率変数 X が G-可測であったならば, E[X | G] = X となります. なぜならば, E[X | G] = X とおくと期待値の条件を明らかに満たすからです. (ラドン-ニコディムの定理より, 期待値の条件を満たす確率変数Zを見つければ測度0の点を除いてZ=E[X | G] となります).


  • Ω = [0,1]
  • F = B([0,1])
  • P : ルベーグ測度
とし, 確率変数 X を



を分布関数として持つようなものとします.
  • ={φ, Ω } の場合:
E[ X | G] は G-可測なので, 定数である. 期待値に関する条件より,



  • G={φ, Ω, [0, 1/2), [1/2, 1] } の場合:

また, 可測性の条件より, E[X | G](ω) は [0,1/2), [1/2, 1] それぞれにおいて定数となっているため,


となる.


Gが更に元が多くなり複雑になっていくと, E[X | G]も複雑な形になっていき, 次第に X に近づいていく, ということになります.

言ってみれば E[X | G]は Xを G-可測な確率変数で近似していると見ることもできます.

Håstadのスイッチング補題

回路計算量の理論における重要な結果の一つである Håstadのスイッチング補題 を紹介します. 簡潔にいうとこの補題は, 99%の変数をランダムに固定することによってDNFの決定木が小さくなることを主張する結果です. 応用としてparity関数に対する$\mathrm{AC}^0...