Многомерное нормальное распределение

Многомерное нормальное распределение (или многомерное гауссовское распределение) в теории вероятностей — это обобщение одномерного нормального распределения. Случайный вектор, имеющий многомерное нормальное распределение, называется гауссовским вектором.

Определения

Случайный вектор X = ( X 1 , … , X n ) ⊤ : Ω → R n {displaystyle mathbf {X} =(X_{1},ldots ,X_{n})^{ op }:Omega o mathbb {R} ^{n}} имеет многомерное нормальное распределение, если выполняется одно из следующих эквивалентных условий:

  • Произвольная линейная комбинация компонентов вектора ∑ i = 1 n a i X i {displaystyle sum limits _{i=1}^{n}a_{i}X_{i}} имеет нормальное распределение или является константой.
  • Существуют вектор независимых стандартных нормальных случайных величин Z = ( Z 1 , … , Z m ) ⊤ {displaystyle mathbf {Z} =(Z_{1},ldots ,Z_{m})^{ op }} , вещественный вектор μ = ( μ 1 , … , μ n ) ⊤ {displaystyle mathbf {mu } =(mu _{1},ldots ,mu _{n})^{ op }} и матрица A {displaystyle mathbf {A} } размерности n × m {displaystyle n imes m} , такие что:

X = A Z + μ {displaystyle mathbf {X} =mathbf {A} mathbf {Z} +mathbf {mu } } .

  • Существуют вектор μ ∈ R n {displaystyle mathbf {mu } in mathbb {R} ^{n}} и неотрицательно определённая симметричная матрица Σ {displaystyle mathbf {Sigma } } размерности n × n {displaystyle n imes n} , такие что характеристическая функция вектора X {displaystyle mathbf {X} } имеет вид:

ϕ X ( u ) = e i μ ⊤ u − 1 2 u ⊤ Σ u , u ∈ R n {displaystyle phi _{mathbf {X} }(mathbf {u} )=e^{imathbf {mu } ^{ op }mathbf {u} -{frac {1}{2}}mathbf {u} ^{ op }Sigma mathbf {u} },;mathbf {u} in mathbb {R} ^{n}} .

Плотность невырожденного нормального распределения

  • Если рассматривать только распределения с невырожденной ковариационной матрицей, то эквивалентным будет также следующее определение:

Существует вектор μ ∈ R n {displaystyle mathbf {mu } in mathbb {R} ^{n}} и положительно определённая симметричная матрица Σ {displaystyle mathbf {Sigma } } размерности n × n {displaystyle n imes n} , такие что плотность вероятности вектора X {displaystyle mathbf {X} } имеет вид:: f X ( x ) = 1 ( 2 π ) n / 2 | Σ | 1 / 2 e − 1 2 ( x − μ ) ⊤ Σ − 1 ( x − μ ) , x ∈ R n {displaystyle f_{mathbf {X} }(mathbf {x} )={frac {1}{(2pi )^{n/2}vert Sigma vert ^{1/2}}}e^{-{frac {1}{2}}(mathbf {x} -mathbf {mu } )^{ op }Sigma ^{-1}(mathbf {x} -mathbf {mu } )},;mathbf {x} in mathbb {R} ^{n}} , где | Σ | {displaystyle vert Sigma vert } — определитель матрицы Σ {displaystyle Sigma } , а Σ − 1 {displaystyle Sigma ^{-1}} — матрица обратная к Σ {displaystyle Sigma }

  • Вектор μ {displaystyle mathbf {mu } } является вектором средних значений X {displaystyle mathbf {X} } , а Σ {displaystyle Sigma } — его ковариационная матрица.
  • В случае n = 1 {displaystyle n=1} , многомерное нормальное распределение сводится к обычному нормальному распределению.
  • Если случайный вектор X {displaystyle mathbf {X} } имеет многомерное нормальное распределение, то пишут X ∼ N ( μ , Σ ) {displaystyle mathbf {X} sim {mathcal {N}}(mathbf {mu } ,Sigma )} .

Двумерное нормальное распределение

Частным случаем многомерного нормального распределения является двумерное нормальное распределение. В этом случае имеем две случайные величины X 1 , X 2 {displaystyle X_{1},X_{2}} с математическими ожиданиями μ 1 , μ 2 {displaystyle mu _{1},mu _{2}} , дисперсиями σ 1 2 , σ 2 2 {displaystyle sigma _{1}^{2},sigma _{2}^{2}} и ковариацией σ 12 {displaystyle sigma _{12}} . В этом случае ковариационная матрица имеет размер 2, ее определитель равен

d e t Σ = σ 1 2 σ 2 2 − σ 12 2 = σ 1 2 σ 2 2 ( 1 − ρ 2 ) , {displaystyle mathrm {det} Sigma =sigma _{1}^{2}sigma _{2}^{2}-sigma _{12}^{2}=sigma _{1}^{2}sigma _{2}^{2}(1-
ho ^{2}),}

где ρ = σ 12 σ 1 σ 2 {displaystyle
ho ={frac {sigma _{12}}{sigma _{1}sigma _{2}}}} — коэффициент корреляции случайных величин.

Тогда плотность двумерного невырожденного (коэффициент корреляции по модулю не равен единице) нормального распределения можно записать в виде:

f ( x 1 , x 2 ) = 1 2 π σ 1 σ 2 1 − ρ 2 exp ⁡ { − 1 2 ( 1 − ρ 2 ) [ ( x 1 − μ 1 ) 2 σ 1 2 − ρ 2 ( x 1 − μ 1 ) ( x 2 − μ 2 ) σ 1 σ 2 + ( x 2 − μ 2 ) 2 σ 2 2 ] } {displaystyle f(x_{1},x_{2})={frac {1}{2pi sigma _{1}sigma _{2}{sqrt {1-
ho ^{2}}}}}exp left{-{frac {1}{2(1-
ho ^{2})}}left[{frac {(x_{1}-mu _{1})^{2}}{sigma _{1}^{2}}}-
ho {frac {2(x_{1}-mu _{1})(x_{2}-mu _{2})}{sigma _{1}sigma _{2}}}+{frac {(x_{2}-mu _{2})^{2}}{sigma _{2}^{2}}}
ight]
ight}} . В том случае, если X ∼ N ( μ 1 , σ 1 2 ) , Y ∼ N ( μ 2 , σ 2 2 ) , c o v ( X , Y ) = σ 12 {displaystyle Xsim {mathcal {N}}(mu _{1},sigma _{1}^{2}),Ysim {mathcal {N}}(mu _{2},sigma _{2}^{2}),cov(X,Y)=sigma _{12}} (т.е. X , Y {displaystyle X,Y} являются зависимыми), их сумма все еще распределена нормально, но в дисперсии появляется дополнительное слагаемое 2 σ 12 {displaystyle 2sigma _{12}} : X + Y ∼ N ( μ 1 + μ 2 , σ 1 2 + σ 2 2 + 2 σ 12 ) {displaystyle X+Ysim {mathcal {N}}(mu _{1}+mu _{2},sigma _{1}^{2}+sigma _{2}^{2}+2sigma _{12})} .

Свойства многомерного нормального распределения

  • Если вектор X = ( X 1 , … , X n ) ⊤ {displaystyle mathbf {X} =(X_{1},ldots ,X_{n})^{ op }} имеет многомерное нормальное распределение, то его компоненты X i , i = 1 , … , n , {displaystyle X_{i},i=1,ldots ,n,} имеют одномерное нормальное распределение. Обратное верно при независимости компонентов.
  • Если случайные величины X 1 , … , X n {displaystyle X_{1},ldots ,X_{n}} имеют одномерное нормальное распределение и совместно независимы, то случайный вектор X = ( X 1 , … , X n ) ⊤ {displaystyle mathbf {X} =(X_{1},ldots ,X_{n})^{ op }} имеет многомерное нормальное распределение. Матрица ковариаций Σ {displaystyle Sigma } такого вектора диагональна.
  • Если X = ( X 1 , … , X n ) ⊤ {displaystyle mathbf {X} =(X_{1},ldots ,X_{n})^{ op }} имеет многомерное нормальное распределение, и его компоненты попарно некоррелированы, то они независимы. Однако, если некоторые случайные величины X i , i = 1 , … , n {displaystyle X_{i},;i=1,ldots ,n} имеют одномерные нормальные распределения и попарно не коррелируют, то отсюда не следует, что они независимы и имеют многомерное нормальное распределение.

Пример. Пусть X ∼ N ( 0 , 1 ) {displaystyle Xsim {mathcal {N}}(0,1)} , а α = ± 1 {displaystyle alpha =pm 1} с равными вероятностями и независима от указанной нормальной величины. Тогда если Y = α X ∼ N ( 0 , 1 ) {displaystyle Y=alpha Xsim {mathcal {N}}(0,1)} , то корреляция X {displaystyle X} и Y {displaystyle Y} равна нулю. Однако, эти случайные величины зависимы и в силу первого утверждения абзаца не имеют многомерного нормального распредедения.

  • Многомерное нормальное распределение устойчиво относительно линейных преобразований. Если X ∼ N ( μ , Σ ) {displaystyle mathbf {X} sim {mathcal {N}}(mathbf {mu } ,Sigma )} , а A {displaystyle mathbf {A} } — произвольная матрица размерности m × n {displaystyle m imes n} , то

A X ∼ N ( A μ , A Σ A ⊤ ) . {displaystyle mathbf {A} mathbf {X} sim mathrm {N} left(mathbf {A} mathbf {mu } ,mathbf {A} Sigma mathbf {A} ^{ op }
ight).} Таким преобразованием и сдвигом любое невырожденное нормальное распределение можно привести к вектору независимых стандартных нормальных величин.

Моменты многомерного нормального распределения

Пусть X {displaystyle X} — центрированные (с нулевым математическим ожиданием) случайные величины имеющие многомерное нормальное распределение, тогда моменты μ i 1 i 2 i 3 . . . i k = E ( X i 1 X i 2 X i 3 . . . X i k ) {displaystyle mu _{i_{1}i_{2}i_{3}…i_{k}}=E(X_{i_{1}}X_{i_{2}}X_{i_{3}}…X_{i_{k}})} для нечетных k {displaystyle k} равно нулю, а для четных k = 2 m {displaystyle k=2m} вычисляется по формуле

∑ σ i t 1 i t 2 σ i t 3 i t 4 σ i t 4 i t 5 . . . σ i t k − 1 i t k {displaystyle sum sigma _{i_{t_{1}}i_{t_{2}}}sigma _{i_{t_{3}}i_{t_{4}}}sigma _{i_{t_{4}}i_{t_{5}}}…sigma _{i_{t_{k-1}}i_{t_{k}}}}

где суммирование осуществляется по всевозможным разбиениям индексов на пары. Количество множителей в каждом слагаемом равно m {displaystyle m} , количество слагаемых равно ( 2 m ) ! 2 m m ! = ( 2 m − 1 ) ! 2 m − 1 ( m − 1 ) ! {displaystyle {frac {(2m)!}{2^{m}m!}}={frac {(2m-1)!}{2^{m-1}(m-1)!}}}

Например, для моментов четвертого порядка в каждом слагаемом по два множителя и общее количество слагаемых будет равно 4 ! / ( 2 2 ⋅ 2 ! ) = ( 1 ⋅ 2 ⋅ 3 ⋅ 4 ) / ( 4 ⋅ 2 ⋅ 1 ) = 3 {displaystyle 4!/(2^{2}cdot 2!)=(1cdot 2cdot 3cdot 4)/(4cdot 2cdot 1)=3} . Соответствующая общая формула для моментов четвертого порядка имеет вид:

μ i j k m = E ( X i X j X k X m ) = σ i j σ k m + σ i k σ j m + σ i m σ k j {displaystyle mu _{ijkm}=E(X_{i}X_{j}X_{k}X_{m})=sigma _{ij}sigma _{km}+sigma _{ik}sigma _{jm}+sigma _{im}sigma _{kj}}

В частности если i = j = k = m {displaystyle i=j=k=m}

μ i i i i = E ( X i 4 ) = 3 σ i i 2 = 3 σ i 4 {displaystyle mu _{iiii}=E(X_{i}^{4})=3{sigma }_{ii}^{2}=3{sigma }_{i}^{4}}

При i = j ≠ k = m {displaystyle i=j
ot =k=m}

μ i i j j = E ( X i 2 X j 2 ) = σ i i σ j j + 2 σ i j = σ i 2 σ j 2 + 2 σ i j {displaystyle mu _{iijj}=E(X_{i}^{2}X_{j}^{2})={sigma }_{ii}{sigma }_{jj}+2{sigma }_{ij}={sigma }_{i}^{2}{sigma }_{j}^{2}+2{sigma }_{ij}}

При i = j = k ≠ m {displaystyle i=j=k
ot =m}

μ i i i j = E ( X i 3 X j ) = σ i i σ i j + σ i i σ i j + σ i j σ i i = 3 σ i j σ i i = 3 σ i 2 σ i j {displaystyle mu _{iiij}=E(X_{i}^{3}X_{j})={sigma }_{ii}{sigma }_{ij}+{sigma }_{ii}{sigma }_{ij}+{sigma }_{ij}{sigma }_{ii}=3{sigma }_{ij}{sigma }_{ii}=3{sigma }_{i}^{2}{sigma }_{ij}}

Условное распределение

Пусть случайные векторы X {displaystyle X} и Y {displaystyle Y} имеют совместное нормальное распределение с математическими ожиданиями μ X , μ Y {displaystyle mu _{X},mu _{Y}} , ковариационными матрицами V X , V Y {displaystyle V_{X},V_{Y}} и матрицей ковариаций C X Y {displaystyle C_{XY}} . Это означает, что объединенный случайный вектор Z = [ X Y ] {displaystyle {oldsymbol {Z}}={egin{bmatrix}{oldsymbol {X}}\{oldsymbol {Y}}end{bmatrix}}} подчиняется многомерному нормальному распределению с вектором математического ожидания μ Z = [ μ X μ Y ] {displaystyle {oldsymbol {mu }}_{Z}={egin{bmatrix}{oldsymbol {mu }}_{X}\{oldsymbol {mu }}_{Y}end{bmatrix}}} и ковариационной матрицей, которую можно представить в виде следующей блочной матрицы

V Z = [ V X C X Y C Y X V Y ] {displaystyle {oldsymbol {V}}_{Z}={egin{bmatrix}{oldsymbol {V}}_{X}&{oldsymbol {C}}_{XY}\{oldsymbol {C}}_{YX}&{oldsymbol {V}}_{Y}end{bmatrix}}} ,

где C Y X = C X Y T {displaystyle C_{YX}=C_{XY}^{T}} .

Тогда случайный вектор Y {displaystyle Y} при заданном значении случайного вектора X {displaystyle X} имеет (многомерное) нормальное условное распределение со следующим условным математическим ожиданием и условной ковариационной матрицей

E ( Y | X = x ) = μ Y + C Y X V X − 1 ( x − μ X ) , V ( Y | X = x ) = V Y − C Y X V X − 1 C X Y {displaystyle E(Y|X=x)=mu _{Y}+C_{YX}V_{X}^{-1}(x-mu _{X}),qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}} .

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора Y {displaystyle Y} от заданного значения x случайного вектора X {displaystyle X} ), причем матрица C X Y V − 1 {displaystyle C_{XY}V^{-1}} — матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора Y {displaystyle Y} на вектор X {displaystyle X} . В случае если Y {displaystyle Y} — обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица — это условная дисперсия (по существу дисперсия случайной ошибки регрессии Y {displaystyle Y} на вектор X {displaystyle X} )

Подпишитесь на свежую email рассылку сайта!

Читайте также