Witam,
mam problem z obliczeniem [tzn. ze zrozumieniem co mam policzyć] pełnej macierzy kowariancji.
Dane mam następujące parametry rozkładu normalnego
\(\displaystyle{ \mu_{j|w_n} = \frac{\sum_{i,w_n \in u_i}x_i(j)}{\sum_{i,w_n \in u_i}1}}\)
\(\displaystyle{ \sigma_{j|w_n} = \frac{\sum_{i,w_n \in u_i} (x_i(j)-\mu_{j|w_n})^2}{(\sum_{i,w_n \in u_i}1)-1}}\)
\(\displaystyle{ \mu_{j|\overline{w_n}} = \frac{\sum_{i,w_n \not\in u_i}x_i(j)}{\sum_{i,w_n \not\in u_i}1}}\)
\(\displaystyle{ \sigma_{j|\overline{w_n}} = \frac{\sum_{i,w_n \not\in u_i} (x_i(j)-\mu_{j|\overline{w_n}})^2}{(\sum_{i,w_n \not\in u_i}1)-1}}\)
"Normalna" dywergencja Kullbacka-Leiblera wygląda następująco:
\(\displaystyle{ KL_2(p(x_j|\overline{w_i}) \parallel p(x_j|w_i)) = \frac{1}{2}(
\frac{ \sigma_{j|\overline{w_n}}^2}{\sigma_{j|w_n}^2} +
\frac{{\sigma_{j|w_n}^2}}{\sigma_{j|\overline{w_n}}^2}-2)
+ \frac{1}{2}(\mu_{j|\overline{w_n}} - \mu_{j|w_n} )^2
(\frac{1}{\sigma_{j|\overline{w_n}}} + \frac{1}{\sigma_{j|w_n}})}\)
I to wygląda prosto i przejrzyście.
Natomiast wielowymiarowa dywergencja KL dana jest następującym wzorem:
\(\displaystyle{ KL_2(p_1(x)\parallel p_2(x)) = \frac{1}{2} tr( \Sigma_1^{-1}\Sigma_2 + \Sigma_2^{-1}\Sigma_1 -2I)
+ \frac{1}{2}(\mu_1 - \mu_2)^T(\Sigma_1^{-1}+\Sigma_2^{-1})(\mu_1-\mu_2)}\)
I tu mamy właśnie ową pełną macierz kowariancji \(\displaystyle{ \Sigma}\). I szczerze powiedziawszy nie za bardzo wiem jak się wziąć za jej liczenie. Czy element tej macierzy (1,2) będzie wyglądał tak?
\(\displaystyle{ \sigma_{(j=1)|w_i} \cdot \sigma_{(j=2)|w_i}}\)
czy tak:
\(\displaystyle{ \sigma_{j|(w_i=1)} \cdot \sigma_{j|(w_i=2)}}\)
Odrobinę tego nie ogarniam, a zapewne jest to prostsze niż się wydaje
Z góry dziękuję za pomoc.