\(\(A\^+\) Pseudoinverse\ einer\ Matrix\ A\)

Verallgemeinerung des Inversen begriffes aufm × n Matrix A mit m Zeilen,     n Spalten, mit m ≠ n .

\(Eingeschraenkt  auf  m ⩾
          n  gilt  fuer  das  ueberbestimmte  lineare  Gelichungssytem  A.x =
        \(c : 
\(EsexistiertimAllgemeinennureinenaeherungsLoesung :
              A.x ≈ c  mit  x\) = \(A\^+\).c\)\)\(A\^+\)=((((A^T).A))^(-1)).(A^T) nennt man die Pseudoinverse von \(A.
Voraussetzung\) (A^T).A nicht \(singulaer.
Diese\) Loesung ist eindeutig und  optimal hinsichtlich der kleinsten Fehlerquadratsumme also :
          ∀
            y ≠
              x : ∑(((A.y - c))^2) > ∑(((A.x - c))^2)

\(Aehnlich  zur  Inversen  gilt \( hier : \(A\^+\).A\) =
        \(E\_n\) falls  m ⩾ n\)Fuer  m×n  Matrizen  A  mit  m=\(n\ \(gilt : 
\(A\^+\)\)\)=(A^(-1)) , A.(A^(-1))=(A^(-1)).A=(Subscript[E, n])=\(E\_m.
Fuer\ m\)≤n welches einem unterbestimmten Gelichungssytem entspricht gilt:
\(A\^+\)=(A^T).(((A.(A^T)))^(-1))\(Vorsicht\ fuer\ m > n\ ist\ A.A\^T\ bezw.\ fuer\ n >
          m\ ist\ A\^T.A\ \ immer\ singulaer\ .
Fuer\ m\), \(n\ beliebig            \(gilt : 
A\^T.\(\((A.A\^T)\)\_ε\%+\)\)\)=\(\((A\^T.A)\)\_ε\%+\).(A^T).
Wenn das Problem grundsaetzlich singulaer ist also A.(A^T) und (A^T).A singulaer,
\(gibt\ es\ mittels\ SVD\ Zerlegung\ immer\ noch\ eine\ eindeutige          Pseudoinverse\ \(A\_ε\%+\) zu \( A.\)\)

\(SVD\ Zerlegung\ einer\ Matrix          \(A
(Singular\ Value\ Decomposition)\)\)

\(Eindeutige Pseudoinverse \(A\_ε\%+\) auch im
            singulaeren Fall zu A \(zuordenbar.\)\)

A = U.W.(V^T)  mit  U,V  orthogonal,WDiagonalmatrixmitElementen(Subscript[w, i])alsogilt:
(A^(-1)) =V.(W^(-1)).(U^T) mit  (W^(-1)) mit Elementen \(1/w\_i.
Im\) Singulaeren Fall sind einige (Subscript[w, i])=0  oder  durch  numerische  Probleme \[VerticalSeparator]
              (Subscript[w, i]) \[VerticalSeparator]  < εMan bildet die Daigonal Matrix(Subscript[W, ε]^(-1))\(mit\ w\_\(ε\_i\) =
        \(0  falls \[VerticalSeparator]
            \(w\_i \[VerticalSeparator]
              \( < ε  bezw.w\_\(ε\_i\)\)\) =
          \(1/w\_i  sonst.
\(A\_ε\%+\) =
            V.W\_ε\%\(-1\).U\^T\)\)\)\(Den  Schwellwert  ε  waehlt  man
         angepasstandieRechengenauigkeit.
Diese\ Vorgangsweise\ eliminiert        genau\ jene\ Linearkombinationen\)aus dem Gleichungssystem welche fuer die Singularitaeten        verantwortlich sind\(und\ welche\ die\ Fehlerquadratsumme\ anteilsmaessig\ am\ wenigsten        minimieren.
Die\ Methode\ liefert\ in\ gestalt\ der        Spaltenvektorender\ Matrix\ U\)\(auch\ gleich\ eine\ Othonormalbasis\ des\ Raumes\ welchen\ A          aufspannt.
Im\ singulaeren\ Fall\ streicht\ man\ in\ U\ jene          Spalten\ i\ mit \[VerticalSeparator]
        \(w\_i \[VerticalSeparator] \( < ε\)\), 

      und\ erhaelt\ die\ Othonormalbasis\ des\ Unterraumes\ welcher\ von\ A        auf\ gespannt\ \(wird.\)\)

Design Matrix  -  General Liner Least Squaeres

\(Fitfunktion : 
	g(a) ≈ f(a) =           \(\(\(F\_0\)(a)\)\ x\_0 + \(\(F\_1\)(a)\)\ x\_1 + \ ...\)\  +
            \(\(F\_n\)(a)\)\ x\_n

        \ \ \ \ \(g(a)\)\ \ \ \ \ \ die\ zu\ fittende\ Funktion\ \ von\ a

        	\(f(a)\)\ \ \ \ Fitfunktion,         Liearkombination\ aller\ \(\(F\_j\)(a)\)

        	\(\(F\_j\)(a)\)\ \ \ beliebige\ auch\ nicht\ lineare\ Funktionen          von\ a

        	x\_j\ \ \ \ \ \ \ \ \ \ \ lineare\ Koeffizienten\ von          \(\(F\_j\)(a)\)\ bezw.\ die\ zu\ durch\ den\ Fit\ zu\ errechnenden          parameter\ von\ \(f(a)\)

        	a\ \ \ \ \ \ \ \ \ \ \ \ \ Stuetzpunkte\ der\ Fitfunktion          \(f(a)\), \ bezw.\ der\ zu\ fittenden\ Funktion\ \(g(a)\)

        	\(g(a)\)\ \ \ \ \ \ die\ zu\ fittende\ Funktion\ \ von\ a


        bilde\ Designmatrix\ \(A : 
	A\_\(i, j\)\) =
          \(\(\(F\_j\)(a\_i)\)\ \ \ d.h.\ werte\ alle\ Funktionen\ F\_j\ an              allen\ Stuetzpunkten\ a\_i\ aus.
bilde\ Vektor              \(c : 
	c\_i\)\  =             \(\(g(a\_i)\)\ \ \ \ \ \ \ \ \ \ d.h.\ werte\ die\ zu\ fittende                Funktion\ \ g\ an\ allen\ \ Stuetzpunkten\ a\_i                aus.
\(Loesung : 
	x\) = \(A\_ε\%+\).c\)\)\)

Beispiel

\(TraditionalForm
    \`g(x_) := 2\ Sin[x] + 3\ Cos[7/4  x] + 4.5678  Log[\((x + 3  Pi)\)]\)

Plot[g[x],  {x,  0, 8}]

\(a = {1, 2, 3, 7.123}; 

        A = Map[{Sin[#], \ Cos[7/4\ #], Log[\((# + 3  Pi)\)]}&, \ a]\)c  =  Map[g,  a]

PseudoInverse[N[A]].c

\(TraditionalForm
    \`Im\ obigen\ Beispiel\ sind\ zwar\ mehr\ Gleichungen\ als\ unbekannte      vorhanden,     da\ aber\ aus\ Gruenden\ der\ Anschaulichkeit\ die\ zu\ fitende\ Funktion
      \ g\ an\ ihren\ Stuetzpunkten\)\(TraditionalForm
    \`exakt\ mit\ f\ uebereinstimmt\ erhaelt\ man\ als\ Ergebnis,     Parameter\ die\ exakt\ \(uebereinstimmen.\)\)