Tema 7: Aproximación por mínimos cuadrados

Supongamos que tenemos un sistema de ecuaciones AX = B.

Decir que el sistema es incompatible es lo mismo que decir BImf. No existe ningún X tal que AX = B. Queremos encontrar las X tales que AX esté “lo más cerca posible de B”.

Los X tales que AX “es la proyección ortogonal de B en Imf”.

Sea (V,E) un espacio vectorial unitario y S"V. Dado bV, se llama proyección ortogonal de B sobre S al vector cS tal que b-c  SO.

Proposición: c es la proyección ortogonal de b sobre S ! ||b-c|| < ||b-c'|| Vc'S y c'"c.

Sea AMat(n,!) y BMat(nx1,!). Se llama solución de aproximación del sistema de ecuaciones AX = B a cualquier vector X1!n tal que AX1 sea la proyección ortogonal de B sobre el subespacio S = ImA = {AZ; Z!n }.

Teorema: En las condiciones anteriores, X1 es solución de aproximación de AX = B ! X1 es solución del sistema A'AX = A'B. O sea, dado AX = B, el sistema A'AX = A'B es siempre compatible y sus soluciones son precisamente las mismas que las soluciones de aproximación de AX = B.

Inconveniente: La matriz A'A suele tener valores propios muy próximos al 0 y los errores de redondeo al resolver el sistema se pueden hacer grandes.

Planteamiento del problema en términos de aplicaciones lineales.

f: !n ! !m con matriz coordenada A en bases canónicas.

Proposición: Sea AMat(mxn,!) se tiene:

Consideramos la aplicación lineal f: !n ! !m cuya matriz coordenada en las bases canónicas es A.

Consideramos también el subespacio S = Imf " !m

¿Cuáles son los vectores X1 de !n tales que f(X1) está lo más próximo posible al vector B!m ó, dicho de otra forma, es la proyección ortogonal de B sobre Imf?

Queremos encontrar los X1!n que son antiimágenes por f del vector c (proyección ortogonal de B sobre Imf).

Si X1 es una antiimagen de c (f(X1) = c), entonces el conjunto de todas las antiimágenes de c es X1+kerf.

De entre todas esas elegiremos la que es de norma mínima.

Dado AX = B encontrar la solución de aproximación de norma mínima.

AX = B f: !n ! !m con matriz coordenada A en bases canónicas {a1,…,an} de !n y {b1,…,bm} de !m. En !n y en !m tenemos una métrica unitaria, E, de matriz coordenada In en !n e Im en !m en bases canónicas.

Imf"!m; C la proyección ortogonal de B sobre Imf (B-C  ImfO).

Si X1f!(C), el conjunto de todas las antiimágenes de C (= conjunto de soluciones de aproximación de AX = B) es X1 + kerf.

De entre todas las soluciones de aproximación, la que tiene norma mínima es X1-Z siendo Z la proyección ortogonal de X1 sobre kerf. Sabemos (propiedades de la proyección ortogonal) que X1-Z  kerfO.

Hemos construido una aplicación f +:!m!!n que asigna a cada vector B!m el único vector de kerfO que es solución de aproximación de AX = B (A matriz coordenada de f).

¿Esta aplicación es lineal? ¿Cuál es la matriz coordenada de esta aplicación en las bases canónicas?

Sea ð la proyección canónica de !m en Imf: ð: !m ! Imf

B ! proyección ortogonal de B

sobre Imf

V = S"SO

b = c+d con cS y dSO

c es la proyección ortogonal de B sobre S

Por otro lado, en !n kerfO es un suplementario del kerf

f|kerfo: kerfo ! Imf es un isomorfismo ! es biyectivo !tiene sentido hablar de la

inversa de esa aplicación lineal

f + = i f|kerfo-1"ð

i: kerfo !!n

f + está compuesta de aplicaciones lineales ! es una aplicación lineal.

Para hallar la matriz coordenada de f + nos construimos nuevas bases de !m y !n.

Tomamos, en !m una base ortonormada de Imf (dim Imf = r): {d1,…,dr}

Tomamos, en !m una base ortonormada de Imfo: {dr+1,…,dm}

En !n, tomamos una base ortonormada de kerfo (dim kerfo = r): {c1,…,cr}

En !n, tomamos una base ortonormada de kerf: {cr+1,…,cn}

{d1,…,dm} base ortonormada de !m

{c1,…,cn} base ortonormada de !n

En esas bases, la matriz coordenada de ð: !m ! Imf es

La matriz coordenada de i: kerfo !!n es

¿Cuál es la matriz coordenada de f|kerfo-1?

SI pudiéramos elegir c1,…,cr y d1,…,dr de modo que la matriz coordenada de f|kerfo: kerfo! Imf (isomorfismo) fuera diagonal, entonces su inversa sería diagonal con los vectores de la diagonal los inversos.

f(c1) = t1d1, …, f(cr) = trdr

Xi coordenadas de ci en base canónica (i = 1,…,r)

AXi = tidi d1 = (1/t1)AX1, …, dr = (1/tr)AXr y como {d1,…,dr} ha de ser ortonormada:

δij = E(di,dj) = (1/ti)·(AXi)'Im(AXj/tj) = (1/titj)·Xi'A'AXj = (1/titj)·Xi'A'AXj

Esta cuenta es sencilla si los Xj son vectores propios de A'A.

Han de ser ortogonales a KerA = KerAA

A'A es diagonalizable y sus valores propios son reales negativos.

Hallamos una base ortonormada de cada subespacio fundamental de valor propio no nulo de A'A.

Juntando esas bases, tenemos una base ortonormada (formada por vectores propios) de (KerA)o = (Kerf)o: {c1,…,cr}

X1 Xr

δij = (1/titj)·Xi'A'AXj = (1/ti)Xi'Xj = (1/ti)(XiXj)

La matriz coordenada de f|kerfo-1 es

Ahora, multiplicando estas tres matrices obtenemos la matriz coordenada de f +.

La matriz coordenada de f + en las nuevas bases {c1,…,cn} y {d1,…,dm} es

f + = i f|kerfo-1 ð

A+ =

Sea U la matriz del cambio de bases ortonormadas en !n:

{a1,…,an}!{c1,…,cn} (las columnas de U son los vectores c1,…,cn).

Sea V la matriz del cambio de bases ortonormadas de !m:

{b1,…,bm}!{d1,…,dm} (las columnas de V son los vectores d1,…,dm).

La matriz coordenada de f +: !m!!n en bases {d1,…,dm} y {c1,…,cn} es D+.

X = D+Y Y = VY cambio de coordenadas en !m

X = UX cambio de coordenadas en !N

U'X = D+V'Y ! X = UD+V'Y

Entonces, la matriz coordenada de f + en bases canónicas es UD+V'= A+.

A+ se llama pseudoinversa de A.

Observaciones: Dada A, la matriz D está unívocamente determinada por A, salvo en el orden en que aparecen los elementos no nulos de la diagonal.

Las matrices U y V no están unívocamente determinadas por A.

Pero A+ = UD+V' si está unívocamente determinada por A. La pseudoinversa de A está bien definida.

Porque A+ es simplemente la matriz coordenada de f + en bases canónicas, y f + está unívocamente determinada por f.

Podemos asegurar que la pseudoinversa de f, f +, es una inversa generalizada de f.

Propiedades: Sea AMat(mxn,!)