10.3.- Estimación de los Parámetros en Modelos de Regresión Lineal

El método de mínimos cuadrados se usa de manera típica para estimar los coeficientes de regresión de un modelo de regresión lineal múltiple. Suponga que se cuenta con n > k observaciones de la variable de respuesta, por ejemplo,y₁, y₂, ...,y_n. Junto con cada respuesta observada y_i se tendrá una observación de cada uno de los regresares, y sea que x_ij denote la observación o nivel i-ésimo de la variable x_j . Los datos aparecerán como en la tabla 10-1. Se supone que el término del error Ɛ del modelo tiene E(Ɛ) = 0 y V(Ɛ)=σ² y que las {Ɛ_¡} son variables aleatorias no correlacionadas.

La ecuación del modelo (ecuación 10-2) puede escribirse en términos de las observaciones de la tabla 10-1 como

El método de mínimos cuadrados consiste en elegir las β de la ecuación10-7 de tal modo que la suma de cuadrados de los errores, Ɛ_¡, se minimice. La función de mínimos cuadrados es

Estas ecuaciones se denominan ecuaciones normales de mínimos cuadrados. Observe que hay p = k + 1 ecuaciones normales, una para cada uno de los coeficientes de regresión desconocidos. La solución de las ecuaciones normales serán los estimadores de mínimos cuadrados de los coeficientes de regresión

Esmás sencillo resolver las ecuaciones normales si se expresan en la notación matricial. A continuación se presenta el desarrollo matricial de las ecuaciones normales que es análogo al desarrollo de la ecuación 10-10. El modelo en términos de las observaciones, ecuación 10-7, puede escribirse en notación matricial como

En general, y es un vector (nx1) de las observaciones, X es una matriz (nxp) de los niveles de las variables independientes, β es un vector (px1) de los coeficientes de regresión, y Ɛ es un vector (nx1) de los errores aleatorios.

Quiere encontrarse el vector de los estimadores de mínimos cuadrado, β, que minimice

Observe que L puede expresarse como

ya que β'X' y es una matriz (1 x 1), o un escalar, y su transpuesta (β'X'y)' = y'Xβ es el mismo escalar. Los estimadores de mínimos cuadrados deben satisfacer

cuya simplificación es

La ecuación 10-12 es la forma matricial de las ecuaciones normales de mínimos cuadrados. Es idéntica a la ecuación 10-10. Para resolver las ecuaciones normales, ambos miembros de la ecuación 10-12 se multiplican por la inversa de X'X. Por lo tanto, el estimador de mínimos cuadrados de β es

Es sencillo ver que la forma matricial de las ecuaciones normales es idéntica a la forma escalar. Al desarrollar en detalle la ecuación 10-12, se obtiene

Si se efectúa la multiplicación matricial indicada, se obtendrá la forma escalar de las ecuaciones normales (es decir, la ecuación 10-10). En esta forma es sencillo ver que X'X es una matriz simétrica (p X p) y que X' y es un vector columna (p X 1). Observe la estructura especial de la matriz X'X. Los elementos de la diagonal de X'X son las sumas de cuadrados de los elementos de las columnas de X, y los elementos que no están en la diagonal son las sumas de los productos cruzados de los elementos de las columnas de X. Además, observe que los elementos de X' y son las sumas de los productos cruzados de las columnas de X y las observaciones {y_¡}.

El modelo de regresión ajustado es

En notación escalar, el modelo ajustado es

La diferencia entre la observación real y_¡ y el valor ajustado correspondiente y'_¡ es el residual, es decir, e_i = y_¡ - y'_¡. El vector (n x 1) de los residuales se denota por

Estimación de σ²

Por lo general también es necesario estimar σ². Para desarrollar un estimador de este parámetro, considere la suma de cuadrados de los residuales, por ejemplo

A la ecuación 10-16 se le llama la suma de cuadrados residual o del error, y tiene n - p grados de libertad asociados con ella. Puede demostrarse que

Propiedades de los estimadores

El método de mínimos cuadrados produce un estimador insesgado del parámetro β del modelo de regresión lineal. Esto puede demostrarse fácilmente tomando el valor esperado de β de la siguiente manera:

EJEMPLO 10.1

En la tabla 10-2 se muestran 16 observaciones de la viscosidad de un polímero (y) y dos variables del proceso: la temperatura de reacción (x₁) y la velocidad de alimentación del catalizador (_x2). Se ajustará el modelo de regresión lineal múltiple

En las tres primeras columnas de la tabla 10-3 se presentan las observaciones reales y_i, los valores predichos o ajustados y_i y los residuales. La figura 10-1 es una gráfica de probabilidad normal de los residuales. Las gráficas de los residuales contra los valores predichos y_i y contra las dos variables x₁ y x₂ se muestran en las figuras 10-2, 10-3 Y10-4, respectivamente. Como en los experimentos diseñados, la graficación de los residuales forma parte integral de la construcción de modelos de regresión. Estas gráficas indican que en la varianza de la viscosidad observada existe una tendencia a incrementarse con la magnitud de la viscosidad. La figura 10-3 sugiere que la variabilidad de la viscosidad aumenta cuando se incrementa la temperatura.

Uso de la computadora

El ajuste de los modelos de regresión casi siempre se hace por medio de un paquete de software de estadística. En la tabla 10-4 se muestra la salida obtenida cuando se usa el programa Minitab para ajustar el modelo de regresión de la viscosidad del ejemplo 10-1. Muchas de las cantidades de esta salida deberán ser familiares, ya.que sus significados son similares a las cantidades de las salidas de computadora para el análisis de datos de experimentos diseñados. Se han visto ya muchas salidas de computadora como ésta en este libro. En secciones subsecuentes se revisará en detalle el análisis de varianza y la información de la prueba t de la tabla 10-4 y se indicará de manera pormenorizada cómo se calcularon estas cantidades.

Ajuste de modelos de regresión en experimentos diseñados

Se ha usado con frecuencia un modelo de regresión para presentar los resultados de un experimento diseñado en una forma cuantitativa. Se ofrece ahora un ejemplo completo donde se indica cómo se hace esto.

Se presentan enseguida otros tres ejemplos breves que ilustran otras aplicaciones útiles del análisis de regresión en los experimentos diseñados

EJEMPLO 10-2 

Análisis de regresión de un diseño factorial 2³

Un ingeniero químico está investigando el rendimiento de un proceso. Tres de las variables del proceso son de interés: la temperatura, la presión y la concentración del catalizador. Cada variable puede correrse en un nivel bajo y uno alto, y el ingeniero decide correr un diseño 2³ con cuatro puntos centrales. En la figura 10-5 se muestra el diseño y los rendimientos resultantes, donde se presentan tanto los niveles naturales del diseño como la notación de variables codificadas +1, -1 que se utiliza normalmente en los diseños factoriales 2^k para representar los niveles de los factores.

Suponga que el ingeniero decide ajustar un modelo que sólo incluye los efectos principales, por ejemplo

Para este modelo, la matriz X y el vector y son

Es sencillo demostrar que

Puesto que X'X es diagonal, el inverso que se requiere también es diagonal, y las estimaciones de mínimos cuadrados de los coeficientes de regresión son

El modelo de regresión ajustado es

Como se ha hecho uso de ellos en muchas ocasiones, los coeficientes de regresión guardan una estrecha relación con las estimaciones de los efectos que se obtendrían por el análisis usual de un diseño 2ⁿ. Por ejemplo, el efecto de la temperatura es (referirse a la figura 10-5)

Observe que el coeficiente de regresión de x₁ es

Es decir, el coeficiente de regresión es exactamente la mitad de la estimación usual del efecto. Esto siempre se cumplirá para un diseño 2^k. Como se señaló antes, en los capítulos 6 al 8 se empleó este resultado para producir modelos de regresión, valores ajustados y residuales en varios experimentos de dos niveles.

Este ejemplo demuestra que las estimaciones de los efectos de un diseño 2^k son estimaciones de mínimos cuadrados.

En el ejemplo 10-2 es sencillo obtener la matriz inversa porque X'X es diagonal. Intuitivamente, esto parece ofrecer ventajas, no sólo porque los cálculos se simplifican sino también porque los estimadores de todos los coeficientes de regresión no están correlacionados, es decir, Cov(β_i,β_j) = 0. Si los niveles de las variables x pueden elegirse antes de recabar los datos, quizá sea deseable diseñar el experimento de tal modo que resulte una X'X diagonal.

En la práctica puede ser relativamente sencillo conseguir esto. Se sabe que los elementos de X'X que están fuera de la diagonal son las sumas de los productos cruzados de las columnas en X. Por lo tanto, es necesario hacer que el producto interior de las columnas de X sean iguales a cero; es decir, estas columnas deben ser ortogonales. A los diseños experimentales que poseen esta propiedad para ajustar un modelo de regresión se les llama diseños ortogonales. En general, el diseño factorial 2^k es un diseño ortogonal para ajustar el modelo de regresión lineal múltiple.

Los métodos de regresión son en extremo útiles cuando algo "sale mal" en un experimento diseñado.

Esto se ilustra en los dos ejemplos siguientes.

EJEMPLO 10-3

Un diseño factorial 2³ con una observación faitante

Considere el diseño factorial 2³ con cuatro puntos centrales del ejemplo 10-2. Suponga que cuando se realizó este experimento, faltó la corrida con todas las variables en el nivel alto (la corrida 8 de la figura 10-5).

Esto puede ocurrir por varias razones: el sistema de medición puede producir una lectura incorrecta, la combinación de los niveles 'de los factores quizá no sea la apropiada, la unidad experimental puede estar dañada, etcétera.

Se ajustará el modelo de los efectos principales

utilizando las 11 observaciones restantes. La matriz X y el vector y son

Para estimar los parámetros del modelo se forman

y entonces

Por lo tanto, el modelo ajustado es

Compare este modelo con el que se obtuvo en el ejemplo 10-2, donde se usaron las 12 observaciones. Los coeficientes de regresión son muy similares. Debido a la estrecha relación entre los coeficientes de regresión y los efectos de los factores, las conclusiones no sufrirían una alteración sustancial por la observación faltante. Sin embargo, observe que las estimaciones de los efectos han dejado de ser ortogonales, ya que (X'X) y su inversa ya no son diagonales.

EJEMPLO 1O-4 .

Niveles imprecisos de los factores del diseño

Cuando se corre un experimento diseñado, en ocasiones es difícil alcanzar y mantener los niveles precisos de los factores requeridos por el diseño. Las discrepancias pequeñas no son importantes, pero las grandes son motivo de preocupación potencial. Los métodos de regresión son útiles en el análisis de un experimento diseñado cuando el experimentador no ha podido obtener los niveles requeridos de los factores.

Para ilustrar, el experimento de la tabla 10-5 presenta una variación del diseño 2³ del ejemplo 10-2, donde muchas de las combinaciones de prueba no son exactamente las que se especifican en el diseño.

Las dificultades parecen haber ocurrido sobre todo con la variable temperatura.

Se ajustará el modelo de los efectos principales

La matriz X y el vector y son

Para estimar los parámetros del modelo se necesitan

Entonces

El modelo de regresión ajustado, con los coeficientes reportados con dos cifras decimales, es

Al comparar este resultado con el modelo original del ejemplo 10-2, donde los niveles de los factores fueron exactamente los que se especificaron en el diseño, se observa muy poca diferencia. La interpretación práctica de los resultados de este experimento no sufriría alteraciones sustanciales por la incapacidad del experimentador para alcanzar exactamente los niveles deseados de los factores.

EJEMPLO 10-5

Separación de alias de interacciones en un diseño factorial fraccionado

En el capítulo 8 se señaló la posibilidad de separar los alias de las interacciones de un diseño factorial fraccionado mediante el proceso llamado doblez o plegado. Para un diseño de resolución III, un plegado completo se construye corriendo'una segunda fracción en la que los signos están invertidos respecto de los signos de la fracción original. Entoncesel diseño combinado puede usarse para separar los alias de todos los efectos principales de las interacciones de dos factores.

Una dificultad con el plegado es que requiere un segundo grupo de corridas de tamaño idéntico al del diseño original. Por lo general es posible separar los alias de ciertas interacciones de interés aumentando el diseño original con un número de corridas menor que las que se requieren en un plegado completo. Los métodos de regresión son una forma fácil de formular este problema y de ver cómo puede resolverse.

Para ilustrar, suponga que se ha corrido un diseño 2^4-1_IV. En la tabla 8-3 se muestra la fracción principal de este diseño, en la que I =AECD. Suponga que después de que se observaron los datos de los ocho primeros ensayos, los efectos más grandes fueron A, B, C, D (se ignoran las interacciones de tres factores que son alias de estos efectos principales), y la cadena de alias AB + CD. Las otras dos cadenas de alias pueden ignorarse, pero es claro que AB o CD o ambas interacciones de dos factores son grandes. Para dilucidar cuáles son las interacciones importantes podría, desde luego, correrse la fracción alterna, para lo cual se requerirían otros ocho ensayos. Entonces las 16 corridas podrían usarse para estimar los efectos principales y las interacciones de dos factores.

Es posible separar los alias de AB y CD en un número de ensayos adicionales menor que ocho. Suponga que quiere ajustarse el modelo

donde x₁, x₂, x₃ y x₄ son las variables codificadas que representan a A, B, C y D. Utilizando el diseño de la tabla 8-3, la matriz X de este modelo es

donde se han anotado las variables arriba de las columnas a fin de facilitar la comprensión, Observe que la columna x₁x₂ es idéntica a la columna x₃x₄ (como se anticipaba, ya que AB o x₁x₂ es alias de CD o x₃x₄)' lo cual implica una dependencia lineal en las columnas de X. Por lo tanto, no pueden estimarse tanto β₁₂ como β₃₄ en el modelo. Sin embargo, suponga que se agrega la corrida única x₁=-1, x₂=-1, x₃=-1 y x₄=1 de la fracción alterna a las ocho corridas originales. Entonces la matriz X del modelo queda como

Observe que ahora las columnas x₁x₂ y x₃x₄ ya no son idénticas, y el modelo puede ajustarse incluyendo a las dos interacciones x₁x₂(AB) y x₃x₄(CD). Las magnitudes de los coeficientes de regresión brindarán información respecto a cuáles son las interacciones importantes.

Aun cuando al agregar una sola corrida se separarán los alias de las interacciones AB y CD, este enfoque tiene una desventaja. Suponga que existe un efecto de tiempo (o un efecto de bloque) entre las ocho primeras corridas y la última corrida que se agregó arriba. Al agregarse una columna a la matriz X para los bloques, se obtiene lo siguiente:

Se ha supuesto que el factor del bloque estaba en el nivel bajo o "-" durante las ocho primeras corridas, y en el nivel alto o "+" durante la novena corrida. Es sencillo ver que la suma de los productos cruzados de cada columna con la columna del bloque no es cero, lo cual significa que los bloques han dejado de ser ortogonales para los tratamientos, o que el efecto del bloque afecta ahora a las estimaciones de los coeficientes de regresión del modelo. Para conseguir la ortogonalidad de los bloques, debe agregarse un número par de corridas. Por ejemplo, con las cuatro corridas Se ha supuesto que el factor del bloque estaba en el nivel bajo o "-" durante las ocho primeras corridas, y en el nivel alto o "+" durante la novena corrida. Es sencillo ver que la suma de los productos cruzados de cada columna con la columna del bloque no es cero, lo cual significa que los bloques han dejado de ser ortogonales para los tratamientos, o que el efecto del bloque afecta ahora a las estimaciones de los coeficientes de regresión del modelo. Para conseguir la ortogonalidad de los bloques, debe agregarse un número par de corridas. Por ejemplo, con las cuatro corridas se separarán los alias de AB de CD y permitirán que los bloques sean ortogonales (esto puede verse desarrollando la matriz X como se hizo anteriormente).

En general, suele ser directo el examen de la matriz X del modelo reducido que se obtiene de un diseño factorial fraccionado, así como la determinación de cuáles son las corridas que habrán de aumentarse en el diseño original para separar los alias de las interacciones de interés potencial. Además, el impacto de las estrategias específicas para aumentar el diseño puede evaluarse utilizando los resultados generales de los modelos de regresión que se presentan más adelante en este capítulo. Se cuenta también con métodos basados en computadora para construir diseños que pueden ser útiles en el aumento del diseño para separar los alias de los efectos. Estos diseños generados por computadora se revisarán en el capítulo siguiente.