Mínimos cuadrados es un procedimiento de las matemáticas para estimar una función o parámetros a partir de un conjunto de observaciones. El objetivo es elegir la función o los parámetros que minimicen la suma de los cuadrados de las discrepancias entre los valores observados y los valores predichos (los residuos). Elevar al cuadrado las discrepancias garantiza que sean no negativas y penaliza más los errores grandes.

Idea básica

  • Se dispone de datos empíricos (x, y).
  • Se especifica una familia de funciones o un modelo dependiente de parámetros (por ejemplo, recta y = a + bx).
  • Se calculan las diferencias entre observaciones y predicciones y se suma su cuadrado.
  • Se eligen los parámetros que minimizan esa suma (criterio de mínimos cuadrados).

Tipos principales

  • Mínimos cuadrados ordinarios (OLS): caso lineal simple donde la solución suele obtenerse por ecuaciones normales.
  • Mínimos cuadrados ponderados: cada discrepancia se multiplica por un peso, útil cuando las observaciones tienen varianzas distintas.
  • Mínimos cuadrados generalizados (GLS): extiende GLS para datos correlacionados o con estructura de varianza no constante.
  • Mínimos cuadrados no lineales: el modelo depende de los parámetros de forma no lineal; se usan métodos iterativos como Gauss–Newton o Levenberg–Marquardt.

Formulación lineal y forma matricial

En el caso lineal con parámetros β y matriz de diseño X, las observaciones y satisfacen aproximadamente y ≈ Xβ. El estimador de mínimos cuadrados satisface las ecuaciones normales XᵀXβ = Xᵀy. Si XᵀX es invertible, la solución explícita es β̂ = (XᵀX)⁻¹Xᵀy.

Esta formulación matricial permite analizar la existencia, unicidad y estabilidad de la solución, así como implementar procedimientos numéricos eficientes para conjuntos de datos grandes.

Supuestos y propiedades

  • Con supuestos clásicos (modelo lineal correcto, errores con media cero, homocedasticidad, no autocorrelación y rango completo de X), el estimador de mínimos cuadrados es insesgado y eficiente entre estimadores lineales: es el resultado del teorema de Gauss–Markov.
  • Si las varianzas o correlaciones de los errores no se cumplen, OLS puede seguir siendo consistente pero no eficiente; entonces conviene usar formas ponderadas o generalizadas.
  • Los mínimos cuadrados son sensibles a valores atípicos; en presencia de outliers se prefieren métodos robustos.

Usos y aplicaciones

  • Regresión estadística y modelado predictivo (estimación de relaciones entre variables).
  • Ajuste de curvas y funciones en ciencias experimentales e ingeniería.
  • Geodesia y astronomía para determinación de órbitas y posiciones (aplicación histórica importante).
  • Procesamiento de señales y aprendizaje automático (por ejemplo, regresión lineal y componentes principales).

Historia breve

El método se popularizó a principios del siglo XIX. Carl Friedrich Gauss afirmó haber usado la idea desde 1795 y la aplicó en trabajos sobre la determinación de órbitas, empleándola para recuperar el asteroide 1 Ceres. Gauss publicó desarrollos sobre el tema en obras posteriores. Adrien‑Marie Legendre introdujo de forma explícita el método en una publicación de 1805, y Pierre‑Simon Laplace contribuyó con ideas relacionadas en el marco de la teoría de la probabilidad.

Problemas numéricos y extensiones

  • Cuando XᵀX está mal condicionada, la solución puede ser numéricamente inestable; se usan métodos de regularización como ridge (penalización L2) o descomposiciones numéricas estables (SVD).
  • Para datos con outliers o errores no gaussianos, existen alternativas robustas (p. ej. regresión por cuantiles, estimadores M).
  • En problemas no lineales se emplean algoritmos iterativos y se estudia la convergencia y la dependencia de la condición inicial.

Lecturas adicionales

Los mínimos cuadrados conectan teoría matemática, estadística y métodos numéricos. Para profundizar conviene revisar textos sobre regresión, análisis numérico y la historia de la astronomía y la geodesia, que muestran su importancia práctica y sus limitaciones.