Все формулы РФ

Математика / Матрицы, определители

Проектор на span(Q)

Проецирование на пространство столбцов Q удобно через матрицу QQ^T. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

Опубликовано: Обновлено:

Линейная алгебраЕсть историческая справкаАлгебраГеометрияАнализ данных

Формула

$$P=QQ^{\top},\quad P^2=P,\quad P^{\top}=P$$
projection-subspace-orthonormal Геометрия проектатора

Проектор отбрасывает компоненту перпендикулярно span(Q).

Px лежит в span(Q).

Обозначения

$P$
ортогональный проектор, матрица
$Q$
ортонормированная матрица, матрица

Условия применения

  • Q^TQ=I

Ограничения

  • если Q неортонормальна, свойство проекторности нарушается

Подробное объяснение

Проектор на span(Q) задает конкретную связь между величинами: P - ортогональный проектор (матрица); Q - ортонормированная матрица (матрица). Запись P=QQ^{\top},\quad P^2=P,\quad P^{\top}=P показывает, какие данные входят в расчет и какая величина получается на выходе. Поэтому сначала нужно определить смысл каждого символа, а уже затем выполнять арифметику или алгебраическое преобразование. Идея формулы опирается на определение или модель из темы «linear-algebra». В простых случаях результат получается прямой подстановкой, а в более сложных - после выбора корректного диапазона, направления, знака, интервала или базовой величины. Если поменять исходное допущение, меняется и интерпретация ответа, даже когда сама запись формулы выглядит той же. Поведение результата нужно проверять по зависимости от входных данных. Если один множитель растет, итог может увеличиваться пропорционально; если величина стоит в знаменателе, рост этой величины уменьшает результат; если используются степени, площади, объемы, вероятности или проценты, эффект становится нелинейным. Такая проверка помогает заметить ошибку знака, единиц или масштаба еще до окончательного ответа. На практике проектор на span(q) используют для расчетной проверки, сравнения сценариев и объяснения, почему полученное число имеет именно такой порядок. В учебной задаче это дает ход решения, в отчете - прозрачный контроль исходных данных, а в прикладной модели - понятную связь между формулой и решением. Перед подстановкой полезно отдельно записать условия: какие величины известны, какие единицы используются, нет ли деления на ноль, отрицательных значений там, где они невозможны, или смешения относительных и абсолютных показателей. После вычисления ответ проверяют обратной подстановкой, оценкой размерности или сравнением с крайним случаем.

Как пользоваться формулой

  1. Соберите Q из QR.
  2. Постройте P=QQ^T.
  3. Вычислите Px и проверьте P^T=P.
  4. После вычисления проверьте одновременно два равенства: Q^T Q=I и QR=A с допустимой численной погрешностью.

Историческая справка

Матрицы вида QQ^T — стандартный инструмент ортогональной геометрии и линейных регрессий. Ортогонализация как вычислительная идея выросла из работ по векторам, проекциям и методу наименьших квадратов. В современном виде QR-разложение стало особенно важным после появления машинных вычислений, когда стало ясно, что нормальные уравнения могут ухудшать обусловленность. Методы Грама-Шмидта, Хаусхолдера и Гивенса дали разные способы получить ту же структуру Q и R, но с разной численной устойчивостью. В послевоенной численной математике ортогональные разложения стали одним из ответов на ограниченную точность машинных вычислений. QR-разложение оказалось удобным компромиссом: оно сохраняет геометрию задачи и приводит ее к треугольной системе, которую можно надежно решать.

Историческая линия формулы

Формы проекторов применяются начиная с теории ортогональных преобразований. Связь с процессом Грама-Шмидта относится к построению ортонормированного базиса. Современная вычислительная роль QR-разложения сформировалась в численной линейной алгебре XX века и не сводится к одному автору.

Пьер-Симон Лаплас 1749-1827

Пример

Q=(3/5,4/5)^T. P=[[9/25,12/25],[12/25,16/25]], Px=(2,-1)= (6/25,8/25). В вычислительном примере для "Проектор на span(Q)" важно контролировать два свойства одновременно. Во-первых, столбцы Q должны иметь единичную длину и быть попарно ортогональны, то есть Q^T Q близко к единичной матрице. Во-вторых, произведение QR должно восстанавливать исходную матрицу A с допустимой погрешностью. Если первое свойство выполнено, но A не восстанавливается, ошибка вероятна в коэффициентах R. Если A восстанавливается, но Q^T Q заметно отличается от I, разложение может быть непригодным для устойчивых расчетов.

Частая ошибка

Использовать Q^TQ вместо QQ^T при вычислении проекции. Частая ошибка - воспринимать QR как обычное разложение на любые две матрицы. Смысл QR именно в ортонормированности Q и верхнетреугольности R. Также нельзя забывать, что классический процесс Грама-Шмидта может быть численно нестабилен для почти зависимых столбцов; в практических вычислениях часто используют модифицированный вариант, отражения Хаусхолдера или вращения Гивенса.

Практика

Задачи с решением

Проверить идемпотентность

Условие. P=[[1,0],[0,0]]

Решение. P^2=P.

Ответ. идентично P

Проекция на линию

Условие. Q=(0,1)^T, x=(3,2)

Решение. P=diag(0,1), Px=(0,2)

Ответ. (0,2)

Дополнительные источники

  • Strang, Linear Algebra and Its Applications
  • Golub & Van Loan, Matrix Computations
  • MIT OCW 18.06SC Projections
  • Gilbert Strang. Introduction to Linear Algebra, Wellesley-Cambridge Press
  • Sheldon Axler. Linear Algebra Done Right, Springer

Связанные формулы

Математика

Формула QR-разложения

$A = QR,\quad Q^{\top}Q=I_r,\quad R \text{ верхнетреугольная}$

Матрица A раскладывается в произведение ортонормированной матрицы Q и верхнетреугольной R. Эта формула относится к ортогонализации столбцов матрицы и объясняет, как заменить исходный набор векторов ортонормированным базисом с верхнетреугольными коэффициентами перехода.

Математика

Наименьшие квадраты через QR

$\hat{x}=R^{-1}Q^{\top}b,\quad A=QR$

После QR-раскладывания задача минимизации сводится к решению треугольной системы. Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.

Математика

Остаток в задаче ЛС и его ортогональность

$r=b-A\hat{x},\quad A^T r=0,\quad Q^T r=0$

Оптимальный LS-решение дает остаток, перпендикулярный всем столбцам A (и столбцам Q). Формула показывает устойчивый способ работать с задачей наименьших квадратов через ортогональную геометрию, а не через прямое обращение матрицы или слепое использование нормальных уравнений.

Математика

Расстояние до подпространства через проекцию

$\operatorname{dist}(x,W)=\|x-\operatorname{proj}_{W}x\|$

Расстояние от вектора x до подпространства W равно длине ортогонального остатка после проекции x на W. Проекция дает ближайший вектор внутри W.