SVD-разложение матриц

Введение

SVD (сингулярное разложение, от англ. Singular Value Decomposition) — это представление матрицы в виде произведения трех матриц: ортогональной (или унитарной) матрицы, диагональной матрицы и ещё одной ортогональной (или унитарной) матрицы. SVD-разложение является важным инструментом в линейной алгебре и используется в различных областях, включая обработку изображений, уменьшение размерности данных и решение систем линейных уравнений.

Операция

Для любой матрицы $A$ размера $m \times n$ существует разложение:

A = U \Sigma V^T

где:

$U$ — ортогональная (или унитарная) матрица размера $m \times m$
$\Sigma$ — диагональная матрица размера $m \times n$ с сингулярными числами на диагонали
$V$ — ортогональная (или унитарная) матрица размера $n \times n$

Свойства

Ортогональность: Матрицы $U$ и $V$ ортогональны, то есть $U^TU = I$ и $V^TV = I$ .
Сингулярные числа: Диагональные элементы $\Sigma$ называют сингулярными числами матрицы $A$ . Они всегда неотрицательны и упорядочены по убыванию.
Инвариантность нормы: Норма Фробениуса матрицы $A$ равна норме матрицы $\Sigma$ , то есть $\|A\|_F = \|\Sigma\|_F$ .
Ранг матрицы: Количество ненулевых сингулярных чисел равно рангу матрицы $A$ .

Примеры использования

Пример 1: Матрица 2x2

Пусть $A$ - матрица размера $2 \times 2$ :

A = \begin{pmatrix} 3 & 1 \\ 1 & 3 \end{pmatrix}

Пример SVD-разложения:

U = \begin{pmatrix} \frac{\sqrt{2}}{2} & \frac{\sqrt{2}}{2} \\ \frac{\sqrt{2}}{2} & -\frac{\sqrt{2}}{2} \end{pmatrix}, \quad \Sigma = \begin{pmatrix} 4 & 0 \\ 0 & 2 \end{pmatrix}, \\ V = \begin{pmatrix} \frac{\sqrt{2}}{2} & \frac{\sqrt{2}}{2} \\ \frac{\sqrt{2}}{2} & -\frac{\sqrt{2}}{2} \end{pmatrix}

Таким образом:

A = U \Sigma V^T

Пример 2: Матрица 3x3

Пусть $A$ - матрица размера $3 \times 3$ :

A = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{pmatrix}

Пример SVD-разложения:

U = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}, \quad \Sigma = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{pmatrix}, \\ V = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}

Таким образом:

A = U \Sigma V^T

Часто задаваемые вопросы (FAQ)

Что такое сингулярное разложение?
- Сингулярное разложение (SVD) — это представление матрицы в виде произведения трех других матриц, что позволяет легко исследовать её структуру и свойства.
В чем преимущества SVD-разложения?
- SVD-разложение позволяет уменьшить размерность данных, улучшить численную устойчивость вычислений, использовать его для сжатия изображений и многого другого.

Примеры из жизни

Обработка изображений: SVD используется для сжатия изображений, уменьшения размерности данных и удаления шума.
Рекомендательные системы: В фильтрации и анализе данных для рекомендаций, например, в Netflix, для персонализации рекомендаций фильмов на основе предпочтений пользователей.
Биоинформатика: Анализ данных микрочипов и геномной информации, где важно выявление подпространств и снижение размерности.

Ссылки на литературу и ресурсы

Учебники и литература:
- Тыртышников Е. Е. «Матричный анализ и линейная алгебра»
- Курош А. Г. «Курс высшей алгебры»
Онлайн курсы: