Прикладная линейная алгебра для исследователей данных – Коэн M. И

От издательства…………………….12
Об авторе………………………..13
Колофон………………………..14
Предисловие………………………15
Глава 1. Введение ……………………17
Что такое линейная алгебра и зачем ее изучать? ………….17
Об этой книге……………………….18
Предварительные требования …………………19
Математика……………………….19
Отношение……………………….19
Программирование ……………………20
Математические доказательства в противовес интуитивному
пониманию на основе программирования ……………20
Рабочий код в книге и предназначенный для скачивания онлайн …..22
Упражнения по программированию ………………22
Как пользоваться этой книгой (для учителей и самообучающихся) …..23
Глава 2. Векторы. Часть 1 ………………..24
Создание и визуализация векторов в NumPy…………..24
Геометрия векторов……………………27
Операции на векторах……………………28
Сложение двух векторов………………….28
Вычитание двух векторов………………….29
Геометрия сложения и вычитания векторов…………..30
Умножение вектора на скаляр………………..31
Сложение скаляра с вектором………………..32
Геометрия умножения вектора на скаляр……………32
Транспонирование ……………………33
Транслирование векторов в Python ……………..34
Модуль вектора и единичные векторы……………..35
Точечное произведение векторов ……………….36
Точечное произведение является дистрибутивным ……….38
Геометрия точечного произведения……………..39
Другие умножения векторов…………………40
Адамарово умножение…………………..40
Внешнее произведение…………………..41
Перекрестное и тройное произведения…………….42
Ортогональное разложение векторов………………42
Резюме ………………………….46
Упражнения по программированию ………………46
Глава 3. Векторы. Часть 2 ………………..49
Множества векторов…………………….49
Линейно-взвешенная комбинация ……………….50
Линейная независимость …………………..51
Математика линейной независимости …………….53
Независимость и вектор нулей……………….54
Подпространство и охват…………………..54
Базис…………………………..57
Определение базиса ……………………60
Резюме ………………………….61
Упражнения по программированию ………………62
Глава 4. Применения векторов………………64
Корреляция и косинусное сходство……………….64
Фильтрация временных рядов и обнаружение признаков ………67
Кластеризация методом k-средних ………………68
Упражнения по программированию ………………71
Упражнения по корреляции…………………71
Упражнения по фильтрации и обнаружению признаков……..73
Упражнения по алгоритму k-средних …………….75
Глава 5. Матрицы. Часть 1………………..76
Создание и визуализация матриц в NumPy……………76
Визуализация, индексация и нарезка матриц ………….76
Специальные матрицы…………………..78
Матричная математика: сложение, умножение на скаляр, адамарово
умножение ………………………..80
Сложение и вычитание …………………..80
«Сдвиг» матрицы …………………….81
Умножение на скаляр и адамарово умножение…………82
Стандартное умножение матриц………………..82
Правила допустимости умножения матриц…………..83
Умножение матриц……………………84
Умножение матрицы на вектор……………….85
Линейно-взвешенные комбинации …………….86
Результаты геометрических преобразований …………86
Матричные операции: транспонирование ……………88
Обозначение точечного и внешнего произведений ……….88
Матричные операции: LIVE EVIL (порядок следования операций)…..89
Симметричные матрицы…………………..89
Создание симметричных матриц из несимметричных ………90
Резюме ………………………….91
Упражнения по программированию ………………92
Глава 6. Матрицы. Часть 2………………..97
Нормы матриц………………………97
След матрицы и норма Фробениуса ……………..99
Пространства матрицы (столбцовое, строчное, нуль-пространство)….100
Столбцовое пространство…………………100
Строчное пространство………………….104
Нуль-пространства ……………………104
Ранг ………………………….108
Ранги специальных матриц ………………..110
Ранг сложенных и умноженных матриц ……………112
Ранг сдвинутых матриц ………………….113
Теория и практика ……………………113
Применения ранга …………………….114
В столбцовом пространстве ………………..115
Линейная независимость множества векторов …………116
Определитель ………………………117
Вычисление определителя …………………117
Определитель с линейными зависимостями ………….119
Характеристический многочлен ………………119
Резюме …………………………121
Упражнения по программированию ……………..123
Глава 7. Применения матриц ………………128
Матрицы ковариаций многопеременных данных …………128
Геометрические преобразования посредством умножения матриц
на векторы………………………..131
Обнаружение признаков изображения …………….135
Резюме …………………………138
Упражнения по программированию ……………..138
Упражнения по матрицам ковариаций и корреляций ………138
Упражнения по геометрическим преобразованиям……….140
Упражнения по обнаружению признаков изображения ……..142
Глава 8. Обратные матрицы……………….144
Обратная матрица …………………….144
Типы обратных матриц и условия обратимости………….145
Вычисление обратной матрицы ……………….146
Обратная матрица матрицы 2×2 ………………146
Обратная матрица диагональной матрицы ………….148
Инвертирование любой квадратной полноранговой матрицы …..149
Односторонние обратные матрицы ……………..151
Уникальность обратной матрицы ……………….153
Псевдообратная матрица Мура–Пенроуза ……………154
Численная стабильность обратной матрицы …………..155
Геометрическая интерпретация обратной матрицы ………..156
Резюме …………………………158
Упражнения по программированию ……………..158
Глава 9. Ортогональные матрицы и QR-разложение……162
Ортогональные матрицы………………….162
Процедура Грама–Шмидта ………………….164
QR-разложение………………………165
Размеры матриц Q и R ………………….166
Почему матрица R является верхнетреугольной……….168
QR и обратные матрицы………………….169
Резюме …………………………169
Упражнения по программированию ……………..170
Глава 10. Приведение строк и LU-разложение………174
Системы уравнений…………………….174
Конвертирование уравнений в матрицы……………175
Работа с матричными уравнениями……………..176
Приведение строк …………………….178
Метод устранения по Гауссу………………..180
Метод устранения по Гауссу–Жордану…………….181
Обратная матрица посредством метода устранения
по Гауссу–Жордану ……………………182
LU-разложение ………………………183
Взаимообмен строками посредством матриц перестановок ……185
Резюме …………………………186
Упражнения по программированию ……………..186
Глава 11. Общие линейные модели и наименьшие
квадраты……………………….189
Общие линейные модели………………….190
Терминология……………………..190
Настройка общей линейной модели……………..190
Решение общих линейных моделей………………192
Является ли решение точным? ……………….193
Геометрическая перспектива наименьших квадратов………194
В чем причина работы метода наименьших квадратов? ……..195
Общая линейная модель на простом примере………….197
Наименьшие квадраты посредством QR-разложения ……….201
Резюме …………………………202
Упражнения по программированию ……………..203
Глава 12. Применения метода наименьших квадратов….207
Предсказывание количеств велопрокатов на основе погоды…….207
Регрессионная таблица с использованием библиотеки statsmodels …212
Мультиколлинеарность………………….213
Регуляризация……………………..213
Полиномиальная регрессия…………………215
Поиск в параметрической решетке для отыскания модельных
параметров……………………….218
Резюме …………………………220
Упражнения по программированию ……………..221
Упражнения по аренде велосипедов …………….221
Упражнения по мультиколлинеарности ……………222
Упражнения по регуляризации ……………….223
Упражнение по полиномиальной регрессии………….224
Упражнения по поиску в параметрической решетке……….225
Глава 13. Собственное разложение……………227
Интерпретации собственных чисел и собственных векторов …….228
Геометрия……………………….228
Статистика (анализ главных компонент) …………..229
Подавление шума ……………………230
Уменьшение размерности (сжатие данных)………….231
Отыскание собственных чисел ………………..231
Отыскание собственных векторов ………………234
Неопределенность собственных векторов по знаку и шкале ……235
Диагонализация квадратной матрицы …………….236
Особая удивительность симметричных матриц………….238
Ортогональные собственные векторы……………..238
Действительно-значные собственные числа ………….240
Собственное разложение сингулярных матриц………….241
Квадратичная форма, определенность и собственные числа…….243
Квадратичная форма матрицы……………….243
Определенность …………………….245
AT
A является положительной (полу)определенной……….245
Обобщенное собственное разложение ……………..246
Резюме …………………………248
Упражнения по программированию ……………..249
Глава 14. Сингулярное разложение……………254
Общая картина сингулярного разложения ……………254
Сингулярные числа и ранг матрицы……………..256
Сингулярное разложение на Python ………………256
Сингулярное разложение и одноранговые «слои» матрицы……..257
Сингулярное разложение из собственного разложения………259
Сингулярное разложение матрицы АТ
А ……………260
Конвертация сингулярных чисел в дисперсию: объяснение ……260
Кондиционное число…………………..261
Сингулярное разложение и псевдообратная матрица Mура–Пенроуза…262
Резюме …………………………263
Упражнения по программированию ……………..264
Глава 15. Применения собственного и сингулярного
разложений ………………………268
Анализ главных компонент с использованием собственного
и сингулярного разложений…………………268
Математика анализа главных компонент …………..269
Шаги выполнения PCA………………….271
PCA посредством сингулярного разложения………….272
Линейный дискриминантный анализ ……………..273
Низкоранговая аппроксимация посредством сингулярного разложения..275
Сингулярное разложение для шумоподавления…………276
Резюме …………………………276
Упражнения ……………………….277
Анализ главных компонент (PCA)………………277
Линейный дискриминантный анализ (LDA) ………….281
Сингулярное разложение для низкоранговых аппроксимаций…..285
Сингулярное разложение для шумоподавления в изображениях ….287
Глава 16. Краткое руководство по языку Python……..291
Почему Python и какие есть альтернативы?…………..291
Интерактивные среды разработки………………292
Использование Python локально и онлайн……………292
Работа с файлами исходного кода в Google Colab………..293
Переменные……………………….294
Типы данных ……………………..296
Индексация………………………297
Функции ………………………..297
Методы в качестве функций ………………..299
Написание своих собственных функций ……………299
Библиотеки ………………………301
NumPy………………………..301
Индексация и нарезка в NumPy……………….302
Визуализация………………………303
Переложение формул в исходный код……………..305
Форматирование печати и F-строки………………308
Поток управления …………………….309
Компараторы……………………..309
Инструкции if ……………………..310
Инструкции elif и else ………………….310
Несколько условий …………………..311
Циклы for……………………….312
Вложенные инструкции управления …………….312
Измерение времени вычислений……………….313
Получение помощи и приобретение новых знаний ………..313
Что делать, когда дела идут наперекосяк……………314
Резюме …………………………314
Дополнение А. Теорема о ранге и нульности……….315
Тематический указатель ………………..317