Метод найменших квадратів є одним із найважливіших застосувань у наближенні функцій. Ідея полягає в тому, щоб знайти криву такою, щоб, задавши набір упорядкованих пар, ця функція найкраще наближала дані. Функцією може бути лінія, квадратична крива, кубічна тощо.
Ідея методу полягає у мінімізації суми квадратів різниць у ординаті (компонент Y), між точками, генерованими вибраною функцією, і точками, що належать до набору даних.
Метод найменших квадратів
Перш ніж дати метод, ми повинні спершу зрозуміти, що означає «кращий підхід». Припустимо, що ми шукаємо пряму y = b + mx, яка найкраще представляє набір з n точок, а саме {(x1, y1), (x2, y2)…, (xn, yn)}.
Як показано на попередньому малюнку, якби змінні x і y були пов'язані лінією y = b + mx, то для x = x1 відповідне значення y було б b + mx1. Однак це значення відрізняється від справжнього значення y, яке y = y1.
Пам'ятайте, що в площині відстань між двома точками задається наступною формулою:
Зважаючи на це, для визначення способу вибору прямої y = b + mx, який найкраще наближає дані дані, представляється логічним використання в якості критерію вибору рядка, який мінімізує суму квадратів відстаней між точками і прямий.
Оскільки відстань між точками (x1, y1) та (x1, b + mx1) y1- (b + mx1), наша задача зводиться до знаходження чисел m і b таким, що наступна сума мінімальна:
Рядок, що відповідає цій умові, відомий як «наближення лінії найменших квадратів до точок (x1, y1), (x2, y2),…, (xn, yn)».
Після того, як проблема буде отримана, залишається лише вибрати метод для знаходження наближення найменших квадратів. Якщо точки (x1, y1), (x2, y2),…, (xn, yn) всі знаходяться на прямій y = mx + b, у нас було б, що вони колінеарні y:
У цьому виразі:
Нарешті, якщо точки не колінеарні, то y-Au = 0 і задачу можна перевести у пошук вектора u такий, що норма Евкліда мінімальна.
Знайти мінімізуючий вектор u не так складно, як можна подумати. Оскільки A - матриця nx2, а u - матриця 2 × 1, ми маємо, що вектор Au є вектором в R n і належить зображенню A, що є підпростором R n з розмірністю не більше двох.
Будемо вважати, що n = 3, щоб показати, яку процедуру слід виконувати. Якщо n = 3, зображення A буде площиною або лінією через початок.
Нехай v - мінімізуючий вектор. На рисунку ми спостерігаємо, що y-Au мінімізовано, коли воно ортогональне зображенню А. Тобто, якщо v - вектор, що мінімізує, то буває, що:
Тоді ми можемо висловити вищезазначене таким чином:
Це може статися, лише якщо:
Нарешті, вирішуючи для v, ми маємо:
Це можна зробити, оскільки A t A є зворотним, доки n точок, наведених як дані, не є колінеарними.
Тепер, якби замість того, щоб шукати рядок, ми хотіли знайти параболу (вираз якої буде мати вигляд y = a + bx + cx 2 ), що було б кращим наближенням до n точок даних, процедура буде такою, як описано нижче.
Якщо в цій параболі було n точок даних, ми мали б:
Тоді:
Аналогічно можемо записати y = Au. Якщо всі точки не знаходяться в параболі, маємо, що y-Au відрізняється від нуля для будь-якого вектора u, і наша проблема знову: знайти вектор u в R3 таким, щоб його норма - y-Au-- була якомога меншою. .
Повторивши попередню процедуру, ми можемо дійти до того, що шуканий вектор:
Розв’язані вправи
Вправа 1
Знайдіть пряму, яка найкраще відповідає точкам (1,4), (-2,5), (3, -1) і (4,1).
Рішення
Ми мусимо:
Тоді:
Отже, робимо висновок, що рядок, який найкраще відповідає точкам, задається:
Вправа 2
Припустимо, об’єкт скинутий з висоти 200 м. По мірі падіння вживаються наступні кроки:
Ми знаємо, що висота згаданого об'єкта, минувши час t, задається:
Якщо ми хочемо отримати значення g, ми можемо знайти параболу, яка є кращим наближенням до п’яти точок, наведених у таблиці, і, таким чином, ми мали б, що коефіцієнт, який супроводжує t 2, буде розумним наближенням до (-1/2) g, якщо вимірювання точні.
Ми мусимо:
І пізніше:
Отже, точки даних підходять під наступний квадратичний вираз:
Отже, ви повинні:
Це значення, що є досить близьким до правильного, яке є g = 9,81 м / с 2 . Для отримання більш точного наближення g, слід було б почати з більш точних спостережень.
Для чого це?
У проблемах, що виникають у природничих чи соціальних науках, зручно писати зв’язки, що існують між різними змінними, за допомогою якогось математичного вираження.
Наприклад, в економіці ми можемо співвідносити витрати (C), дохід (I) та прибуток (U) за допомогою простої формули:
У фізиці ми можемо співставити прискорення, спричинене гравітацією, час падання об'єкта і висоту об'єкта за законом:
У попередньому виразі s o - початкова висота зазначеного об'єкта, v o - його початкова швидкість.
Однак знайти такі формули - непросте завдання; Зазвичай, дежурний фахівець повинен працювати з великою кількістю даних і неодноразово виконувати кілька експериментів (щоб переконатися, що отримані результати є постійними), щоб знайти зв’язки між різними даними.
Поширений спосіб досягти цього - представляти отримані в площині дані як точки і шукати неперервну функцію, яка оптимально наближає ці точки.
Один із способів знайти функцію, яка "найкраще наближає" дані дані - методом найменших квадратів.
Крім того, як ми також бачили у вправі, завдяки цьому методу ми можемо отримати досить близькі наближення до фізичних констант.
Список літератури
- Лінійна алгебра Шарля Кертіса. Спрингер-Веларг
- Кай Лай Чунг. Елементарна теорія спроможності зі стохастичними процесами. Springer-Verlag New York Inc
- Richar L Burden & J.Douglas Faires. Числовий аналіз (7ed). Томпсон навчання.
- Стенлі І. Гроссман. Застосування лінійної алгебри. MCGRAW-HILL / INTERAMERICANA DE MEXICO
- Стенлі І. Гроссман. Лінійна алгебра. MCGRAW-HILL / INTERAMERICANA DE MEXICO