Модель линейной регрессии

Линейными моделями считают такие, для которых выполняется принцип суперпозиции: реакция на суммарное входное воздействие является суммой реакций на каждое из отдельных входных воздействий, составляющих это суммарное.

Такое определение охватывает как статические, так и динамические модели. Применительно к линейным моделям можно также утверждать, что их выход пропорционален входу: чем больше сигнал на входе, тем больше он на выходе. При этом отношение величины выходного сигнала в установившемся режиме к величине входного является коэффициентом пропорциональности.

Так, динамическое уравнение

из предыдущего примера является линейной моделью (поскольку и сами переменные x(t), y(t), и их производные – в данном случае y'(t) – входят в уравнение в первой степени). Из этого уравнения можно легко получить статическую модель (статическую характеристику), приравняв производные нулю (так как статическая характеристика – это зависимость выхода от входа в установившемся режиме, т.е. в таком режиме, когда закончены все переходные процессы, а значит, и все изменения переменных). Итак, получаем: 4y = 5x, или y = 1,25x. Коэффициент пропорциональности в данном случае равен 1,25.

Линейную статическую характеристику и прохождение сигналов с выхода на вход безынерционного звена, а также искажение выходного сигнала из-за нелинейной статической характеристики типа «насыщение» иллюстрирует рис. 1.16.

 

Рис. 1.16. Линейная и нелинейная статические характеристики

 

Однако линейные и нелинейные модели используются не только в технике. Например, в фольклоре разных народов существуют поговорки, изречения, передающие народную мудрость, которые также можно рассматривать в качестве семантических моделей.

Примеры линейных моделей: 1) «Чем дальше в лес, тем больше дров»; 2) «По доходу и расход».

Рис. 1.17. Линейные семантические модели

 

В двух первых моделях пропорциональная статическая зависимость выхода от входа проиллюстрирована на рис. 1.17.

Примеры нелинейных моделей: 1) «Мал золотник, да дорог»; 2) «Велика фигура, да дура». В двух последних моделях нелинейность выражается в обратной пропорциональности выхода входу и может быть отображена на графике статической характеристики (рис. 1.18).

Рис. 1.18.

Нелинейные семантические модели

 

Разумеется, что как линейные, так и разнообразные нелинейные модели находят применение и в других областях. Так, например, в биологии известно, что чем больше вес животного, тем больше пищи оно употребляет для поддержания энергетического баланса (линейная модель) или чем меньше размеры млекопитающего, тем выше у него частота пульса (нелинейная модель) и т.п.

Линейные модели с помощью линейных же преобразований можно трансформировать в другие линейные модели.

Например, от модели в виде линейного дифференциального уравнения путем применения линейного интегрального преобразования Лапласа можно перейти к модели в виде передаточной функции. Покажем это на уравнении:

Применим к нему преобразование Лапласа и получим: 2sY(s)+4Y(s)=5X(s), где s – комплексная переменная Лапласа. Далее в левой части вынесем за скобки Y(s) и вспомним из курса ТАУ, что передаточная функция есть отношение преобразованного по Лапласу (при нулевых начальных условиях) выходного сигнала к преобразованному по Лапласу (при тех же условиях) входному сигналу. В результате получим:

Таким образом, мы получили передаточную функцию апериодического звена с коэффициентом усиления, равным 1,25, и постоянной времени, равной 0,5. При желании можно с помощью линейного преобразования Фурье получить из исходной модели еще одну линейную модель в виде частотных характеристик (из передаточной функции получить ее совсем просто: нужно только произвести замену s=jω). Итак,

Как правило, реальные объекты и процессы имеют в той или иной степени нелинейный характер, но во многих случаях можно осознанно пренебречь нелинейными свойствами для того, чтобы воспользоваться хорошо разработанным математическим аппаратом исследования линейных моделей для получения предварительных результатов. Однако делать это нужно осторожно, объективно оценивая погрешности и обосновывая возможность такого упрощения.

Так, например, при тщательном описании оказывается, что фактически любые датчики имеют зону нечувствительности – сугубо типовую нелинейность, которая характеризует тот факт, что при очень малых сигналах на входе даже самый чувствительный измерительный прибор на выходе показывает «нуль», означающий отсутствие входного сигнала. Все зависит от величины этой зоны нечувствительности: в некоторых случаях она так мала, что ей можно пренебречь, и тогда модель становится уже линейной.

 


Читайте также:

Авторегрессионные интегрированные модели скользящей средней
АВТОРЕГРЕССИОННЫЕ МОДЕЛИ
АВТОРЕГРЕССИОННЫЕ ПРОЦЕССЫ И ИХ МОДЕЛИ
Адаптивные многошаговые модели
Адаптивные модели сезонных явлений
АЛЬТЕРНАТИВНЫЕ МОДЕЛИ СОВРЕМЕННОСТИ: МОДЕРНИЗАЦИЯ И ГЛОБАЛИЗАЦИЯ
Анализ и интерпретация результатов компьютерного моделирования
Аналитические модели систем массового обслуживания
Бизнес-модели и влияние на них информационных технологий
Влияние потенциальных конкурентов и товаров заменителей при использовании модели М.Портера в розничной торговле.

Читайте также:

Если функция регрессии линейная, то говорят о линейной регрессии. Линейная регрессия находит весьма широкое применение в эконометрике в связи с четкой экономической интерпретации ее параметров. Кроме того, построенное линейное уравнение может служить начальной точкой эконометрического анализа.

Простая линейная регрессия представляет собой линейную функцию между условным математическим ожиданием зависимой переменной и одной зависимой переменной X (xi – значения зависимой переменной в i-ом наблюдении):

. (5.5)

Для отражения того факта, что каждое индивидуальное значение yi отклоняется от соответствующего условного математического ожидания, необходимо ввести в соотношение (5.5) случайное слагаемое ei:

. (5.6)

Это соотношение называется теоретической линейной регрессионной моделью; b0 и b1теоретическими коэффициентами регрессии. Таким образом, индивидуальные значения yi представляют в виде двух компонент – систематической ( ) и случайной (ei). В общем виде теоретическую линейную регрессионную модель будем представлять в виде

. (5.7)

Основная задача линейного регрессионного анализа состоит в том, чтобы по имеющимся статистическим данным для переменных X и Y получить наилучшие оценки неизвестных параметров b0 и b1. По выборке ограниченного объема можно построить эмпирическое линейное уравнение регрессии:

, (5.8)

где – оценка условного математического ожидания , b0 и b1 – оценки неизвестных параметров b0 и b1, называемые эмпирическими коэффициентами регрессии. Следовательно, в конкретном случае

, (5.9)

где отклонение ei – оценка теоретического случайного отклонения ei.

Задача линейного регрессионного анализа состоит в том, чтобы по конкретной выборке (xi,yi) найти оценки b0 и b1 неизвестных параметров b0 и b1 так, чтобы построенная линия регрессии была бы наилучшей в определенном смысле среди всех других прямых. Другими словами, построенная прямая должна быть «ближайшей» к точкам наблюдений по их совокупности. Мерами качества найденных оценок могут служить определенные композиции отклонений ei. Например, коэффициенты b0 и b1 эмпирического уравнения регрессии могут быть оценены исходя из условия минимизации функции потерь (loss function): . Например, функции потерь могут быть выбраны в следующем виде:

1) ; 2) ; 3) .

Самым распространенным и теоретически обоснованным является метод нахождения коэффициентов, при котором минимизируется первая сумма.

Он получил название метод наименьших квадратов (МНК)[1]. Этот метод оценки является наиболее простым с вычислительной точки зрения. Кроме того, оценки коэффициентов регрессии, найденные МНК при определенных предпосылках, обладают рядом оптимальных свойств. Хорошие статистические свойства метода, простота математических выводов делают возможным построить развитую теорию, позволяющую провести тщательную проверку различных статистических гипотез. Минусы метода – чувствительность в «выбросам».

Метод определения оценок коэффициентов из условия минимизации второй суммы называется методом наименьших модулей. Этот метод обладает определенными достоинствами, например, по сравнению с методом наименьших квадратов он нечувствителен к выбросам (обладает робастностью). Однако у него имеются существенные недостатки. В первую очередь это связано со сложностью вычислительных процедур. Во-вторых, с неоднозначностью метода, т.е. разным значениям коэффициентов регрессии могут соответствовать одинаковые суммы модулей отклонений.

Метод минимизации максимума модуля отклонения наблюдаемого значения результативного показателя yi от модельного значения называется методом минимакса, а получаемая при этом регрессия минимаксной.

Среди других методов оценивания коэффициентов регрессии отметим метод максимального правдоподобия (ММП).


Читайте также:

Министерство образования РФ

Тульский Институт Экономики и Информатики

Кафедра информационных технологий

Контрольная работа

По дисциплине «Теория систем и системный анализ»

По теме «Моделирование линейных систем»

Выполнил: студентка 1-го курса

Специальности ПИвЭ05

Андрианова К.Г.

Проверил:

Токарев В.Л.

Тула 2006

Введение

Целью системного анализа является моделирование системы.

Существуют два способа моделирование системы:

-аналитический;

-имитационный.

Аналитический способ применяется тогда, когда закономерности процессов, протекающих в системе, известны.

Имитационный способ применяется тогда, когда такие закономерности не известны, но в процессе функционирования системы, может быть накоплена выборка данных, содержащих информацию о поведении системы.

В контрольной работе решается задача построения имитационной модели статической линейной системы, имеющей три входа и один выход. Предполагается, что на систему действуют случайные возмущения, результатом которых являются случайные составляющие с нормальным разделением.

Построение математической модели системы

В контрольной работе решается задача построения имитационной модели статической решеткой системы, имеющей 3 входа и 1 выход.

Предполагается, что на систему действует случайное вращение, результатом которого является случайное составление с нормальным распределением.

Формирование матриц Х и Y по исходным данным (обучающая выборка – первые 20 строк матрицы):

Найдем вектор исходных параметров:

1) Транспонируем матрицу Х.

2)

3)

Получаем вектор исходных параметров:

Сформируем матрицы X1 и Y1, полученные из контрольной выборки (следующие 20 чисел):

Для оценки случайности значений временного ряда ошибки необходимо сформировать матрицу Е по контрольной выборке.

Для того, чтобы сформировать матрицу Е нужно:

— найти скалярную величину У2(матрицу Х1 умножить на вектор случайных параметров Р)


— найдем саму матрицу по формуле:

Получим:

Сравним значения в матрице Е (значение сравнивается с предыдущим):

Длина серий получилась равно двум (

).

Число серий получилось равное двенадцати(

).

По формуле должно быть: n > n1 и τ <τ1

Найдем n1 по формуле:

Найдем τ1 по формуле:

Получаем: 15 > 9.476 и 2 < 7.593

Следовательно: n > n1 и τ <τ1 – верно.

Гипотеза об адекватности не отвергается.

Для оценки взаимной зависимости значений ременного ряда, необходимо найти d.

Чтобы его найти нужно выполнить следующие действия:

— сформировать матрицы Е1 и Е2

Для того, чтобы получить матрицу Е1 нужно скопировать значения из матрицы Е с 1 по 19; для получения матрицы Е2 мы скопируем значения из матрицы Е, начиная с 0 и заканчивая 18 значением, при этом получим:

Затем по формуле найдем матрицу Е3:

Теперь транспонируем Е3, получим:

Транспонируем матрицу Е, получим:

Затем по формулам находим d:

d=0..2, этом говорит о том, что имеется отрицательная взаимозависимость между ошибками.

Гипотеза об адекватности модели не отвергается.

Проверка распределения случайной величины Е на нормальность заключается в оценке двух статистик: асимметрии и эксцесса.

Для того, чтобы найти асимметрию необходимо знать S, она является среднеквадратичной. Среднеквадратичная вычисляется по формуле:

Из этой формулы нам известно Е4.Для того, чтобы найти выполним следующие действия:


Теперь транспонируем полученную матрицу Е4, получим:

Теперь мы можем найти S:

Мы нашли S, теперь можем найти асимметрию (А), подставив Е4 в формулу:

Далее находим эксцесс по формуле, подставляя S.

Эксцесс обозначим буквой В.

Получим:

Чем ближе эксцесс к 0, то считается это нормально.


Если выполняется следующее условие

То гипотеза об адекватности не отвергается. Следовательно, гипотеза, об адекватности модели отвергается.

Заключение

В контрольной работе решалась задача построения имитационной модели статической системы, имеющей 3 входа и 1 выход.

Предполагалось, что на систему действует случайное возмещение, результатом которого является случайное составление с нормальным распределением.

В контрольной работе производилась проверка адекватности модели системы. Проверка состояла из трёх этапов:

1.

Оценки случайности значений временного ряда ошибки (здесь были выполнены оба неравенства n > n1 и τ <τ1 – это означает, что гипотеза об адекватности не отвергается).

2. Оценка взаимной зависимости значений временного ряда (d=0..2(2.011) — -это означает, что имеется отрицательная взаимозависимость между ошибками).

3. Проверка распределения случайной величины на нормальность (условие, при котором гипотеза об адекватности не отвергается, не выполняется).


Добавить комментарий

Закрыть меню