Лекция 02.
Линейные регрессионные модели

В целях исследований часто бывает удобно представить исследуемый объект в виде ящика, имеющего входы и выходы, не рассматривая детально его внутренней структуры. Конечно, преобразования в ящике (на объекте) происходят (сигналы проходят по связям и элементам, меняют свою форму и т. п.), но при таком представлении они происходят скрыто от наблюдателя.

По степени информированности исследователя об объекте существует деление объектов на три типа «ящиков»:

• «белый ящик»: об объекте известно все;
• «серый ящик»: известна структура объекта, неизвестны количественные значения параметров;
• «черный ящик»: об объекте неизвестно ничего.

Черный ящик условно изображают как на рис. 2.1.

Рис. 2.1. Обозначение черного ящика на схемах

Значения на входах и выходах черного ящика можно наблюдать и измерять. Содержимое ящика неизвестно.

Задача состоит в том, чтобы, зная множество значений на входах и выходах, построить модель, то есть определить функцию ящика, по которой вход преобразуется в выход. Такая задача называется задачей регрессионного анализа.

В зависимости от того, доступны входы исследователю для управления или только для наблюдения, можно говорить про активный или пассивный эксперимент с ящиком.

Пусть, например, перед нами стоит задача определить, как зависит выпуск продукции от количества потребляемой электроэнергии. Результаты наблюдений отобразим на графике (см. рис. 2.2). Всего на графике n экспериментальных точек, которые соответствуют n наблюдениям.

Рис. 2.2. Графический вид представления результатов наблюдения над черным ящиком

Для начала предположим, что мы имеем дело с черным ящиком, имеющим один вход и один выход. Допустим для простоты, что зависимость между входом и выходом линейная или почти линейная. Тогда данная модель будет называться линейной одномерной регрессионной моделью.

1) Исследователь вносит гипотезу о структуре ящика

Рассматривая экспериментально полученные данные, предположим, что они подчиняются линейной гипотезе, то есть выход Y зависит от входа X линейно, то есть гипотеза имеет вид: Y = A₁X + A₀ (рис. 2.2).

2) Определение неизвестных коэффициентов A₀ и A₁ модели

Линейная одномерная модель (рис. 2.3).

Рис. 2.3. Одномерная модель черного ящика

Для каждой из n снятых экспериментально точек вычислим ошибку (E_i) между экспериментальным значением (Y_i^Эксп.) и теоретическим значением (Y_i^Теор.), лежащим на гипотетической прямой A₁X + A₀ (см. рис. 2.2):

E_i = (Y_i^Эксп. – Y_i^Теор.), i = 1, …, n;

E_i = Y_i – A₀ – A₁ · X_i, i = 1, …, n.

Ошибки E_i для всех n точек следует сложить. Чтобы положительные ошибки не компенсировали в сумме отрицательные, каждую из ошибок возводят в квадрат и складывают их значения в суммарную ошибку F уже одного знака:

E_i² = (Y_i – A₀ – A₁ · X_i)², i = 1, …, n.

Цель метода — минимизация суммарной ошибки F за счет подбора коэффициентов A₀, A₁. Другими словами, это означает, что необходимо найти такие коэффициенты A₀, A₁ линейной функции Y = A₁X + A₀, чтобы ее график проходил как можно ближе одновременно ко всем экспериментальным точкам. Поэтому данный метод называется методом наименьших квадратов.

Суммарная ошибка F является функцией двух переменных A₀ и A₁, то есть F(A₀, A₁), меняя которые, можно влиять на величину суммарной ошибки (см. рис. 2.4).

Рис. 2.4. Примерный вид функции ошибки

Чтобы суммарную ошибку минимизировать, найдем частные производные от функции F по каждой переменной и приравняем их к нулю (условие экстремума):

После раскрытия скобок получим систему из двух линейных уравнений:

Для нахождения коэффициентов A₀ и A₁ методом Крамера представим систему в матричной форме:

Решение имеет вид:

Вычисляем значения A₀ и A₁.

3) Проверка

Чтобы определить, принимается гипотеза или нет, нужно, во-первых, рассчитать ошибку между точками заданной экспериментальной и полученной теоретической зависимости и суммарную ошибку:

E_i = (Y_i^Эксп. – Y_i^Теор.), i = 1, …, n

И, во-вторых, необходимо найти значение σ по формуле , где F — суммарная ошибка, n — общее число экспериментальных точек.

Если в полосу, ограниченную линиями Y^Теор. – S и Y^Теор. + S (рис. 2.5), попадает 68.26% и более экспериментальных точек Y_i^Эксп., то выдвинутая нами гипотеза принимается. В противном случае выбирают более сложную гипотезу или проверяют исходные данные. Если требуется большая уверенность в результате, то используют дополнительное условие: в полосу, ограниченную линиями Y^Теор. – 2S и Y^Теор. + 2S, должны попасть 95.44% и более экспериментальных точек Y_i^Эксп..

Рис. 2.5. Исследование допустимости принятия гипотезы

Расстояние S связано с σ следующим соотношением:

S = σ/sin(β) = σ/sin(90° – arctg(A₁)) = σ/cos(arctg(A₁)),

что проиллюстрировано на рис. 2.6.

Рис. 2.6. Связь значений σ и S

Условие принятия гипотезы выведено из нормального закона распределения случайных ошибок (см. рис. 2.7). P — вероятность распределения нормальной ошибки.

Рис. 2.7. Иллюстрация закона нормального распределения ошибок

Наконец, приведем на рис. 2.8 графическую схему реализации одномерной линейной регрессионной модели.

Рис. 2.8. Схема реализации метода наименьших квадратов в среде моделирования

Практика № 01: «Регрессионные модели»

Лабораторная работа № 01: «Линейные регрессионные модели»

Линейная множественная модель

Предположим, что функциональная структура ящика снова имеет линейную зависимость, но количество входных сигналов, действующих одновременно на объект, равно m (см. рис. 2.9):

Y = A₀ + A₁ · X₁ + … + A_m · X_m.

Рис. 2.9. Обозначение многомерного черного ящика на схемах

Так как подразумевается, что мы имеем экспериментальные данные о всех входах и выходах черного ящика, то можно вычислить ошибку между экспериментальным (Y_i^Эксп.) и теоретическим (Y_i^Теор.) значением Y для каждой i-ой точки (пусть, как и прежде, число экспериментальных точек равно n):

E_i = (Y_i^Эксп. – Y_i^Теор.), i = 1, …, n;

E_i = Y_i – A₀ – A₁ · X_1i – … – A_m · X_mi, i = 1, …, n.

Минимизируем суммарную ошибку F:

Ошибка F зависит от выбора параметров A₀, A₁, …, A_m. Для нахождения экстремума приравняем все частные производные F по неизвестным A₀, A₁, …, A_m к нулю:

Получим систему из m + 1 уравнения с m + 1 неизвестными, которую следует решить, чтобы определить коэффициенты линейной множественной модели A₀, A₁, …, A_m. Для нахождения коэффициентов методом Крамера представим систему в матричном виде:

Вычисляем коэффициенты A₀, A₁, …, A_m.

Далее, по аналогии с одномерной моделью (см. 3). «Проверка»), для каждой точки вычисляется ошибка E_i; затем находится суммарная ошибка F и значения σ и S с целью определить, принимается ли выдвинутая гипотеза о линейности многомерного черного ящика или нет.

При помощи подстановок и переобозначений к линейной множественной модели приводятся многие нелинейные модели. Подробно об этом рассказывается в материале следующей лекции.