Оглавление
Огл.   Авт.   Л 01   Л 02   Л 03   Л 04   Л 05

Лекция 02.
Линейные регрессионные модели

В целях исследований часто бывает удобно представить исследуемый объект в виде ящика, имеющего входы и выходы, не рассматривая детально его внутренней структуры. Конечно, преобразования в ящике (на объекте) происходят (сигналы проходят по связям и элементам, меняют свою форму и т. п.), но при таком представлении они происходят скрыто от наблюдателя.

По степени информированности исследователя об объекте существует деление объектов на три типа «ящиков»:

  • «белый ящик»: об объекте известно все;
  • «серый ящик»: известна структура объекта, неизвестны количественные значения параметров;
  • «черный ящик»: об объекте неизвестно ничего.

Черный ящик условно изображают как на рис. 2.1.

[ Рис. 2.1. Обозначение черного ящика на схемах ]
Рис. 2.1. Обозначение черного ящика на схемах

Значения на входах и выходах черного ящика можно наблюдать и измерять. Содержимое ящика неизвестно.

Задача состоит в том, чтобы, зная множество значений на входах и выходах, построить модель, то есть определить функцию ящика, по которой вход преобразуется в выход. Такая задача называется задачей регрессионного анализа.

В зависимости от того, доступны входы исследователю для управления или только для наблюдения, можно говорить про активный или пассивный эксперимент с ящиком.

Пусть, например, перед нами стоит задача определить, как зависит выпуск продукции от количества потребляемой электроэнергии. Результаты наблюдений отобразим на графике (см. рис. 2.2). Всего на графике n экспериментальных точек, которые соответствуют n наблюдениям.

[ Рис. 2.2. Графический вид представления результатов наблюдения над черным ящиком ]
Рис. 2.2. Графический вид представления результатов
наблюдения над черным ящиком

Для начала предположим, что мы имеем дело с черным ящиком, имеющим один вход и один выход. Допустим для простоты, что зависимость между входом и выходом линейная или почти линейная. Тогда данная модель будет называться линейной одномерной регрессионной моделью.

1) Исследователь вносит гипотезу о структуре ящика

Рассматривая экспериментально полученные данные, предположим, что они подчиняются линейной гипотезе, то есть выход Y зависит от входа X линейно, то есть гипотеза имеет вид: Y = A1X + A0 (рис. 2.2).

2) Определение неизвестных коэффициентов A0 и A1 модели

Линейная одномерная модель (рис. 2.3).

[ Рис. 2.3. Одномерная модель черного ящика ]
Рис. 2.3. Одномерная модель черного ящика

Для каждой из n снятых экспериментально точек вычислим ошибку (Ei) между экспериментальным значением (YiЭксп.) и теоретическим значением (YiТеор.), лежащим на гипотетической прямой A1X + A0 (см. рис. 2.2):

Ei = (YiЭксп. – YiТеор.), i = 1, …, n;

Ei = Yi – A0 – A1 · Xi, i = 1, …, n.

Ошибки Ei для всех n точек следует сложить. Чтобы положительные ошибки не компенсировали в сумме отрицательные, каждую из ошибок возводят в квадрат и складывают их значения в суммарную ошибку F уже одного знака:

Ei2 = (Yi – A0 – A1 · Xi)2, i = 1, …, n.

[ Формула 01 ]

Цель метода — минимизация суммарной ошибки F за счет подбора коэффициентов A0, A1. Другими словами, это означает, что необходимо найти такие коэффициенты A0, A1 линейной функции Y = A1X + A0, чтобы ее график проходил как можно ближе одновременно ко всем экспериментальным точкам. Поэтому данный метод называется методом наименьших квадратов.

[ Формула 02 ]

Суммарная ошибка F является функцией двух переменных A0 и A1, то есть F(A0, A1), меняя которые, можно влиять на величину суммарной ошибки (см. рис. 2.4).

[ Рис. 2.4. Примерный вид функции ошибки ]
Рис. 2.4. Примерный вид функции ошибки

Чтобы суммарную ошибку минимизировать, найдем частные производные от функции F по каждой переменной и приравняем их к нулю (условие экстремума):

[ Формула 03 ]

[ Формула 04 ]

После раскрытия скобок получим систему из двух линейных уравнений:

[ Формула 05 ]

[ Формула 06 ]

Для нахождения коэффициентов A0 и A1 методом Крамера представим систему в матричной форме:

[ Формула 07 ]

Решение имеет вид:

[ Формула 08 ]

[ Формула 09 ]

Вычисляем значения A0 и A1.

3) Проверка

Чтобы определить, принимается гипотеза или нет, нужно, во-первых, рассчитать ошибку между точками заданной экспериментальной и полученной теоретической зависимости и суммарную ошибку:

Ei = (YiЭксп. – YiТеор.), i = 1, …, n

[ Формула 10 ]

И, во-вторых, необходимо найти значение σ по формуле [ Формула 11 ], где F — суммарная ошибка, n — общее число экспериментальных точек.

Если в полосу, ограниченную линиями YТеор. – S и YТеор. + S (рис. 2.5), попадает 68.26% и более экспериментальных точек YiЭксп., то выдвинутая нами гипотеза принимается. В противном случае выбирают более сложную гипотезу или проверяют исходные данные. Если требуется большая уверенность в результате, то используют дополнительное условие: в полосу, ограниченную линиями YТеор. – 2S и YТеор. + 2S, должны попасть 95.44% и более экспериментальных точек YiЭксп..

[ Рис. 2.5. Исследование допустимости принятия гипотезы ]
Рис. 2.5. Исследование допустимости принятия гипотезы

Расстояние S связано с σ следующим соотношением:

S = σ/sin(β) = σ/sin(90° – arctg(A1)) = σ/cos(arctg(A1)),

что проиллюстрировано на рис. 2.6.

[ Рис. 2.6. Связь значений σ и S ]
Рис. 2.6. Связь значений σ и S

Условие принятия гипотезы выведено из нормального закона распределения случайных ошибок (см. рис. 2.7). P — вероятность распределения нормальной ошибки.

 
[ Рис. 2.7. Иллюстрация закона нормального распределения ошибок ]
Рис. 2.7. Иллюстрация закона
нормального распределения ошибок

Наконец, приведем на рис. 2.8 графическую схему реализации одномерной линейной регрессионной модели.

[ Рис. 2.8. Схема реализации метода наименьших квадратов в среде моделирования ]
Рис. 2.8. Схема реализации метода
наименьших квадратов в среде моделирования

Практика № 01: «Регрессионные модели»

Лабораторная работа № 01: «Линейные регрессионные модели»

Линейная множественная модель

Предположим, что функциональная структура ящика снова имеет линейную зависимость, но количество входных сигналов, действующих одновременно на объект, равно m (см. рис. 2.9):

Y = A0 + A1 · X1 + … + Am · Xm.

[ Рис. 2.9. Обозначение многомерного черного ящика на схемах ]
Рис. 2.9. Обозначение многомерного
черного ящика на схемах

Так как подразумевается, что мы имеем экспериментальные данные о всех входах и выходах черного ящика, то можно вычислить ошибку между экспериментальным (YiЭксп.) и теоретическим (YiТеор.) значением Y для каждой i-ой точки (пусть, как и прежде, число экспериментальных точек равно n):

Ei = (YiЭксп. – YiТеор.), i = 1, …, n;

Ei = Yi – A0 – A1 · X1i – … – Am · Xmi, i = 1, …, n.

Минимизируем суммарную ошибку F:

[ Формула 12 ]

Ошибка F зависит от выбора параметров A0, A1, …, Am. Для нахождения экстремума приравняем все частные производные F по неизвестным A0, A1, …, Am к нулю:

[ Формула 13 ]

Получим систему из m + 1 уравнения с m + 1 неизвестными, которую следует решить, чтобы определить коэффициенты линейной множественной модели A0, A1, …, Am. Для нахождения коэффициентов методом Крамера представим систему в матричном виде:

[ Формула 14 ]

Вычисляем коэффициенты A0, A1, …, Am.

Далее, по аналогии с одномерной моделью (см. 3). «Проверка»), для каждой точки вычисляется ошибка Ei; затем находится суммарная ошибка F и значения σ и S с целью определить, принимается ли выдвинутая гипотеза о линейности многомерного черного ящика или нет.

Множественная линейная регрессионная модель и многомерные пространства

Итак, метод наименьших квадратов при определении коэффициентов регрессионной модели привел к системе уравнений в матричном виде, которая легко решается методом Крамера. Размерность матрицы коэффициентов системы линейных уравнений совпадает с количеством необходимых к определению коэффициентов регрессионной модели.

Предположим, Y = A0 + A1 • X1 + … + Am • Xm. Для нахождения коэффициентов методом Крамера представим систему в матричном виде:

[ Формула 15 ]

Если таковых, например, 5 {a1, a2, a3, a4, a5}, то мы имеем дело с плоскостью, заданной линейным уравнением

a1*x1 + a2*x2 + a3*x3 + a4*x4 + a5 = 0

в четырехмерном пространстве: x1, x2, x3, x4.

Задача о кредите

Рассмотрим задачу о выдаче банком кредита клиентам.

Наблюдение за служащим банка показало, что он спрашивал у клиентов и принимал во внимание «Кредитную историю», «Наличие долга у клиента», «Наличие поручителей», «Доход клиента».

При этом Кредитная история могла быть {плохой, неизвестной, хорошей}, Долг – {высоким или низким}, Поручительство – {отсутствовать или быть адекватным}, Доход – {0-15 тысяч рублей, 15-35 тысяч рублей, более 35 тысяч рублей}.

Решением эксперта являлась оценка Риска невозврата кредита, которую эксперт оценивал как {высокую, среднюю, низкую}.

Обозначим:

  • Y – риск невозврата кредита Р (высокий В, средний С, низкий Н),
  • x1 – кредитная история К (плохая П, неизвестная Н, хорошая Х),
  • x2 – долг Дг (высокий В, низкий Н),
  • x3 – поручительство П (нет Н, адекватное А),
  • x4 – доход Дд (0-15 тысяч рублей М, 15-35 тысяч рублей С, более 35 тысяч рублей В).

Y, x1, x2, x3, x4 – это атрибуты базы данных, переменные закона, признаки. Значения признаков – свойства.

Надо найти функцию:

Y = F(x1, x2, x3, x4)

или в наших обозначениях

Р = F(К, Дг, П, Дд).

На технических схемах это выглядит так.

[ Рисунок - Инженерная схема, отражающая зависимость риска Y от действующих на него причин (x1-кредитная история, x2-долг, x3-поручительство, x4-доход) ]
Рисунок - Инженерная схема, отражающая зависимость риска Y от действующих на него причин (x1-кредитная история, x2-долг, x3-поручительство, x4-доход)

Из наблюдений за экспертом и его общением с клиентами удалось заполнить следующую экспериментальную таблицу фактов. Всего было зафиксировано 14 случаев (14 клиентов, 14 записей базы данных).

Таблица - Экспериментальные данные

В столбце «Риск» базы данных отмечены решения, сделанные на практике экспертом. В столбце «Эксперимент. Пример решения» - конкретный случай, номер записи базы данных.

Закодируем содержание таблицы исходных данных числами в непрерывной области.

Кредитная история – {0,1,2} = {П,Н,Х}

Долг – {0,1} = {В,Н}

Поручители – {0,1} = {Н,А}

Доход – {0,1,2} = {0-15,15-35,>35}

Риск – {0,1,2} = {Н,С,В}

Теперь экспериментальная таблица выглядит несколько иначе, но содержит туже информацию.

Таблица – Экспериментальная база числовых данных

Пользуясь методом наименьших квадратов для построения регрессионных моделей (лекция 5), вычислим коэффициенты {A0, A1, А2, А3, A4} в линейном уравнении, взятом в виде гипотезы:

Риск = А0+А1*КИ+А2*Долг+А3*Поручители+А4*Доход (модель 1).

Систему уравнений для расчёта запишем в табличном виде:

Решая систему уравнений относительно неизвестных {A0, A1, A2, A3, A4}, имеем: А0=2.50; А1=-0.36; А2=-0.25; А3=-0.13; А4=-0.80 или

Риск = 2.5 - 0.36*КИ - 0.25*Долг - 0.13*Поручители - 0.80*Доход. (модель 1)

Проверим это решение, сопоставив его с исходной экспериментальной таблицей.

Таблица – Сравнение базы данных с результатами расчёта по модели 1

Выводы

Отметим, что практически во всех случаях (примеры 3-14) имеет место совпадение результата, вычисленного по построенной регрессионной модели, с экспериментальными данными. Исключениями являются пример 1 и 2 таблицы.

Тем не менее, приглядевшись, можно увидеть, что тенденцию и результат модель вычисляет правильно, увеличив риск в первом случае и уменьшив его во втором (первый случай действительно хуже второго, поэтому риски выдачи кредита увеличиваются). То есть модель действует точнее, чем эксперт.

Прогноз по аналоговой модели оказался точнее дискретных данных.

Примечание. Значения коэффициентов регрессионной модели, которые мы нашли, указывают на вес (значимость) отдельных признаков для принятия правильного решения. Наиболее значимы по убыванию абсолютной величины коэффициента:

0.80 > 0.36 > 0.25 > 0.13,

то есть

Доход -> К -> Долг -> Поручители.

Регрессионная модель показывает, например, сколько вносит в решение одна единица Дохода и чем её можно компенсировать. Например, одна единица Дохода стоит сразу всех вместе взятых по дополнительной единице переменных Кредитная история, Поручители и Долг: 0.8*1≈0.36*1+0.25*1+0.13*1.

Или единица Дохода примерно соответствует двум единицам Кредитной истории: 0.8*1≈0.36*2.

Такая информация даёт возможность исследовать чувствительность модели. Соответственно, по значениям коэффициентов регрессии можно судить, какими признаками можно пожертвовать при упрощении модели в первую очередь.

Ориентируясь на это, приведем всё более грубые модели в отсортированном порядке значимости:

Риск = А0 + А1*Доход + А2*КИ + А3*Долг + А4*Поручители

Риск = А0 + А1*Доход + А2*КИ + А3*Долг

Риск = А0 + А1*Доход + А2*КИ

Риск = А0 + А1*Доход

Риск = А0

Примечание. Естественно, каждый раз при усложнении (упрощении) модели приходится пересчитывать значения коэффициентов {А}. Каждый вариант модели имеет свою погрешность. Рекомендуется, рассчитав последовательно в порядке огрубления все модели, построить график изменения их погрешности и принять лучшее решение методом локтя.

Теперь решим ещё раз этот же пример, упростив гипотезу. Так как ранее было показано, что определяющими входными признаками в этом примере являются «Доход» и «Кредитная история», то построим регрессионную модель от этих двух переменных:

Риск = f (КИ, Доход).

Предполагая гипотезу о связи переменных в виде:

Риск = А0+А1*КИ+А2* Доход,

имеем систему уравнений для определения трех коэффициентов {А0, А1, А2} модели 2 в табличном виде:

Решая систему уравнений относительно неизвестных {A0, A1, A2}, имеем:

А0 = 2.4; А1 = -0.30; А2 = -0.85

или

Риск = 2.4 - 0.30*КИ - 0.85*Доход (модель 2).

Так же проверим решение второй модели, сопоставив его с исходной экспериментальной таблицей.

Таблица – Сравнение базы данных с результатами расчёта по модели 2

Выводы

Отметим, что в случаях 1 и 3-14 имеет место совпадение результата, вычисленного по построенной регрессионной модели, с экспериментальными данными.

Построим график полученной функции.

Вспоминая, что:

построим график экспериментальных данных функции Риска в виде тепловой карты в осях «Кредитная история» и «Доход».

Нанесем на оси координат возможные значения переменных «Кредитная история» и «Доход», образовав, таким образом, клетки, в которые впишем значения функции «Риск» из таблицы экспериментальных данных. Удобно подкрасить для наглядности разные значения функции «Риск» различными цветами.

Рисунок – График решения в двухмерных осях

Там, где клетка дает неоднозначное значение Риска (например, Дд=1 и КИ=1 из строк 2 и 3 экспериментальной таблицы), делим её пополам и вписываем в её половинки нужные значения функции и значения новой переменной «Высокий долг» - 0 и 1. Теперь тепловая карта отражает три координаты в той же двухмерной плоскости, отражая трехмерной пространство в проекции на двухмерную плоскость.

График выглядит так:

Рисунок – График решения с учетов третьей оси координат

Разумеется, на двухмерной тепловой карте можно показать и больше осей координат. Для этого надо появившиеся ячейки снова делить пополам на ещё более мелкие части (попеременно – то по горизонтали, то по вертикали).

Тепловая карта – изображение многомерного пространства на плоскости.

Трехмерная плоскость, представляющая собой геометрический образ регрессионной модели: 2.4 - 0.30*KИ - 0.85*Дд - P = 0, расположена под углом к двухмерной плоскости, натянутой на оси КИ и Дд, и пересекает её, оставляя на ней след в виде прямых линий при различных значениях функции «Риск».

Изобразим след нашей трехмерной плоскости, заданной функцией P = 2.4 - 0.30*KИ - 0.85*Дд, на плоскости, заданной осями КИ и Дд, при значениях функции Риск = 0,1,2.

Подставляя Риск = 0 в уравнение трехмерной плоскости, превращаем её в прямую линию: 0 = 2.4 - 0.30*KИ - 0.85*Дд или

КИ = 8 – 2.73*Дд.

И рисуем её на тепловой карте. Аналогично поступая для Риск = 1 и 2, получаем семейство прямых линий там, где плоскость, перемещаясь плоскопараллельно самой себе при изменении значения переменной Риск, пересекает плоскость осей координат (тепловую карту).

Рисунок – Совмещение дискретной тепловой карты и аналогового графика регрессионной модели в многомерном случае

График имеет вид семейства параллельных прямых, каждая из которых соответствует различным значениям переменной Риск = {0,1,2}.

Обратите внимание! Тепловая карта и график регрессионной модели совпадают. Но график регрессионной модели в виде наклонной линии точнее показывает решение в пограничных случаях. Дискретная тепловая карта набрана из прямоугольных дискретных областей, поэтому имеет более грубый вид.

Регрессионная модель (аналоговая по своей природе) поправляет дискретную модель на границах (это хорошо видно в таблицах, где сравнивались решения регрессионной модели и данные эксперимента).

Тепловая карта описывает области, регрессионная модель – их границы.

Регрессионная модель задает границы описываемых тепловой картой областей.

Построим также график многомерной функции в многомерном пространстве осей координат.

Для начала построим на плоскости двухмерного листа многомерные оси координат.

Две оси удобно располагать под углом 90 градусов друг к другу. Однако третью ось можно расположить по отношению к ним как угодно, достаточно чтобы все оси системы имели общее начало координат, исходили из одной точки. Положение третьей оси соответствует положению глаза наблюдателя, ракурсу.

Рисунок – Варианты изображения трёх осей координат в проекции на плоскость

Поскольку третью ось можно расположить как угодно, то и четвертую ось для изображения 4D-пространства также можно расположить, как угодно. Теперь четырехмерное пространство в порядке перечисления осей координат (x, y, z, w) выглядит так:

Рисунок – Вариант расположения четырех осей координат в проекции на плоскость

Заметим, что масштаб разметки осей может быть разным для разных осей (длинные предметы, разглядываемые нами с «торца», выглядят короче, чем есть).

Чтобы построить точку А (2,3,4,-1) в этом пространстве, достаточно отмерить от начала координат (0,0,0,0) по направлению оси Х отрезок длиной 2. Далее из этой точки в направлении оси Y отмерить отрезок длиной 3 и получить следующую промежуточную точку. От этой точки в направлении оси Z (то есть параллельно оси Z) далее отложить отрезок длиной 4. И, наконец, продолжая траекторию построения, в обратном направлении оси W отложить отрезок длиной 1 (поскольку значение координаты W = -1 отрицательно).

Рисунок – Процедура нахождения местоположения точки в четырехмерном пространстве

Данным методом можно установить в ND-пространстве сколько угодно точек и получить вид любой многомерной фигуры. Понять вид фигуры помогают её ребра и грани, которые соединяют точки и положение глаза наблюдателя (ракурс).

Рисунок - 7-мерный куб, 6-мерная плоскость, 4-мерный шар в проекции на плоскость

Сразу надо заметить, что плоскость с неудачного ракурса будет выглядеть как облако точек и, только разглядывая её с ребра, можно осознать её линейность.

Рисунок – Множество точек плоскости, расположенные в 4D-пространстве c разных ракурсов

Заметим, что построенная нами регрессионная модель:

Риск = 2.5 - 0.36*КИ - 0.25*Долг - 0.13*Поручители - 0.80*Доход (модель 1)

имеет вид линейной многомерной функции и соответственно имеет вид прямой линии, при рассматривании её с ребра.

Меняя ракурс наблюдения, можно добиться такого положения глаза наблюдателя к осям координат, что плоскость при этом превратится в прямую линию. Это значит, что мы, как наблюдатели, будем видеть разные оси нашей системы координат под разными углами.

Вычислим такое положение осей к глазу наблюдателя, чтобы плоскость в осях координат выглядела как прямая линия («взгляд с ребра»).

Поскольку при пересечении любой оси плоскостью координаты по остальным осям равны 0, то точка пересечения плоскости Риск(КИ, Дг, П, Дд) с осью Кредитная история будет иметь координату КИ = (-2.5)/(-0.36), с осью Долг будет иметь координату Дг = (-2.5)/(-0.25), с осью Поручители будет иметь координату П = (-2.5)/(-0.13), с осью Доход будет иметь координату Дд = (-2.5)/(-0.8).

Наметим на листе точку начала координат и проведем произвольно относительно её в общем положении прямую линию, изображающую нашу линейную функцию Риск «с ребра». Из начала координат проведем окружность радиусом КИ = (-2.5)/(-0.36) = 6.94. Именно на таком расстоянии находится точка пересечения плоскости и оси КИ от начала координат. Там, где окружность имеет общую точку с прямой Риск, находится точка оси КИ. Проведем ось КИ от начала координат к этой точке. Положение оси КИ найдено.

Положение остальных осей при этом ракурсе наблюдения находится аналогично.

Рисунок – Последовательность нахождения положения осей координат в многомерном пространстве относительно начала координат и плоскости, рассматриваемой «с ребра»

Примечание. При нахождении точки (0,0,0,3.1) для рисования оси Дд, очевидно, что надо будет подвинуть прямую к началу координат. Ранее найденные точки «переедут» по траекториям своих окружностей на новые места.

При помощи подстановок и переобозначений к линейной множественной модели приводятся многие нелинейные модели. Подробно об этом рассказывается в материале следующей лекции.

[ ] Лекция 01. Понятие моделирования. Способы… Лекция 03. Нелинейные регрессионные модели [ ]
Огл.   Авт.   Л 01   Л 02   Л 03   Л 04   Л 05