Практика 16. Экспертиза проектов

Задание 1

Разбейтесь на бригады по 4-5 человек. Создайте таблицу экспертов, единую для всей бригады.

Пример.

В своей бригаде выберите предметную область, в которой Вы все компетентны. Примеры областей: шоколад, автомобили, актеры, стили музыки, жанры кино, сорта мороженого, породы собак, …

Старайтесь выбирать область, в которой предпочтения устойчивы, а, значит, имеют смысл. Например, плохим выбором является экспертиза любимых цветов.

Не выбирайте такую область, в которой решения однозначны и все имеют одинаковое мнение (например, количество комнат в квартире).

Создайте единую для всей бригады таблицу оцениваемых экземпляров предметной области (4-6 экземпляров).

Пример.

Каждый эксперт самостоятельно назначает приоритеты среди проектов. После этого все эксперты сводят свои мнения в общую таблицу приоритетов.

Пример таблицы приоритетов

Проделаем экспертизу мнений несколькими методами.

Метод 1 «Медиана Кемени»

Найдем расстояние между мнением 1 и 2 эксперта. R₁₂=|1-1|+|2-3|+|3-2|+|4-4|=2

Найдите расстояния между мнениями i и j эксперта, перебрав все пары экспертов, и сведите результаты в общую таблицу расстояний.

Найдем сумму расстояний по строке, которая показывает расстояние от мнения отдельного эксперта до всех остальных членов группы (несогласие с группой).

Выбираем эксперта, который имеет меньше всего разногласий с группой, находится по мнению в середине (медиане) бригады. Места между экспертами распределились так:

Первый эксперт занял первое место (у него R=min). Соответственно в качестве ответа принимаются результаты экспертизы первого эксперта, его расклад проектов, а именно:

Метод 2 «большинства»

Первое место отдается тому проекту, которому большинство экспертов отдали первое место. Это проект А (ему отдали первое место трое экспертов), он занимает первое место.

Среди оставшихся проектов надо найти проект, которому большинство экспертов отдали второе место. Такого фаворита нет. Пока пропускаем решение о втором месте.

Среди оставшихся проектов надо найти проект, которому большинство экспертов отдали третье место. Такого фаворита нет. Пока пропускаем решение о третьем месте.

Среди оставшихся проектов надо найти проект, которому большинство экспертов отдали четвертое место. Это проект Г, он занимает четвертое место.

Возвращаясь к проектам Б и В и местам 2 и 3. По количеству занявших первое место фаворитом является проект Б, по количеству занявших четвертое место фаворитом является проект В.

Ответ экспертизы методом большинства:

Примечание. Любой метод может не сработать. Поэтому экспертизу следует делать несколькими методами.

Метод 3 «Альтернатива Кондорсе»

Для каждой пары проектов (i,j) вычисляем: сколько экспертов S_ij отдали предпочтение i-тому проекту перед j-тым.

Например, «проект А лучше проекта Б» считают 3 эксперта (№1,2,4), обратное считает один эксперт (№3). То есть: (S_АБ=3)<>(S_БА=1)

Продолжая с остальными парами проектов, имеем:

(S_АБ=3)<>(S_БА=1), то есть А лучше Б

(S_АВ=4)<>(S_ВА=0), то есть А лучше В

(S_АГ=4)<>(S_ГА=0), то есть А лучше Г

(S_БВ=3)<>(S_ВБ=1), то есть Б лучше В

(S_БГ=3)<>(S_ГБ=1), то есть Б лучше Г

(S_ВГ=3)<>(S_ГВ=1), то есть В лучше Г

Остается отсортировать результаты, построив граф с вершинами А, Б, В, Г и проводя в нем все связи. Стрелку на связи устанавливаем от лучшего проекта к худшему.

Рисунок – Граф предпочтений по результатам экспертизы методом альтернативы Кондорсе

Приводим граф к ярусно-параллельной форме (ЯПФ). На первый верхний ярус устанавливаем такую вершину, в которую не входят никакие стрелки.

На второй ярус устанавливаем такую вершину, в которую входит только стрелка связи от вершины первого яруса, остальные стрелки, исходящие из вершины второго яруса, ведут вниз, к вершинам более низких ярусов. И так далее.

Очевидно, что в ЯПФ-графе стрелки связей идут строго сверху вниз.

Рисунок – Граф в ярусно-параллельной форме (пример)

Ответ экспертизы методом альтернативы Кондорсе:

Метод 4 «Борда»

Подсчитаем количество штрафных баллов, полученных каждым проектом от всех экспертов.

Проект, который получил минимум штрафных баллов, считается на первом месте. И так далее, сортируя проекты по числу баллов.

Ответ экспертизы, полученный методом Борда:

Сводим результаты экспертизы, полученные разными методами, воедино:

Окончательный результат экспертизы U:

Примечание. Рассмотренные методы отражают законы, которые не наблюдаются в природе, то есть субъективны, а, значит, могут показывать разный результат на одном и том же наборе исходных данных. Поэтому необходимо проводить экспертизу несколькими методами, выводя общий средний результат.

Заодно отметим, что методы дают близкий результат друг к другу и все-таки имеют некоторую долю объективности.

Проверка результата экспертизы бригады

Проведем две проверки: степень согласия группы и оценка объективности каждого эксперта.

Проверка степени согласия бригады

Количество экспертов, n=4.

Количество проектов, m=4.

При полном согласии экспертов W=1, при полной несогласованности экспертов: W=0.

Проверка на объективность экспертов

A_i = 1 – D(Э_i, U)/∑D(Э_j,U), где D – расстояние между мнением вычисляемого эксперта и результатом экспертизы бригады U, ∑D – сумма всех расстояний от каждого эксперта до результата бригады U.

А₁ = 1 – (|1-1|+|2-2|+|3-3|+|4-4|)/8 = 1

A₂ = 1 – (|1-1|+|3-2|+|2-3|+|4-4|)/8 = 0.75

A₃ = 1 – (|2-1|+|1-2|+|3-3|+|4-4|)/8 = 0.75

A₄ = 1 – (|1-1|+|2-2|+|4-3|+|2-4|)/8 = 0.5

Менее объективным (компетентным) оказался эксперт №4, самым компетентным – эксперт №1.

В отчете представьте решения экспертизы четырьмя методами, результат экспертизы и его проверки.

Задание 2

Прочитайте лекцию «Экспертиза» - метод Дельфы.

Метод Дельфы применяется в случае, если предметная область такова, что мнения экспертов не могут быть учтены. Например, выбор жены.

Изучите метод и пример, рассмотренный в лекции. Выберите свою предметную область и сформулируйте свой пример из этой области. Примените метод Дельфы и проведите экспертизу.

Обратите внимание, что метод Дельфы - итерационный. Необходимо плавно снижать порог принятия решения до момента, когда граф становится ЯПФ. В этот момент граф становится решением экспертизы.

В отчете представьте описание примера, промежуточные итерации и результат экспертизы.