Обработка качественных оценок экспертов

В тех случаях, когда прогнозируемый параметр не удается оценить в количественной шкале, его оценивают в качественной шкале. Полученные в этом случае качественные оценки представляют собой результаты ранжирования объектов, т.е. расположения их по степени возрастания или убывания оцениваемого параметра. Присвоенные объектам ранги говорят степени выраженности измеряемого свойства, но не говорят насколько это свойство сильнее или слабее выражено у объектов имеющих разные ранги. Ранги могут присваиваться по возрастающей (чем сильнее выражено свойство, тем выше ранг) или по убывающей (чем сильнее свойство, тем меньше ранг).

В случае, когда эксперт считает, что все объекты различаются между собой по оцениваемому свойству, то он присваивает каждому объекту свой, отличный от других, ранг, таким образом, число рангов равно числу оцениваемых объектов или иными словами оценка производится по шкале с числом делений равным числу объектов. Если на взгляд эксперта среди оцениваемых объектов имеются такие у которых измеряемое свойство выражено одинаково, то он присваивает им одинаковые ранги. Каждое повторение рангов приводит к уменьшению длинны шкалы, по которой производится ранжирование, на единицу. В результате при наличии в оценках эксперта повторяющихся рангов его оценки могут быть сопоставлены с оценками другого эксперта только в том случае, если число повторяющихся рангов у них совпадает. В противном случае сопоставление этих оценок между собой без специальной обработки не возможно, так как эти оценки фактически получены путем измерения с использованием шкал различной длинны.

Процедура приведения ранговых оценок экспертов к сопоставимому виду называется стандартизацией рангов. Ее содержание проще всего уяснить на конкретном примере. Имеем ранговые оценки тремя экспертами вклада пяти объектов (исполнителей, отделов и т.д.) в достижение общего. Ранжирование проведено по убывающей (первый ранг – наиболее ярко выраженное свойство). Результаты их работы представлены в таблице 1.

Таблица 1. Исходные ранговые оценки экспертов.

Как видно из этих данных первый эксперт оценил вклад двух исполнителей одинаково, второй эксперт – дважды признал вклад двух пар исполнителей одинаковым, и только третий эксперт посчитал, что вклад каждого исполнителя различен. В результате получены оценки вклада исполнителей в шкалах различной длины (от 3 до 5). Подтверждением того, что оценки несопоставимы между собой, является различная сумма оценок по каждому эксперту. В том случае, когда они использовали бы одну и туже шкалу, эта сумма была бы одинакова.

В процессе стандартизации рангов вместо рангов всем измерениям одного эксперта присваиваются места по следующему правилу. Последовательно просматриваются все его оценки и находятся те из них, которые имеют самый низкий ранг. Первому объекту, имеющему самый низкий ранг присваивается, первое место, всем последующим объектам, имеющим тот же ранг, присваиваются места возрастающие на единицу. Номер места также увеличивается на единицу при переходе к объектам, имеющим следующий ранг, а сам процесс присвоения мест повторяется, т.е. каждому последующему повторению нового ранга присваивается место на единицу большее. В результате этой процедуры получаем число мест для оценок одного эксперта равное числу оцениваемых объектов (табл. 2).

Таблица 2. Места для оценок экспертов.

Далее для каждой группы объектов, имеющих один и тот же повторяющийся ранг (в таблице 2 это ячейки одинаковой штриховки), вычисляется среднее значения мест. Найденные средние значения мест для объектов с повторяющимися рангами, а также места (исходные ранги) для остальных объектов представляют собой стандартизованные ранги (табл. 3). Полученные стандартизованные ранги в отличии от исходных рангов сопоставимы между собой так как являются результатом измерения в одной и той же шкале для всех экспертов. Сумма стандартизованных рангов по каждому объекту отражает коллективное мнение экспертов и является итоговой коллективной оценкой (последняя строка табл. 3).

Таблица 3. Стандартизованные ранги.

Следует отметить, что стандартизация рангов не является процедурой простого равномерного растяжения более коротких шкал до требуемой длинны. Удлинение шкал при стандартизации производится за счет их растяжения только в тех местах, где имеются повторения.

Оценка степени согласованности мнения экспертов осуществляется с помощью коэффициента конкордации (согласия). Для этого вначале необходимо рассчитать среднюю сумму рангов по формуле:

где:         – число экспертов;

        – число оцениваемых исполнителей.

Для рассматриваемого примера . Далее по каждому объекту необходимо найти – сумму квадратов отклонений суммы стандартизованных рангов от средней суммы рангов :

где:         – сумма стандартизованных рангов по i-му объекту.

Результаты расчетов сведены в таблицу 4.

Таблица 4. Расчет .

В случае если бы все эксперты были единодушны, т.е. их оценки совпадали, и они оценили бы всех исполнителей, так как это получилось по стандартизованным рангам, то была бы в этом случае максимальной. Обозначим ее через , она может быть рассчитана по формуле:

Коэффициент согласия это отношение к , если его значение превышает 0.4, то мнение экспертов считается согласованным.

Для рассматриваемого примера = 90, /=0.66>0.4 и мнение экспертов можно признать согласованным.