В литературе в основном рассматриваются вопросы экспертного оценивания для решения задач первого класса. Но и в этой ситуации необходимо помнить особенности экспертных оценок: они несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективные, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки ни применялись.
Для реализации методов экспертных оценок важную роль играет тщательная подготовка их проведения. Этапы организации экспертизы: формирование цели экспертизы; разработка процедуры опроса; формирование группы экспертов; опрос, анализ и обработка информации.
При формулировке цели экспертизы разработчик прогноза должен выработать четкое представление о том, кем и для каких целей будут использованы результаты прогноза. Прогноз может быть ориентирован на:
− повышение обоснованности решений, принимаемых плановыми органами;
− производство технических средств;
− оценку развития различных направлений научных исследований и технических идей и т. д.
В первом случае задача прогноза в основном состоит в определении желательности и необходимости отдельных событий и сроков их свершения. В других случаях задача прогноза должна состоять в определении принципиальной осуществимости и возможности свершения ряда событий в течение определенных промежутков времени.
Успех организации экспертизы во многом зависит от разработки рабочей программы экспертной оценки; оценки типа интервью, «докладная записка», метод комиссии, метод отнесенной оценки и др.
Решение задачи о выборе группы (коллектива) экспертов проводится в такой последовательности:
1. Составляется список вопросов, по которым желательно получить мнение экспертов.
2. Составляется список экспертов, включающий по возможности такое их число, чтобы априори можно быть более или менее уверенным в том, что эксперты могут в совокупности дать заключение по всему множеству вопросов списка.
3. Список вопросов рассылается каждому эксперту с просьбой определить свою компетентность по каждому вопросу, т.е. определить, сможет или не сможет он компетентно участвовать в рассмотрении данного вопроса при экспертизе.
4. Рассчитываются необходимые затраты времени и средств на проведение опроса каждого эксперта.
5. Ставится и решается задача об экспертах, т. е. задача осуществления такого выбора экспертов, чтобы по каждому вопросу можно было получить заключение, по крайней мере, одного эксперта и чтобы при этом затраты времени или средств на проведение опроса экспертов были минимальны.
При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации
где
;
m – количество экспертов, j=
; n – количество рассматриваемых свойств, i=
; rij – место, которое заняло i-е свойство в ранжировке j-м экспертом; di – отклонение суммы рангов по j-му свойству от среднего арифметического сумм рангов по n свойствам.
Коэффициент конкордации W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0≤W≤1; W=0 означает полную противоположность, а W= 1 -полное совпадение ранжировок. Практически достоверность считается хорошей, если W=0,7 .0,8.
Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.
Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции
где Ψi – разность (по модулю) величин рангов оценок i-го свойства, назначенных экспертами А и В: Ψi=
;
TA и TB – показатели связанных рангов оценок экспертов А и В.
Коэффициент парной ранговой корреляции принимает значения - 1 ≤р≤ +1. Значение р=+1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а р= -1 – двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).
Помощь экспертов при принятии решений в сложных ситуациях неоценима. Однако существуют естественные пределы человеческих способностей при восприятии и обработке информации. Работу экспертов лимитируют не только межличностные отношения, но и внутренние психологические и физиологические причины. Оказывается, человек одновременно может оперировать лишь небольшим числом операндов (понятий, идей, моделей, альтернатив и т.д.). Психологи, говоря о пределе возможностей человека, иногда называют это законом «семь плюс-минус два». Кроме того, столкнувшись с очень сложной задачей, эксперт иногда проявляет непостоянство, неуверенность, нелогичность, стремление к резкому ее упрощению. Наконец, в ряде случаев играет роль и низкое быстродействие нервной и мышечной систем человека.
Во всех этих отношениях возможности ЭВМ превосходят способности человека, и возникает простая, но очень плодотворная идея создания единой системы, которая объединила бы возможности человека и машины и компенсировала их недостатки
Методы типа мозговой атаки или коллективной генерации идей
Концепция «мозговой атаки» получила широкое распространение с начала 50-х годов как метод систематической тренировкитворческого мышления, нацеленный на открытке новых идейи достижение согласия группы людей на основе интуитивногомышления. Методы этого типа известны также под названиями«мозговой штурм», «конференция идей», а в последнее время наибольшее распространение получил термин «коллективная генерация идей» (КГИ).
Обычно при проведении мозговой атаки или сессий КГИ стараются выполнять определенные правила, суть которых:
обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей;
приветствуются любые идеи, если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производится позднее);
не допускается критика, не объявляется ложной и не прекращается обсуждение ни одной идеи;
желательно высказывать как можно больше идей, особенно нетривиальных.
В зависимости от принятых правил и жесткости их выполнения различают прямую мозговую атаку, метод обмена мнениями и другие виды коллективного обсуждения идей и вариантов принятия решений. В последнее время при организации сессий КГИ стараются ввести правила, помогающие сформировать некоторую систему идей, т. е. предлагается, например, считать наиболее ценными те из них, которые связаны с ранее высказанными и представляют собой их развитие и обобщение. Участникам КГИ не разрешается зачитывать списки предложений, которые они подготовили заранее. В то же время, чтобы предварительно нацелить внимание участника на обсуждаемый вопрос, при организации сессий КГИ заранее или перед началом сессии участникам представляется некоторая предварительная информация об обсуждаемой проблеме в письменной или устной форме.
Скачать реферат