Мы как профессионалы в области оценки постоянно сталкиваемся с тем, что при подборе сотрудников и принятии кадровых решений используются невалидные и ненадежные методики, а иногда и откровенно шарлатанские технологии. К сожалению, это встречается даже в, казалось бы, серьезных организациях, в которых работают профессионалы.
Почему это происходит? Как получается, что на рекламные уловки попадаются даже вполне разумные и опытные руководители?
Одной из причин является так называемый «эффект Барнума».
Финеас Барнум – известный в прошлом цирковой деятель и антрепренер. Некоторые приписывают ему авторство фразы: «Ежеминутно на земле рождается по простофиле». Впрочем, для описания феномена, о котором пойдет речь далее, значительно лучше подходит пушкинская цитата: «Ах, обмануть меня не трудно! Я сам обманываться рад!».
Нам периодически приходится слышать от весьма уважаемых людей нечто вроде: «Ну, вы знаете, я сам прошел это тестирование и читал про себя отчет. Там, похоже, целый ряд вещей вполне про меня». Таким образом, эффект Барнума широко эксплуатируется продавцами различных методик оценки персонала. Иногда это происходит случайно. Но вполне может иметь место и откровенное шарлатанство.
Как это работает?
Уже в течение нескольких десятков лет психологи проводят эксперименты, суть которых мы проиллюстрируем на примере исследования Росса Стагнера. Оно интересно тем, что его участниками были, как мы теперь бы сказали, профессионалы в сфере HR.
Стагнер дал заполнить 68 кадровикам различных фирм специальный опросник и сказал, что эта методика позволяет составить детальный психологический портрет каждого из них. Однако на самом деле он всем дал одно и то же фальшивое описание личности, в котором было использовано 13 фраз из различных гороскопов.
После этого Стагнер попросил испытуемых оценить, насколько точно данное описание отражает их личностные особенности.
Результаты впечатляют:
Более трети участников эксперимента сочли, что их психологические портреты были «поразительно точными». 40% сказали, что они «довольно точны». И почти никто не счел свою характеристику полностью ошибочной.
Почему люди верят подобным описаниям? Тут действует целый ряд факторов, и в одной из наших следующих статей мы разберем это на конкретном примере.
Сейчас же поговорим о том, как избежать подобных ловушек людям, принимая решение о выборе оценочной методики?
На каждом тренинге по профессиональному тестированию мы рассказываем о двух ключевых характеристиках – валидности и надежности. Первая показывает, насколько методика оценки действительно оценивает то, что она предназначена оценивать. Вторая показывает устойчивость методики к случайным искажениям.
Важно понимать, что эти характеристики возможно оценить только путем специальных исследований. Эти исследования требуют соответствующей методологии, правильно построенных выборок, обладающих достаточным размером и репрезентативностью, математического аппарата. Исследования требуют времени и инвестиций. Поэтому у тех, кто хочет быстро заработать на «новейших методиках оценки», руки до исследований обычно не доходят.
В настоящее время на российском рынке можно встретить большое количество инструментов оценки, валидность и надежность которых не выдерживает никакой критики. Более того, немало методик, авторы и пользователи которых вообще никогда не проводили исследований и не оценивали эти показатели. Но благодаря «эффекту Барнума» люди верят таким методикам и даже используют их для принятия решений как в личной жизни, так и в организациях.
Вот три простых совета, которые помогут вам не стать жертвой эффекта Барнума:
- Не тестируйте методики на себе. Эффект Барнума, как и другие психологические феномены, действует на всех. Если вам предлагают попробовать какую-либо методику, лучше проверьте ее на ком-то, кого вы хорошо знаете. Тогда вы сможете намного более объективно сравнить описание с реальным человеком.
- Как минимум, попросите автора или продавца методики показать вам результаты исследований валидности и надежности. Если вы услышите, что подобные исследования не проводились, или услышите общие фразы вроде: «конкретных цифр у нас нет, но эта методика существует уже много лет и применяется в целом ряде уважаемых организаций», смело отказывайтесь. Гороскопы и гадания тоже существуют веками, но это еще не повод вводить гадалку в штат HR-подразделения.
- Если вам говорят, что исследования были, попросите рассказать о них. Даже если вы не являетесь специалистом в психометрике, ряд вещей можно проверить при помощи фактов и логики.
В следующих наших материалах мы расскажем о различных нюансах проведения исследований. Это позволит вам сделать свое общение с продавцами методик намного более предметным.
