ПРОТЕСТИРОВАТЬ ВСЕ, ЧТО ДВИЖЕТСЯ!
ПРОТЕСТИРОВАТЬ ВСЕ, ЧТО ДВИЖЕТСЯ!
Диалог в кабине самолета:
Командир: Бортинженер, прибор!
Бортинженер: Шестнадцать!
Командир: Что — «шестнадцать»??
Бортинженер: А что — «прибор»???
Глава о блеске и нищете психологических и прочих тестов. Автор учит читателя отличать вольтметр от волшебной палочки, а потом предлагает желающим краткий курс конструирования тестов
Название этой главы я не придумал, а взял из газеты «New York Times» середины восьмидесятых, ксерокопия которой у меня до сих пор хранится. Там на полном серьезе обсуждался вопрос, не слишком ли Америка увлеклась тестами, и к чему это может привести[40].
Читателям, которые где-то прослушали курс психологического тестирования, стоит добраться до конца второй страницы. Если вы ничего нового для себя не узнали, можете пропустить главу. Дальше будет то же самое.
Тесты в общественном сознании российского народа (включая многих кадровиков) имеют некий волшебный смысл. Ты сажаешь человека за комп, он отвечает на кучу дебильных вопросов типа «Слышите ли вы иногда странные вещи?», а потом получаешь полный психологический портрет, включая детали, о которых он (в смысле, человек, а не портрет) и сам не подозревал. Конечно, вы и сами уже успели подвергнуть себя этой процедуре. Уверен, что, прочитав интерпретацию собственных ответов, вы на одни позиции прореагировали: «Ах, как это верно!». А на другие: «Ну, тут тест ошибся!»
Откуда же компьютер знает про вас столько пикантных подробностей? И почему он периодически ошибается?
Начнем с того, что дело не в компьютере. Он всего-навсего выполняет элементарную расчетную программу. Раньше (20 лет назад) все делалось точно так же, и вопросы и психологические характеристики были те же. Только от вас требовалось вручную подсчитывать количество баллов по ключу к тесту, накладывая на бланк ответов специальные вырезанные из бумаги «маски», а потом искать в описании интерпретации.
Самое главное: слово «тест» в переводе с английского означает всего-навсего «проверка», а вовсе не «ВОЛШЕБНАЯ ПАЛОЧКА, ПОЗВОЛЯЮЩАЯ КОМУ УГОДНО, КТО СУМЕЛ ЕЮ ЗАВЛАДЕТЬ, УЗНАТЬ ГЛУБИННЫЕ ТАЙНЫ ЛИЧНОСТИ ТОГО, КОМУ УДАСТСЯ ЕЕ ПОДСУНУТЬ». Например, тест на знание правил дорожного движения. Или таблицы умножения. Или на беременность (хотя, пардон, это тоже иногда относится к тайнам личности).
На самом деле тест — это индикатор или измерительный прибор. Вам, как управляющему трудовыми ресурсами, он может пригодиться в основном для того, чтобы понять, насколько данный соискатель подходит к вашей вакансии. Или, в совсем уже экзотических случаях, почему у данного сотрудника что-то не выходит, способен ли он исправить положение, а если нет — как ему помочь (если оно того стоит).
Поэтому я сразу отметаю из нашего рассмотрения такие тесты, как всемирно известные кляксы Роршаха или менее популярный в народе, но более эффективный инструмент — ТАТ[41]. Они нужны психотерапевтам. Или вы хотите копаться в глубинах подсознания каждой нанимаемой на работу секретарши? Если да, то вы, скорее всего, ошиблись с выбором профессии.
Остальные тесты, которые нужны вам, а не психотерапевтам, можно разделить на две категории. Первое — это ТЕСТЫ ЗНАНИЙ ИЛИ ДОСТИЖЕНИЙ. Они показывают, насколько человек владеет нужными знаниями или как умеет решать профессиональные задачки. Наиболее известный из них сейчас в нашей стране — TOEFL, измеряющий уровень владения английским языком. «Продвинутые» бухгалтеры и финансисты знают о тесте СРА, используемом для профессиональной сертификации специалистов. Свои специальные тесты разрабатывают многие компьютерные фирмы, тот же Microsoft. В некоторых вузах, особенно технических, конкурсные экзамены все чаще принимаются в тестовой форме. А на базе факультета психологии МГУ уже несколько лет развивается система «Телетестинг», приглашающая школьников всей страны оценить свои знания с помощью своеобразных интернет-олимпиад.
Второе — настоящие ПСИХОЛОГИЧЕСКИЕ тесты. Они призваны определять, подходит ли человек по своим психологическим данным (тем же темпераменту, личностным особенностям, способностям к запоминанию, внимательности, коммуникабельности и проч. и проч.) к требованиям должности, на которую претендует.
Эти два вида тестов — измерительные приборы, позволяющие вам быстро и без скидок на личную придирчивость экзаменатора (мало ли что ему не понравилось, или кто сумел ему дать взятку) давать правильную оценку тестируемому.
А что такое измерительный прибор? У вас в машине есть спидометр, который показывает вам скорость движения. На самом деле он показывает не то, что вы думаете, а совсем другое: какое напряжение подается от датчика, связанного с колесами, на маленький электродвигатель, отклоняющий стрелку за пластиковым окошком. Поэтому его элементарно обмануть: поставим машину в стенд на валки, раскрутим их как следует, и спидометр покажет любую скорость… при неподвижной машине.
Хорошо, изменим конструкцию. Приделаем на автомобиль сверху крыльчатку, и пусть наш спидометр показывает скорость движущейся мимо атмосферы. Все равно не выйдет: порыв ветра — и наш прибор опять-таки покажет скорость воздушного потока, а не автомобиля.
Я уже не говорю об элементарных поломках самого, в общем-то довольно сложного, прибора.
Все то же самое можно сказать о тестах. На самом деле они никогда не измеряют то, что вы хотите померить. Просто они так сконструированы, что позволяют вам по результатам давать суждения и оценки.
Вот здесь и начинается блеск и нищета, прямо по Бальзаку. С одной стороны, вам предлагается без особого труда за полчаса определить, на что человек способен. С другой стороны: а вы уверены, что оценка будет правильной?
Поэтому главное требование к тестам — валидность. Внятного русского перевода в одно слово этого термина нет, потому и употребляется англоязычный. Он означает следующее: «данный прибор действительно меряет то, что должен мерить».
Возьмем, к примеру, какой-нибудь из распространенных тестов на интеллект. Большинство из них состоит из коротеньких логических задач: кто больше решит за заданное время, у того и интеллект выше. Хочется сразу сказать: тот умнее. Того и возьмем на работу.
Так? Нет, потому что мы измеряли не «ум» и не «интеллект» (кстати, психологи до сих пор так и не договорились между собой, что это такое), а способность к решению логических задач, и ничего более!
Видите: мы совершили логическую ошибку, поставив знаки равенства между цепочкой понятий, в начале которой стоят логические задачки, а в конце — предполагаемая профессиональная успешность. Которую, собственно, и хотели измерить.
Что же, тесты на интеллект ни о чем не говорят? Да нет же. Просто прежде чем использовать их в практике, например, профотбора, сначала необходимо доказать их валидность. То есть тот факт, что их результаты действительно как-то позволяют оценивать профессиональную пригодность кандидатов. Я сказал «как-то», потому что могу назвать[42] несколько профессий, где интеллект и профессиональные результаты связаны отрицательно. То есть люди с низким интеллектом работают успешнее!
Немного выше я обещал рассказать, как мы (в смысле СССР) на пятьдесят лет обогнали Америку в смысле проблем с целесообразностью тестирования. Это драматичная история, не всем известная, и ее стоит послушать.
В первые годы советской власти очень остро стояли проблемы образования, в первую очередь — среднего. Старая гимназическая система явно не подходила для формирования «нового человека», поэтому разные экспериментальные школы, концепции, теории возникали одна за другой. Многое пытались принести из Европы (напоминаю: это было еще очень задолго до холодной войны, и «иностранное» еще не воспринималось как «чуждое» и «не наше»). В частности, таким образом к нам попала модная наука педология, которая показалась привлекательной как ученым, так и педагогам-практикам.
Суть дела, если кратко: проводим детей через набор тестов, показывающих уровень интеллектуального развития. Кто набрал нужное количество баллов — учись в «нормальной» школе. Кто нет — отправляйся в «специальную», то есть «для дурачков».
В каком-то смысле эта идея звучит перспективно: действительно, зачем учить вместе и по одной программе и явно «продвинутых» и явно «слабых» детишек: не лучше, ли создать для них более соответствующие условия?
В действительности все оказалось намного сложнее. Одна из главных проблем была связана со слабостью самих педологических и педагогических кадров. Все мы учились в средней школе уже конца XX века, у многих дети учатся сейчас, и я уверен, у большинства мнение об учителях, а тем более чиновниках от педагогики не самое высокое. А представьте, что было в двадцатых-тридцатых!
Другая проблема была связана с примитивным пониманием педологами самого образовательного процесса и критериев уровня развития. Наш великий психолог Л.С. Выгодский показал, что дело не в достигнутом уровне, а в так называемой зоне ближайшего развития. Важно не то, что ребенок способен сделать сам (а именно это и измеряли тесты), а то, на что он способен при минимальной информационной поддержке взрослого. Это позволяет оценить его возможности к развитию[43].
Но мы увлеклись. Конец этой истории таков. Говорят, педологи определили «не в ту» школу дитя кого-то из высших чинов. Последовало разбирательство, а за ним — известное всем отечественным психологам и педагогам постановление ЦК ВКП(б) от 1936 года «О педологических извращениях в системе Наркомпроса»[44], которое положило конец педологии, а заодно и психологии и напугало выживших психологов на всю оставшуюся жизнь. После чего тесты и тестирование в СССР были забыты где-то до начала 70-х. Отсюда, думаю, и столь романтичное к ним отношение сейчас.
Вернемся к нашей основной теме. Если тест — это измерительный прибор, то нам надо прежде всего понять, что мы им собираемся мерить. Отсюда наши требования к сложности прибора и, естественно, согласие за него платить. Еще одна «электрическая» аналогия: чтобы просто найти обрыв в цепи, нужен копеечный пробник, состоящий из батарейки, лампочки и пары проводков, его легко самому сделать. А если надо определять частоты колебаний, придется покупать осциллограф.
Бесплатные или почти бесплатные тесты, которые вы можете скачать из Интернета или купить на пиратском диске за 100 рублей, — это вообще не тесты. Как измерительному прибору им доверять нельзя. Что-то они покажут, вот только что?
Приобретая психологический тест у серьезных разработчиков, вы платите не за примитивную программную оболочку, какую напишет первокурсник, а именно за валидность. Как же она достигается? Для этого нам придется покопаться в технологии изготовления тестов. Это пригодится, потому что чуть ниже мы попытаемся создать тест сами.
Есть такой тест, довольно известный, классификатор Майёрс — Бриггс (MBTI). Он позволяет отнести человека к одному из шестнадцати типов, различающихся по темпераменту, стилю жизни и работы, общению с окружающими. Эта методика очень популярна среди психологов, работающих по менеджерской проблематике, потому что вроде бы отражает социально-психологическую структуру компании. Если среди менеджеров будет преобладать один тип, то фирму ждут определенные проблемы, а если другой — то иные.
Купив MBTI на пиратском диске за 100 рублей, я обнаружил, что именно эту его версию (взявшуюся лет десять назад в нашей стране, как и многое другое, непонятно откуда) кое-кто из коллег рекомендовал как «нормальную». Решил попробовать. Мне удалось провести через тест более 150 человек, большинство из которых мне хорошо известны с точки зрения оцениваемых тестом параметров. И вот что получилось.
Из шестнадцати возможных типов я обнаружил только девять, остальные вообще не встречались.
Из них только один, ISTJ, названный в интерпретаторе «Прирожденным организатором жизни», попавшийся с десяток раз, всегда абсолютно соответствовал своему описанию по всем параметрам, до мелочей.
Тип ESTJ, «Прирожденный руководитель», встречался намного чаще других, но… в действительности отнесенные к нему люди были какими угодно. Они могли соответствовать характеристикам полностью или частично, а пара-тройка обследованных — как говорится, с точностью до наоборот.
Один из типов попался мне лишь раз. Это был хорошо знакомый по совместной работе зам генерального директора средней компании, весьма своеобразная личность. Про него в интерпретации говорилось: «Этот тип часто свойственен высшему руководству крупных японских корпораций». Я понял, что в нем действительно есть что-то от самурая.
У меня был лишь один случай, когда MBTI действительно помог при профотборе, да и то условно. Одна весьма импозантная дама, которая произвела на всех большое впечатление знаниями и опытом, попала под тип, характеризующийся нерешительностью и неумением занять жесткую позицию по отношению к подчиненным. А должностная позиция, напротив, требовала «выстроить» достаточно распущенный прежним руководством и к тому же женский коллектив. При обсуждении кандидатуры я высказал сомнения, но оказался в меньшинстве… Через полгода с дамой пришлось расстаться, поскольку бардак в отделе при ней принял уже совсем катастрофические масштабы.
Как вы полагаете, можно ли использовать этот тест при профессиональном отборе менеджеров? В каком-то смысле да. По крайней мере, если попадется ISTJ, вы с достаточной уверенностью будете знать, чего от него ожидать. Если ESTJ, то вы можете смело заявить: «Я знаю, что ничего не знаю». Если попадется один из не попавшихся мне семи типов, вы можете насторожиться тем, что перед вами — редкий экземпляр, практически не встречающийся среди менеджеров.
На самом деле использование таких тестов полезно только в сочетании с другими, более привычными инструментами отбора: анализом биографии, собеседованием, наблюдением. Но есть и опасность: прочитав интерпретацию теста, вы можете получить «эффект ореола», то есть начать смотреть на человека сквозь результаты теста. Так что лучше сначала поговорить с человеком, а потом тестировать: здесь тест скорее поможет подтвердить или опровергнуть ваши личные впечатления. В наиболее сложных и ответственных случаях можно провести повторное собеседование после тестирования. Я обычно делаю так: показываю кандидату результаты и спрашиваю, с чем он согласен, а с чем нет. Это очень хорошая возможность дать человеку «раскрыться».
Только что мы с вами рассмотрели самый примитивный, можно сказать, игрушечный пример валидизации теста.
В чем смысл? Берем тест, проводим через него достаточно большое число людей, а потом сравниваем результаты с какими-то другими показателями, например, экспертными оценками, результатами других тестов (валидность которых нам известна) или объективными достижениями в работе. Я использовал самого себя как эксперта. Чего не хватило, так это серьезной статистической обработки данных.
Ну хорошо, скажете вы, а если мне попался переводной американский тест? Ведь он уже наверняка валидизирован-перевалидизирован! Ему-то можно верить?
Нет, и вот почему. Помимо валидности к тестам применяется еще одно требование — надежность. Оно означает, что тест должен одинаково правильно работать в разных странах, в разное время и на разных контингентах обследуемых лиц.
Здесь у меня есть любимый пример. Один из самых известных в мире тестов — Миннесотский многофакторный личностный опросник, MMPI[45]. В нашей стране используются обычно две разные версии: Ф.Б. Березина (известная под названием ММИЛ) и Л.Н. Собчик. Обе вполне уважаемы и уже в 80-х были «штатными» инструментами профотбора в органы государственной безопасности СССР.
Так вот, в MMPI есть утверждение (там не вопросы, а утверждения, с которыми надо соглашаться или нет): «Вы религиозны». Представьте себе реакции на него:
а) жителя США, где религиозность — признак добропорядочности;
б) советского человека начала 70-х, когда за религиозные убеждения изгоняли из комсомола со всеми вытекающими;
в) современного жителя России, где теперь даже «коммунисты — во Христе».
Не кажется ли вам, что ответ «нет» в этих трех случаях будет означать три разные вещи?
И таких примеров очень много. В личностных тестах важен не ответ на какой-то конкретный вопрос, а тенденция отвечать на вопросы шкалы тем или иным образом. Зачастую человек даже не понимает, по какой шкале «проходит» тот или иной пункт. Самое главное — это тестовые нормы, определяемые при валидизации чисто статистически на большой выборке людей. А представьте, как эти нормы «плывут» от страны к стране, от одной социальной группы к другой (возрастной, профессиональной, этнической — какой угодно!), от десятилетия к десятилетию… Я видел ситуацию, когда у одной женщины профиль MMPI радикально изменился буквально за три месяца. В это время погиб ее ребенок.
В конце 80-х мы с коллегами разработали тест под названием «Кругозор», который должен был измерять уровень общей начитанности и эрудиции у выпускников технических вузов. Тогда это было нужно, уже не важно зачем. Тест валидизировался на нескольких сотнях человек и прекрасно работал. Недавно я в него заглянул — и понял, что годится он только для урнирования, то есть почетного размещения в урне для бумаг. Большинство использованных там понятий уже «ушли», а эрудицию ныне должно отражать знание совсем иных слов… А ведь это всего-навсего тест знаний! С личностью намного сложнее.
Если все так непросто, стоит ли вообще использовать тесты при профотборе? Я вижу следующие варианты, когда определенно стоит.
1. У вас шквальный поток кандидатов, с которым существующая система отбора просто не справляется. Может быть, компания интенсивно растет, а может — текучесть кадров бешеная (но в последнем случае дело, скорее всего, не в качестве отбора). Тогда простая батарея тестов (в психологии принято говорить именно «батарея», а не «набор» или «комплекс»), поставленная в качестве первого фильтра, поможет вам сразу отсечь заведомо непригодных. При условии, если это действительно фильтр (валидность!), а не игрушка. Кстати, наш упомянутый выше тест «Кругозор» работал именно так, освобождая трудовые ресурсы кадрового аппарата для более тонкого изучения кандидатов.
2. Все наоборот. У вас «штучный» отбор с очень высокой стоимостью риска ошибки. Например, финансовый директор компании. Если вы отберете неподходящего кандидата, фирма потеряет значительные средства не только на том, что будет платить высокую зарплату человеку, которого потом придется менять, но и на потенциальных потерях от всего, что он натворит. Я уж не говорю о бесценной информации, которую он унесет с собой и потом неизвестно как использует.
Вот это — очень сложный и достаточно редкий случай. Здесь вы должны быть полностью уверены как в валидности используемых тестовых методик, так и в собственной квалификации. Может, лучше нанять сторонних экспертов с хорошей репутацией? Сейчас эта услуга широко распространена среди рекрутерских и консалтинговых фирм. Посчитайте цену вопроса.
3. Наконец, вы просто полагаете, что внедрение тестов в практику профотбора вашей компании тестовых методик будет полезным. Это вполне естественное желание для активного и любознательного человека. Только вспомним, что мы живем уже не в той стране, где наука была средством «удовлетворения личного любопытства за государственный счет». Прикинем, во что ваши идеи встанут фирме. Окупится ли такая инициатива?
«Серьезные» тесты стоят на рынке 200-500 долларов. Есть и более дорогие, разработчики которых претендуют на универсальность, оригинальность, комплексность обследования и так далее. Когда вы придете к начальству с запросом на такую сумму, неизвестно, какова будет реакция. По моим наблюдениям, руководители, распоряжающиеся деньгами в компании, нередко занимают одну из противоположных позиций. Одни считают тесты «шаманством», и им вы просто ничего не докажете. Другие, наоборот, полагают, что тесты — вещь полезная. Таким и доказывать ничего не надо.
Вспомним, как мы вычисляли стоимость кадровой ошибки. Как минимум. Если подобранный кандидат не выдерживает испытательного срока, она составляет как минимум:
Стоимость поиска + Оплата его труда на испытательный срок + Стоимость подбора нового кандидата
Если наш незадачливый кандидат продержался, скажем, два месяца, то общая стоимость ошибки составит примерно его учетверенную зарплату. Пусть она составит 500 долларов, значит, в сумме фирма потеряла 2000 долларов. Смотрите: приобретение тестов окупит себя, даже если за счет них вы предотвратите единственную ошибку отбора!
Но ведь не каждый же раз вы ошибаетесь! Предположим, вам приходится заполнять две такие вакансии в месяц, то есть 24 вакансии в год. Посчитайте, каков реальный процент ошибок в вашей практике. Вряд ли он составит больше 25%: даже в таком случае вам придется серьезно подумать о качестве отбора. Значит, при 24 вакансиях в год вы ошиблись 6 раз. Общая сумма потерь фирмы:
2000 долл. х 6 = 12 000 долл.
Если приобретение тестов сократит число ошибок, скажем, на 1/3, то выигрыш компании за год составит 4000 долларов. Для компании с приличным оборотом сумма невеликая, но в бюджете управления трудовыми ресурсами она смотрится неплохо.
А теперь повторите расчеты, используя не придуманные мной для примера, а реальные показатели вашей работы.
Теперь поговорим о том, что надо сделать, чтобы ввести тестирование кандидатов в практику.
Для начала надо определиться, какие качества кандидатов вы намерены оценивать, а исходя из этого — какие тесты следует применять. Поэтому не поленитесь ознакомиться с литературой по использованию тестов в профотборе. Она сейчас вполне доступна.
Если ключевой вопрос отбора — это квалификация и знания кандидата, то в большинстве случаев тесты либо не нужны, либо вы их не достанете, так как пока на рынке они практически отсутствуют. Лучше всего положиться на экспертные заключения. Другой вариант — сделайте тест сами. Об этом будет рассказано ниже.
Если ключевыми характеристиками профессиональной пригодности являются психологические, деловые и личные качества, то надо понять, какие именно. Иначе вы начнете с помощью тестов отсеивать не тех, кого надо.
В теории для решения этого вопроса вам придется провести целое исследование: провести тестирование действующих сотрудников компании с помощью максимально универсальных тестовых методик, а потом определить, какими показателями более успешные сотрудники отличаются от менее успешных. Но тогда вы превратитесь из службы управления персонала в психодиагностическую лабораторию. Неизвестно, как на это посмотрит руководство.
Более простой путь — воспользоваться вашим личным опытом и здравым смыслом. Выпишите в столбик слева фамилии успешных сотрудников, а справа — неуспешных, в том числе отсеявшихся по результатам испытательного срока. Попробуйте без «высокой психологии», на простом бытовом языке объяснить, какие деловые и личные качества приводят к негативным результатам. Это гораздо проще сделать, чем кажется, а результат бывает ошеломляющим.
Вообще-то с теориями и здравым смыслом — вопрос сложный. Когда-то они работают, а когда-то нет. Например, в любой книжке вы прочтете, да и здравый смысл подсказывает, что торговец должен отличаться хорошей коммуникабельностью. Даже целая отрасль тренингов для этого существует. Однако лично знаю уже не менее десятка случаев, когда в самых разных компаниях на разных рынках (от промышленного оборудования до страхования) добивались «звездных» успехов такие персонажи… Чучундра чучундрой, выглядит как-то странно, и слова лишнего не выдавишь. По тестам — полное безобразие: шизоид, интраверт. То есть человек, у которого с общением заведомо сложно. А выясняется, что по результатам намного превосходит тех, у которых все тесты на «пять с плюсом». Я думаю, каждый опытный кадровик со мной согласится.
Определившись, поищите на рынке тестовые методики, наиболее близкие к интересующим вам качествам. Предложений полно в Интернете, и сотрудники фирм-производителей вас охотно проконсультируют. Можете также походить на семинары, устраиваемые такими фирмами. Только не надо выбирать тесты по принципу «чем сложнее, тем лучше». Часто бывает наоборот.
Приличные фирмы — разработчики тестовых методик обычно бесплатно предоставляют демоверсии своих тестов, чтобы вы могли оценить их на практике. Обязательно воспользуйтесь этим. Сначала заполните тест сами и оцените, насколько результаты будут соответствовать вашему мнению о себе. Тест хорош, если он наряду с положительными характеристиками будет раскрывать также и слабые стороны. Если вы такие за собой знаете и тест «попал в точку», значит, методике можно доверять.
Проделайте то же самое с несколькими хорошими знакомыми, а потом обсудите с ними результаты.
Осваивая тест, старайтесь не пользоваться самым простым и очевидным путем: чтением интерпретаций. Обязательно выясните и запомните, что означают шкалы теста. Прежде чем читать интерпретацию, рассмотрите профиль: в действительности именно он имеет главное значение. Вообще приучайте себя к тому, что тестовая интерпретация — лишь вольное и не всегда удачное «переложение профиля на русский язык».
Наконец, вы приняли решение, получили нужные средства и приобрели тест или целую батарею тестов. Что дальше?
У вас, а возможно, и у руководства компании может возникнуть идея протестировать для начала весь действующий персонал. Это полезно для того, чтобы быстро убедиться в действенности теста, выявить его особенности и возможные слабые стороны (вспомним, что я рассказывал выше об опыте применения MBTI). Но может принести и неприятности…
Начнем с того, что сотрудники, естественно, отнесутся к тестированию с недоверием. Даже если вы проведете соответствующую агитацию (я в таких случаях объясняю, что хочу на их примере составить психологический портрет успешного сотрудника, чтобы знать, кого отбирать), большинство будет думать, что компания проверяет их «на вшивость» со всеми вытекающими. Отсюда — возможное ухудшение климата в коллективе, отношений сотрудников в компании.
Далее, если тест достаточно объемный (а заполнение серьезных тестов может потребовать один-два часа), то это приведет к потерям рабочего времени. Особенно — вашего собственного, если не удастся провести одновременное массовое тестирование.
Далее: показывать ли сотрудникам результаты? Они этого ждут. Не покажете — лишний всплеск подозрительности в отношении компании и вас лично. Покажете — мало ли кто что вычитает из собственной характеристики и подумает по этому поводу. А самое неприятное — если кому-то в руки попадут чужие интерпретации. Или кто-то «допущенный», например, ваши собственные помощники, не вовремя выскажется… Я знаю случай, когда по такому поводу в компании возник скандал с истериками и взаимными обвинениями, кончившийся увольнением одной из сотрудниц ПСЖ. А всего-то: инспектор отдела кадров кому-то якобы сказала в курилке, что у той результаты тестов — не того… Естественно, пошли слухи.
Само собой, руководство захочет ознакомиться с результатами. Это тоже палка о двух концах. Хорошо, если личное мнение начальника о сотрудниках будет совпадать с результатами тестирования. А если нет, то вы можете потерять солидный кусок репутации, да и идея тестирования будет дискредитирована. А самый страшный случай — если начальник захочет сам протестироваться, а результат будет не таким, как он ожидал… Все, тушите свет.
Когда все эти этапы пройдены, можно начинать потихонечку, аккуратно использовать тест в профотборе. Аккуратно — значит, пока не делая из его результатов слишком серьезных выводов. За исключением тех случаев, когда результаты теста уж совсем зашкаливают в «негатив» (а таких будет немного).
Желательно давать его всем кандидатам, приходящим на собеседование. В какой форме: компьютерной или «бумажной» (большинство методик допускает оба варианта)? Я лично предпочитаю вторую. Это экономнее по времени, потому что можно посадить человека за столик, пусть себе заполняет, а техника свободна для работы. Введение данных с бланка занимает минуты. Кроме того, некоторые тестовые программы сделаны так, что сразу «выплевывают» результат. А вам надо, чтобы кандидат увидел его раньше вас?
Дальше — накапливайте статистику. Сами учитесь сопоставлять результаты теста с данными других инструментов отбора, делайте выводы. Месяца через три тест станет для вас привычным и надежным инструментом[46].
А теперь, как было обещано, поучимся сами делать тесты. Конечно, не психологические: это слишком трудоемко, да и не нужно. Займемся тестированием знаний.
Для чего вам это может понадобиться? В двух случаях.
1. В профотборе: вы отбираете людей, которые должны обладать определенным уровнем знаний по своей будущей работе. Типичный случай — вам нужны достаточно грамотные пользователи Windows, приложений MS Office и Интернет.
2. В подготовке и повышении квалификации персонала. Вы проводите учебный курс и хотите выяснить, кто как усвоил материал.
В обоих случаях вам придется потратить некоторое время, но впоследствии оно окупится облегчением работы.
Есть два варианта, простой и сложный. Простой: имеется текст, в котором изложена необходимая информация (учебник), и вам достаточно проверить, насколько она хорошо усвоена. Достаточно распространенный пример — подготовка страховых агентов. Их задача — усвоить основные термины, правила, условия страхования данной компании. Они все есть на бумаге.
Сложный: нет единого текста (учебника), а знания приобретались где-нибудь и как-нибудь. Характерный пример — то же пользование современными программными средствами персонального компьютера.
Сейчас каждый пишет в резюме, что является грамотным пользователем. В действительности человек вроде бы и курсы закончил, а дашь ему простейшую задачку — гроб и свечи.
В первом случае вам предстоит составить простую контрольную работу в форме теста, то есть с готовыми ответами на вопросы, правильными и неправильными. Во втором — все, что полагается при изготовлении тестов, включая валидизацию. В практике тестирования такие методики называют тестами достижений.
Для начала возьмем более простой вариант.
В любом случае начинать придется с вопросника.
Я рекомендую делать его простейшим: на вопрос — три варианта ответов, из которых один правильный. Некоторые делают до пяти, но я не вижу в этом особого смысла: лишний труд, а не знающий провалится на третьем и пятом вариантах с одинаковым успехом.
Возьмем учебник или другую необходимую документацию, и поехали прямо по тексту.
Страховая премия — это[47]:
A. Сумма, выплачиваемая страхователем страховщику за обязательство возместить ущерб при наступлении страхового события.
Б. Сумма, выплачиваемая страховщиком страхователю, являющемуся постоянным клиентом данной страховой организации.
B. Сумма, выплачиваемая страховщиком третьим лицам (например, службе пожарной охраны) за предотвращение страхового события.
Маржа — это:
А. Синоним слова «прибыль».
Б. Стоимость товара вместе с упаковкой. В. Разница между продажной и покупной стоимостью товара.
Позиционирование товара на рынке— это:
A. Определение места и способа продажи товара.
Б. Определение потенциальных сегментов рынка с учетом качеств и свойств товара.
B. Размещение точек реализации данного товара в большом торговом комплексе.
Сегмент рынка— это:
A. Группа сходных товаров.
Б. Группа фирм, выпускающих сходную продукцию.
B. Социальная группа потребителей, сходно ведущих себя по отношению к данному товару.
И так далее.
Здесь есть несколько тонкостей, которые надо знать.
Во-первых, самое трудное — это придумывать неправильные ответы, особенно если вы сами хорошо разбираетесь в материале. На это есть следующий прием.
Один неправильный ответ делайте похожим на правильный, например, определение близкого термина или понятия (см. вопрос про маржу: первый вариант ответа близок к правильному, но неверный). Или просто поменяйте местами пару слов, чтобы смысл фразы изменился. Второй — какой угодно, для тех, кто совсем уж «не рубит».
Не думайте, что решить тест будет слишком просто: всегда найдутся те, кто даст «дурацкие» ответы (правда, в приведенном выше примере про страховую премию оба неверных ответа — именно такие).
Во-вторых, проследите за тем, чтобы не дать на какой-нибудь вопрос два правильных варианта ответов. Говорю не просто так: это случается.
В-третьих, расположение правильного варианта (А, Б, В) в разных вопросах необходимо чередовать, желательно в случайном порядке. Можно сделать это, вынимая на ощупь буквы на листочках из шапки. Можно и просто «на глаз»: А, А, В, Б, В, Б, А и так далее (только потом посчитайте, не выпадала ли одна из букв чаще остальных).
В-четвертых, скорее всего, вам придется сделать два варианта вопросника, чтобы не списывали при групповом тестировании. Для этого вовсе не обязательно делать два комплекта вопросов: это слишком трудоемко. Ограничьтесь перемешиванием; проще всего — сделайте второй вариант «задом наперед».
Сколько должно быть вопросов? Это зависит от объемности темы. Если документы (учебник) поделены на разделы, каждый из которых надо знать, достаточно по 2-3 вопроса на каждый раздел. Однако опыт показывает, что большинство людей либо знает материал, либо не знает. Поэтому проверять все вовсе не обязательно. Когда вы сдаете экзамен, вы же отвечаете только на один билет, а оценку вам ставят за весь курс!
В принципе 20-30 вопросов бывает достаточно, чтобы оценить знания даже довольно обширного материала.
Как выставлять оценки? Это зависит от ваших представлений о том, насколько проверяемые знания необходимы для работы сотрудников. Пример: на теоретических экзаменах в ГИБДД вы получите «неуд», если ошибетесь всего 2 раза на 10 задач! А можете ввести балльные оценки: за половину правильных ответов — троечка, за 2/3 — четверка, за 3/4 —«отлично». Ваше дело.
Теперь займемся тестами достижений. Здесь все будет сложнее: и составление вопросника, и расставление оценок, и, главное, валидизация. В тесте типа «контрольная работа» она не нужна, потому что мы и так знаем, что хотим проверять: насколько хорошо человек изучил конкретный материал.
Допустим, к вам приходит поток кандидатов, которых вы хотите проверить на компьютерную грамотность. Если бы вы сами их готовили, все было бы проще — достаточно составить «контрольную» на прочитанный им курс и на предложенные учебники. А в нашем случае вам придется определяться, какой базовый уровень считать достаточным для работы, а какой нет; какой материал из обширнейшей компьютерной тематики необходим, а какой не обязателен!
Например, можно ли считать «компьютерно грамотным» человека, умеющего загружать Word и печатать в нем тексты? Или требуется что-то большее?
Для начала получим предварительный набор вопросов. Берем несколько специалистов, которые, по нашему мнению, знают, что есть компьютерная грамотность. То есть хороших пользователей. Только не приглашайте профессиональных айтишников: эти считают безграмотным любого, кто не умеет программировать на Ассемблере. Собираем их вместе (можно даже с пивом: это стимулирует процесс) и просим накидать вопросы. Желательно — не меньше 50-100 (все равно потом большая часть отпадет). Когда набор вопросов будет готов, попросите их же дать варианты ответов по принципу, описанному выше: правильный, похожий на правильный и явно «дурацкий».
Здесь есть одна тонкость.
Бывают вопросы, которые напрямую вроде и не отражают квалификацию человека, но, если он грамотен, ответы на них он просто не может не знать.
Пример: объем стандартной трехдюймовой дискеты. В процессе работы на компьютере мы обычно не помним, что он составляет 1,44 Мб (только если не выясняется, что ваши файлы не помещаются на дискету). В общем-то, этого и помнить не надо. Но любой, кто как следует повозился с персональным компьютером, ответит на этот вопрос даже среди ночи.
Итак, мы сформировали набор вопросов. Они будут выглядеть примерно так:
Картинка, которая появляется на экране после полной загрузки Windows, называется:
A. Рабочей папкой.
Б. Рабочим столом.
B. Рабочим полем.
Или:
Можно ли рисовать картинки в программе MS Excel?
А. Нельзя.
Б. Можно, но для этого нужна дополнительная программа рисования.
В. Можно.
Или:
Стандартная клавиша для получения справки:
A. F1.
Б. Знак вопроса (?).
В. F10.
Или:
Браузер— это:
A. Устройство для подключения компьютера к телефонной сети.
Б. Программа для просмотра страниц Интернета.
B. Программа для поиска и уничтожения компьютерных вирусов.
И так далее, в том же духе. Обратите внимание, что я постоянно меняю место правильного ответа!
Теперь нам предстоит выбрать «правильные» вопросы. «Правильные» — это те, которые позволяют отличить грамотного от дилетанта.
Вам придется «пропустить» через составленный вопросник человек минимум 50. При этом очень здорово, если вы заведомо знаете уровень их владения компьютером (в нашем случае). Если нет — тоже не страшно. Это могут быть, например, уже работающие сотрудники вашей фирмы. Заодно оцените их реальную компьютерную грамотность.
Важна опять же репрезентативность выборки. То есть группа, на которой вы проводите эту процедуру, должна быть такой же, что и ваши кандидаты на работу (напоминаю, что мы с вами делаем тест для профотбора). Попробуйте, например, дать этот вопросник сегодняшним студентам! Засмеют. Эти-то уже все «компьютерно грамотные». Зато, скажем, на каких-нибудь бухгалтерских курсах получите совсем иную картину.
Лучший вариант: если поток кандидатов достаточно велик, на них и экспериментируйте!
Итак, набрали результаты. Кстати, анализировать их лучше всего в том же Microsoft Excel. Ваша задача — для каждого вопроса определить частоту правильных ответов.
Все вопросы «развалятся» на три группы (если изначально они были подобраны правильно):
— вопросы, на которые отвечают практически все (до 80%);
— вопросы, на которые отвечают «серединка на половинку» (40-60%);
— вопросы, на которые большинство не отвечает (правильные ответы даются в 10-20% случаев).
Какие нам нужны? Конечно, те, которые «серединка на половинку»! Именно они и имеют диагностическое значение. Потому что остальные — либо слишком простые, либо слишком сложные для нашего контингента испытуемых. Следовательно, нам они не нужны.
Оставим вопросов 20-30 из числа отобранных. Теперь нам надо определить нормативы. Кого считать «проходным»: ответившего правильно на все вопросы или только на половину?
Для этого есть два способа. Самый лучший — если у вас есть возможность делить испытуемых на «грамотных» и «неграмотных» по какому-то иному критерию. Например, после заполнения теста сажаете кандидата за компьютер, даете несколько заданий (например, «найдите мне в Интернете все упоминания о нашей фирме») и субъективно выставляете оценку.
Кстати, вспомним, для чего мы делаем тест. Именно для того, чтобы заменить этим «измерительным прибором» трудоемкую процедуру проверки на практических заданиях!
Второй способ: из уже полученной вами выборки оставьте для каждого испытуемого ответы только на отобранные вами «диагностически значимые» вопросы. Потом для каждого испытуемого подсчитайте количество правильных ответов. Почти наверняка вы получите диапазон от двух-трех до всех правильных. А теперь подсчитайте «порог» количества правильных ответов для «нижней», «средней» и «верхней» третей этого диапазона.
Например, у вас было 60 человек. В итоге вы отобрали 30 «значимых» вопросов. Отсортируйте список по возрастанию числа правильных ответов на эти вопросы. А теперь посмотрите, как отличаются показатели 20 худших, 20 средних и 20 лучших. Вот вам и критерии оценки. Можете пользоваться своим тестом: вы его сделали!
В действительности все это можно проделать гораздо более тонкими и изощренными способами, ведь конструирование тестов — это целая наука (точнее, технология), к тому же она все время развивается. Но, скорее всего, для ваших целей вполне достаточно тех простых приемов, о которых вы только что прочитали.
Желаю творческих успехов!