Тестирование как средство обучения и контроля знаний используется давно. Само слово тест, в переводе с английского, означает – проверка, испытание. Здесь, под тестированием мы понимаем опрос: вопросы с предложенными ответами, из которых испытуемый выбирает один или несколько верных.
Задаваемые вопросы могут быть устными или в распечатанном виде, но на современном этапе развития общества оснащение учебных заведений и предприятий средствами вычислительной техники достаточно велико, для того чтобы проводить аттестации, проверочные работы с помощью компьютеров.
Очевидно, что основное преимущество автоматизированного тестирования – удобство использования, снижение трудоемкости, исключение ошибок при проверке (у компьютеров не бывает падения внимательности по причине усталости). Кроме того, дистанционное обучение , интерес к которому растет, без применения соответствующего программного обеспечения трудно представить.
Среди недостатков тестирования можно отметить трудность формулировки ответов на вопросы по предметам, связанным с общими законами развития природы, общества (философия, история, экономика, некоторые разделы астрономии, физики и т.д.), для которых свойственны неоднозначные ответы, и двоичной логики "да/нет" – недостаточно. Также, с помощью тестирования невозможно контролировать творческие знания. Итак, проверка понимания и умений в некоторых областях гуманитарных, общественно-политических дисциплин вне прерогативы тестирования. Для этого существуют иные методы оценки.
Существенный недостаток тестирования, косвенно связанный с вышеперечисленными проблемами, – это то, что обучаемые привыкают к готовым формулировкам, и теряют (не приобретают) способность свободно и грамотно излагать мысли. С другой стороны люди, стесняющиеся говорить, оказываются в равных условиях с "ораторами".
Иногда наши пользователи просят устранить "излишнюю объективность" программы для тестирования, имея ввиду что при устном опросе преподаватель может выбрать сложность задаваемых вопросов с учетом уровня подготовленности опрашиваемого, что невозможно при применении компьютерного тестирования. Трудно сказать нужно ли устранять такой недостаток.
Кроме этого, существуют изъяны тестирования, которые в программах SunRav Software с успехом устраняются. Перечислим некоторые из них.
К несовершенству тестирования часто относят некоторую негибкость итоговой оценки.
В программе SunRav TestOfficePro подведение итога работы тестируемого и выведение оценки настраивается по разным параметрам. Можно оценить:
- процент правильных ответов,
- отношение правильных ответов к неправильным или заданным,
- суммирование баллов (каждому ответу как правильному, так и неправильному можно присвоить свой коэффициент).
А также, в SunRav TestOfficePro существует возможность создать адаптивный тест, в котором переход к следующему заданию происходит в зависимости от ответов на предыдущие. Такая функция особенно востребована при создании тестов, применяемых для обучения, усвоения материала.
Таким образом, трудоемкость на первом этапе – создание баз тестов, внедрение тестирования в организацию – имеет временный характер. В целом компьютерное тестирование знаний несомненно более выгодно с экономической точки зрения, чем устные или письменные проверки.
Метод тестового контроля знаний пришел к нам из-за границы (из стран, в которых в систему обучения был внедрен болонский процесс), где оценивание студентов является равным для всех. Эта система контроля уровня знаний была разработана западными профессорами для того, чтобы сделать обучение более строгим. Каждый студент должен понять, что его успешность зависит лишь от его собственного желания «покорить вершину знаний», а для этого ему нужно направить все свои силы на изучение комплекса предметов и дисциплин, необходимых для получения квалификационного разряда. В противном же случае, без достаточного запаса знаний невозможно добиться высокого уровня профессионализма, следовательно, такие студенты «отсеются» к рабочему классу населения. Таким образом, каждый абитуриент, еще при поступлении, понимал, зачем он поступает в ВУЗ.Конечно же, в нашей стране все, немного, иначе, но получение хорошего образования, так же, остается одним из самых важных заданий каждого молодого человека. Время показало, что использование такой тестовой системы контроля знаний является довольно успешным инструментом при обучении и проверки квалификационных навыков студентов. Но, так или иначе, как и любая система контроля имеет свои плюсы и минусы, и выше описанный метод контроля не является исключением.
К плюсам тестирования можно отнести объективность оценивания, а, следовательно, и равность всех студентов при прохождении тестовых билетов, так как все они получают одинаковые задания (в то же время и в том же месте) и имеют определенное количество времени на выполнение этого же задания. К положительным моментам тестирования можно отнести еще несколько аспектов, одним из которых является возможность охвата всех тем определенной дисциплины, в то же время, когда при устном экзамене преподаватель не может уделить одному студенту такое огромное количество времени для проверки его знаний. Как правило, при устном экзамене у преподавателя есть возможность задать вопрос студенту, максимум, по трем темам. Следующим плюсом тестирования является более адекватная шкала оценивания знаний. Например, если же тестовый билет состоит из пятнадцати вопросов, то максимальное количество балов, которое студент может получить при правильных ответах - 15. Если же будут допущены им ошибки, то будет видно, сколько ошибок он допустил и сразу же сориентироваться, насколько широкий уровень знаний по данной дисциплине у студента. Классическим методом студент может получить максимальную отметку - 5 баллов, причем, не всегда отметка, поставленная в зачетку, может соответствовать реальному уровню знаний.
К недостаткам такой системы контроля можно отнести трудоемкость составления таких тестов преподавателем. Так как количество тем по определенной дисциплине может варьироваться от нескольких штук до нескольких десятков, то можно понять, что это, достаточно, трудоемкий процесс и требует повышенной внимательности (если же преподаватель допустит ошибку при составлении ключей к тестам, студенты могут быть оценены необъективно). Еще одним минусом тестирования остается тот факт, что на определенный вопрос в билете приводится перечень возможных ответов, из которых нужно выбрать один, или же два правильных. Иногда студентам удается «наугад» проставить правильные варианты ответов. Таким образом, некоторые студенты могут получить незаслуженную оценку... А в прочем, если же студент угадывает варианты ответов, то он, наверняка, не сможет угадать все оставшиеся ответы на перечисленные в билете вопросы.
Оценка персонала была и остается одним из важнейших элементов системы управления персоналом: без оценки невозможно обойтись ни при подборе персонала, ни при аттестации, создании кадрового резерва, ротации кадров. Часто от эффективности оценки персонала зависит эффективность работы всей HR-системы. Эффективность же оценки персонала напрямую зависит от адекватности используемых методов и подходов. Всегда ли тестирование, столь модное в начале 90-х годов, является тем самым адекватным методом?
В свое время, когда HR-менеджмент в нашей стране делал первые шаги, большинство менеджеров по персоналу набиралось из психологов, которые напрямую перенесли с собой в новую область деятельности привычные по научной деятельности методы работы - тесты. Это вполне понятно - ничего другого в те времена не знали и не умели, информация о западных технологиях работы с персоналом просачивалась «в час по чайной ложке», свои методики наработаны еще не были.
Чтобы поддержать свой авторитет и не потерять работу, некоторые психологи при приеме на работу давали кандидатам на заполнение батареи клинических тестов по 300–600 вопросов каждый. Впечатление, конечно, такой отбор производил неизгладимое. Как на кандидатов, так и на работодателей. Да и на самих «менеджеров по персоналу». К тому же на выходе - «объективные» данные. Видимо оттуда и берет начало миф о всесилии тестов.
К сожалению, это только миф. Применение тестов в научных целях имеет ряд ограничений, применение же тестирования в бизнесе ограничено вдвойне.
Традиционно к достоинствам тестирования относят стандартизированность методик, наличие нормативного результата, его воспроизводимость. Считается, что данные, полученные при тестировании, являются объективными. Также на многих руководителей производит впечатление наукообразность процедуры оценки в случае тестирования.
Однако почти все эти достоинства имеют «обратную сторону медали». Начнем со стандартизованности. Далеко не все методики, используемые менеджерами по кадрам, являются действительно стандартизованными (проверенными на большой, референтной выборке, подтвердившей, что для людей с одинаково выраженной тестируемой чертой результаты теста будут одинаковыми), очень часто в кадровой работе используются любительские и научно-популярные тесты. Более того, стандартизация сама по себе еще не является гарантией качества: как правило, тесты проходят стандартизацию на студентах, а никто не может гарантировать что норма, скажем, тревожности у студентов, бухгалтеров и, например, таможенных брокеров будет одна и та же.
Объективность данных, полученных путем тестирования, также может быть подвергнута сомнению. Большинство тестов, используемых в оценке персонала, являются опросниками, далеко не все из них снабжены шкалой лжи. Основная масса этих опросников была сконструирована в исследовательских целях, тестирование проходило добровольно, либо по инициативе обследуемого, поэтому шкала лжи не предусматривалась, или была слабо защищена: обследуемым незачем было лгать. Поэтому для человека с высшим образованием (а значит достаточно высоким уровнем интеллекта) «обойти» такой тест - не проблема, особенно если от успешности прохождения теста зависит, примут ли его на перспективную работу.
Кроме того, громоздкие опросники требуют много времени на заполнение, обработку и интерпретацию. Естественно, что человек, тратящий много времени и труда на заполнение тестов, начинает испытывать раздражение по отношению к компании и людям, подвергшим его такому «испытанию». Как следствие - портится имидж фирмы, снижается лояльность сотрудников.
По большому счету, психологическое тестирование в кадровой работе имеет смысл в двух случаях: при оценке профессиональной пригодности специалистов ряда областей, предъявляющих особые требования к познавательным функциям (внимание, память, мышление, эмоциональная сфера и др.) профессионала (бухгалтер, диспетчер, пилот и др.) и при большом потоке (массовый набор или аттестация однотипных специалистов), когда необходима скорость оценки и большое значение приобретает возможность сравнивать результат.
В то же время, многие характеристики, пользующиеся большим спросом на рынке труда (корпоративность, лояльность, конструктивность, ориентация на клиента и пр.) не могут быть достоверно выявлены с помощью тестов. А уж определить, впишется ли кандидат в организационную культуру компании никакими методиками, кроме наблюдения и беседы определить не возможно. К тому же далеко не всегда можно установить прямую связь между наличием у кандидата определенных психологических качеств и его профессиональной успешностью, а отсутствие ряда профессионально важных качеств может быть скомпенсировано опытом и индивидуальным стилем деятельности. Вообще, зацикленность на выявлении предустановленного набора характеристик ограничивает спектр информации, который можно получить в ходе обследования.
В целом, применение тестов-опросников требует от менеджера по персоналу меньшей компетентности в области психологии, чем проективные методики, наблюдение и интервью, поскольку результаты тестирования как метода минимально зависит от мастерства исследователя. Однако, отсутствие должной компетентности может привести к тому, что измеряется не то, что планировалось из-за неадекватного выбора метода. Часто применяется тот тест, которым исследователь хорошо владеет или привык пользоваться, а не тот, который соответствует ситуации. Многие, наверное, сталкивались с тем, что клинический тест MMPI, созданный для выявления тяжелых психических патологий из области большой психиатрии, применялся для отбора и оценки менеджеров, торговых представителей, страховых агентов, банковских служащих. Даже если отвлечься от вопросов этики, адекватность применения этого метода вне клиники вызывает, мягко говоря, большие сомнения. А уж использование теста Роршаха (еще более сложный проективный клинический тест, одно овладение которым занимает несколько лет) в маркетинговых фокус-группах (представьте себе, бывает и такое) вызывает просто шок. Как показывает практика, гораздо более адекватных и информативных результатов при оценке профессионализма можно добиться с помощью специально составленных, структурированных интервью, кейс-метода и ассессмент-центра.
По разнообразию предоставляемой информации тестирование как метод значительно проигрывает и таким методам как беседа и наблюдение. При всей своей кажущейся простоте, бесхитростности, необъективности и «ненаучности» получасовая беседа может дать опытному психологу или менеджеру больше информации о человеке, чем получасовое тестирование.
Тем не менее, существует три основных категория тестов, которые могут с успехом использоваться кадровой службой. Это проективные, профессиональные и когнитивные тесты. Проективные тесты дают массу разнообразной информации о человеке, не требуют много времени для прохождения, и их весьма сложно «обмануть», поскольку эти методики скорее апеллируют к бессознательному, мало соприкасаясь с нашими сознательными установками и убеждениями. Именно поэтому проективные методики, кроме всего прочего, лучший метод для определения серьезных психических патологий органического характера, которые могут не выявляться в наблюдении и беседе. Когнитивные тесты позволяют оценить особенности познавательных функций: распределение внимания, стрессоустойчивость, скорость реакции и т. п. Профессиональные тесты, как правило, не являются собственно психологическими. Они позволяют оценить уровень профессиональных знаний специалиста.
В заключении хотелось бы напомнить, что данные тестирования, а также отказ от прохождения тестирования, по действующему законодательству, не могут являться причиной отказа в рабочем месте претенденту или работнику.
По материалам «Новые рынки»
ПЛЮСЫ И МИНУСЫ
ТЕСТИРОВАНИЯ КАК МЕТОДА
Пустынникова Ю.М.
"Новые рынки", №6, 2002
Оценка персонала была и остается одним из важнейших элементов системы управления персоналом: без оценки невозможно обойтись ни при подборе персонала, ни при аттестации, создании кадрового резерва, ротации кадров. Часто от эффективности оценки персонала зависит эффективность работы всей HR-системы. Эффективность же оценки персонала напрямую зависит от адекватности используемых методов и подходов. Всегда ли тестирование, столь модное в начале 90-х годов, является тем самым адекватным методом?
В свое время, когда HR-менеджмент в нашей стране делал первые шаги, большинство менеджеров по персоналу набиралось из психологов, которые напрямую перенесли с собой в новую область деятельности привычные по научной деятельности методы работы – тесты. Это вполне понятно – ничего другого в те времена не знали и не умели, информация о западных технологиях работы с персоналом просачивалась “в час по чайной ложке”, свои методики наработаны еще не были.
Чтобы поддержать свой авторитет и не потерять работу, некоторые психологи при приеме на работу давали кандидатам на заполнение батареи клинических тестов по 300-600 вопросов каждый. Впечатление, конечно, такой отбор производил неизгладимое. Как на кандидатов, так и на работодателей. Да и на самих “менеджеров по персоналу”. К тому же на выходе – “объективные” данные. Видимо оттуда и берет начало миф о всесилии тестов.
К сожалению, это только миф. Применение тестов в научных целях имеет ряд ограничений, применение же тестирования в бизнесе ограничено вдвойне.
Традиционно к достоинствам тестирования относят стандартизированность методик, наличие нормативного результата, его воспроизводимость. Считается, что данные, полученные при тестировании, являются объективными. Также на многих руководителей производит впечатление наукообразность процедуры оценки в случае тестирования.
Однако почти все эти достоинства имеют “обратную сторону медали”. Начнем со стандартизованности. Далеко не все методики, используемые менеджерами по кадрам, являются действительно стандартизованными (проверенными на большой, референтной выборке, подтвердившей, что для людей с одинаково выраженной тестируемой чертой результаты теста будут одинаковыми), очень часто в кадровой работе используются любительские и научно-популярные тесты. Более того, стандартизация сама по себе еще не является гарантией качества: как правило тесты проходят стандартизацию на студентах, а никто не может гарантировать что норма, скажем, тревожности у студентов, бухгалтеров и, например, таможенных брокеров будет одна и та же.
Объективность данных, полученных путем тестирования, также может быть подвергнута сомнению. Большинство тестов, используемых в оценке персонала, являются опросниками, далеко не все из них снабжены шкалой лжи. Основная масса этих опросников была сконструирована в исследовательских целях, тестирование проходило добровольно, либо по инициативе обследуемого, поэтому шкала лжи не предусматривалась, или была слабо защищена: обследуемым незачем было лгать. Поэтому для человека с высшим образованием (а значит достаточно высоким уровнем интеллекта) “обойти” такой тест – не проблема, особенно если от успешности прохождения теста зависит, примут ли его на перспективную работу.
Кроме того, громоздкие опросники требуют много времени на заполнение, обработку и интерпретацию. Естественно, что человек, тратящий много времени и труда на заполнение тестов, начинает испытывать раздражение по отношению к компании и людям, подвергшим его такому “испытанию”. Как следствие – портится имидж фирмы, снижается лояльность сотрудников.
По большому счету, психологическое тестирование в кадровой работе имеет смысл в двух случаях: при оценке профессиональной пригодности специалистов ряда областей, предъявляющих особые требования к познавательным функциям (внимание, память, мышление, эмоциональная сфера и др.) профессионала (бухгалтер, диспетчер, пилот и др.) и при большом потоке (массовый набор или аттестация однотипных специалистов), когда необходима скорость оценки и большое значение приобретает возможность сравнивать результат.
В то же время, многие характеристики, пользующиеся большим спросом на рынке труда (корпоративность, лояльность, конструктивность, ориентация на клиента и пр.) не могут быть достоверно выявлены с помощью тестов. А уж определить, впишется ли кандидат в организационную культуру компании никакими методиками, кроме наблюдения и беседы определить не возможно. К тому же далеко не всегда можно установить прямую связь между наличием у кандидата определенных психологических качеств и его профессиональной успешностью, а отсутствие ряда профессионально важных качеств может быть скомпенсировано опытом и индивидуальным стилем деятельности. Вообще, зацикленность на выявлении предустановленного набора характеристик ограничивает спектр информации, который можно получить в ходе обследования.
В целом, применение тестов-опросников требует от менеджера по персоналу меньшей компетентности в области психологии, чем проективные методики, наблюдение и интервью, поскольку результаты тестирования как метода минимально зависит от мастерства исследователя. Однако, отсутствие должной компетентности может привести к тому, что измеряется не то, что планировалось из-за неадекватного выбора метода. Часто применяется тот тест, которым исследователь хорошо владеет или привык пользоваться, а не тот, который соответствует ситуации. Многие, наверное, сталкивались с тем, что клинический тест MMPI, созданный для выявления тяжелых психических патологий из области большой психиатрии, применялся для отбора и оценки менеджеров, торговых представителей, страховых агентов, банковских служащих.. Даже если отвлечься от вопросов этики, адекватность применения этого метода вне клиники вызывает, мягко говоря, большие сомнения. А уж использование теста Роршаха (еще более сложный проективный клинический тест, одно овладение которым занимает несколько лет) в маркетинговых фокус-группах (представьте себе, бывает и такое) вызывает просто шок. Как показывает практика, гораздо более адекватных и информативных результатов при оценке профессионализма можно добиться с помощью специально составленных, структурированных интервью, кейс-метода и ассессмент-центра.
По разнообразию предоставляемой информации тестирование как метод значительно проигрывает и таким методам как беседа и наблюдение. При всей своей кажущейся простоте, бесхитростности, необъективности и “ненаучности” получасовая беседа может дать опытному психологу или менеджеру больше информации о человеке, чем получасовое тестирование.
Тем не менее, существует 3 основные категории тестов, которые могут с успехом использоваться кадровой службой. Это проективные, профессиональные и когнитивные тесты. Проективные тесты дают массу разнообразной информации о человеке, не требуют много времени для прохождения, и их весьма сложно “обмануть”, поскольку эти методики скорее апеллируют к бессознательному, мало соприкасаясь с нашими сознательными установками и убеждениями. Именно поэтому проективные методики, кроме всего прочего, лучший метод для определения серьезных психических патологий органического характера, которые могут не выявляться в наблюдении и беседе. Когнитивные тесты позволяют оценить особенности познавательных функций: распределение внимания, стрессоустойчивость, скорость реакции и т.п. Профессиональные тесты, как правило, не являются собственно психологическими. Они позволяют оценить уровень профессиональных знаний специалиста.
В заключении хотелось бы напомнить, что
данные тестирования, а также отказ от прохождения тестирования,
по действующему законодательству, не могут являться причиной отказа
в рабочем месте претенденту или работнику.
Метод тестов является одним из основных в современной психодиагностике. По уровню популярности в образовательной и профессиональной психодиагностике он прочно удерживает первое место в мировой психодиагностической практике уже фактически в течение столетия.
В данном разделе под тестами следует понимать методики, которые состоят из серии заданий с выбором из готовых вариантов ответа. При подсчете баллов по тесту выбранные ответы получают однозначную количественную интерпретацию и суммируются. Суммарный балл сравнивается с количественными тестовыми нормами, и после этого сравнения формулируются стандартные диагностические заключения.
Популярность метода тестов объясняется следующими главными его достоинствами:
1) стандартизацией условий и результатов. Тестовые методики относительно независимы от квалификации пользователя (исполнителя), на роль которого можно подготовить даже лаборанта со средним образованием. Это, однако, не означает, что для подготовки комплексного заключения по батарее тестов не надо привлекать квалифицированного специалиста с полноценным высшим психологическим образованием;
2) оперативностью и экономичностью. Типичный тест состоит из серии кратких заданий, на выполнение каждого из которых требуется, как правило, не более полминуты, а весь тест занимает, как правило, не более часа. Тестированию одновременно подвергается сразу группа испытуемых, таким образом, происходит значительная экономия времени на сбор данных;
3) количественным дифференцированным характером оценки. Дробность шкалы и стандартизованность теста позволяют рассматривать его как «измерительный инструмент», дающий количественную оценку измеряемым свойствам. Количественный характер тестовых результатов дает возможность применить хорошо разработанный аппарат психометрики, позволяющий оценить, насколько хорошо работает данный тест на данной выборке испытуемых в данных условиях;
4) оптимальной трудностью. Профессионально сделанный тест состоит из заданий оптимальной трудности. При этом средний испытуемый набирает примерно 50 % из максимально возможного количества баллов. Это достигается за счет предварительных испытаний – психометрического эксперимента (или пилотажа). Если в ходе пилотажа становится известным, что с заданием справляется примерно половина из обследованного контингента, то такое задание признается удачным, и его оставляют в тесте;
5) надежностью. Это, наверное, самое главное достоинство тестов в образовательной психодиагностике. Лотерейный характер современных экзаменов с вытягиванием счастливых или несчастливых билетов давно уже стал притчей во языцах. Лотерейность для экзаменующегося здесь оборачивается низкой надежностью для экзаменатора – ответ на один фрагмент учебной программы, как правило, не показателен для уровня усвоения всего материала. В отличие от этого любой грамотно построенный тест охватывает основные разделы учебной программы (тестируемой области знаний или проявления какого-то умения или способности). В результате возможность для «хвостистов» выбиться в отличники, а для отличника вдруг провалиться резко сокращается;
6) справедливостью. Является важнейшим социальным следствием перечисленных выше достоинств. Ее следует понимать как защищенность от предвзятости экзаменатора. Хороший тест ставит всех в равные условия. Наиболее сильно субъективизм экзаменатора проявляется, как известно, не в трактовке уровня решенности задачи (не так просто назвать черное белым, решенную задачу – нерешенной), а в тенденциозном подборе заданий – своим полегче, чужим – труднее. Тесты обеспечивают важнейшую функцию школы как социального фильтра – функцию «социально-профессиональной селекции». То, насколько справедливой оказывается подобная селекция, имеет гигантское значение для развития общества. Поэтому так важно всем, кто имеет доступ к тестам и их результатам, учиться культуре грамотного и гуманного применения тестов, ибо только добросовестное и квалифицированное отношение пользователей к тестам превращает их в инструмент, повышающий, а не понижающий уровень справедливости в обществе;
7) возможностью компьютеризации. В данном случае это не просто дополнительное удобство, сокращающее живой труд квалифицированных исполнителей при массовом обследовании. В результате компьютеризации повышаются все параметры тестирования (например, при адаптированном компьютерном тестировании резко сокращается время тестирования). Компьютеризация – это мощный инструмент обеспечения информационной безопасности (достоверности диагностики). Компьютерная организация тестирования, предполагающая создание мощных информационных банков тестовых заданий, позволяет технически предотвратить злоупотребления со стороны недобросовестных экзаменаторов. Выбор заданий, предлагаемых конкретному испытуемому, может производить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление данному испытуемому определенного задания в этом случае является таким же сюрпризом для экзаменатора, как и для испытуемого.
Во многих странах внедрение метода тестов (равно как и сопротивление этому внедрению) тесно связано с социально-политическими обстоятельствами. Внедрение хорошо технически оснащенных тестовых служб в образование – важнейший инструмент в борьбе с коррупцией, поражающей правящую элиту (номенклатуру) во многих странах. На Западе тестовые службы работают независимо от выпускающих (школы) и принимающих (вузы) организаций и снабжают абитуриента независимым сертификатом о результатах тестирования, с которым он может отправляться в любое учреждение. Эта независимость службы тестирования от выпускающих и принимающих организаций является дополнительным фактором демократизации процесса селекции профессиональных кадров в обществе, дающая талантливому и просто работоспособному человеку лишний шанс проявить себя.
