Открытые вопросы в массовых исследованиях

Поскольку точная запись открытых ответов встречается нечасто, аналитику приходится рассматривать их более или менее адекватные интерпретации интервьюерами. Отсутствие дополнительных инструкций и рекомендаций приводит к тому, что интервьюеры самостоятельно решают, соответствует ответ вопросу или нет. Хуже обстоит дело тогда, когда интервьюер подходит к делу формально и считает любые реплики респондента ответом, что приводит к нагромождению бессмысленных, с точки зрения исследовательского вопроса, высказываний. Д. Фрей считает, что пассивный слушатель не может корректно фиксировать высказывания собеседника, поэтому он предлагает интервьюерам активно использовать методы стимулирования или ограничения ответов [24 p. 74]. Незначительная доля содержательных ответов на открытые вопросы, отмечаемая во многих методических экспериментах [15, 24, 62, 63], вызвана не особенностями открытой формы, а недостаточной подготовкой интервьюеров и несовершенством процедуры предъявления и регистрации таких вопросов. Аналитику нет необходимости видеть весь репертуар ответа, полученного в стандартизованном интервью. Ему нужно выделить лишь значимые переменные в открытом вопросе, поэтому надо заранее думать не только над его формулировкой, но и над его закрытием, на чем настаивает и А. Оппенгейм: "Пилотаж открытых вопросов включает не только пилотаж формулировки, но и вероятного кодификатора" [56, p. 49]. А отсюда следует, что в исследовательскую программу должен быть посвящен не только аналитик, делающий расчеты, но также интервьюер, собирающий первичную информацию.

* * *

Необходимо регулярно проводить тренинги и аттестацию интервьюеров с последующей их дифференциацией по уровню квалификации.

Следует избегать полевого кодирования открытых вопросов, поскольку это приводит к дополнительным ошибкам уже на стадии регистрации ответа.

Требование точного воспроизведения ответа, с точки зрения эквивалентности его записи, приводит к снижению адекватности восприятия, поскольку интервьюер затрачивает усилия не на тематическое восприятие ответа, а на удержание в памяти его отдельных лексических единиц.

Включая открытые вопросы в анкету, надо позаботиться не только об их корректной формулировке, но и о возможном закрытии, не забыв проинформировать об этом интервьюеров.

Количество уходов от ответа и нерелевантных открытому вопросу ответов может быть критерием для определения качества вопроса.

Изменение записанного ответа

Изменение записанного (анкетного) ответа происходит в процессе кодирования, когда ответу присваивается один или несколько кодов из заданного списка. Каждый код формулируется исследователем в словоформах, пригодных для анализа собранных ответов. Поскольку коды представляют собой тексты, нам ничто не мешает провести их тематическое членение. Коды, поставленные в соответствие записанным ответам, содержат от одной до четырех тем: одна тема - "попытки сместить Кучму", "события вокруг НТВ" и "советы Путину в отношении стиля управления"; две - "нет ответа, ответ не на тему", "встречи, поездки", "выплаты, цены"; три - "навести порядок в органах власти, сформулировать эффективную управленческую команду", "вор, мафиози, бандит", "развлекательные передачи, казусы, погода"; четыре - "непорядочный, неискренний, хитрый, лживый". С одной стороны, кодификатор составлен из кодов, которые могут включать более одной темы, с другой - одному ответу может соответствовать несколько кодов, поэтому возможны три варианта соотношения количества тем анкетного ответа и кода: (1) Na=Nc, (2) Na>Nc ,(3) Na<Nc , где Na - количество тем анкетного ответа, Nc - количество тем присвоенного ответу кода или кодов. Кроме этого, представленные в коде темы могут полностью или частично соответствовать ответу: (1) Nс=Ne и (2) Nс.>Ne, где Ne - количество тем в коде или кодах25, соответствующих ответу.

Способы кодирования. Сопоставляя количество тем анкетного вопроса, кода и совпадающих с анкетным вопросом тем, рассмотрим пять возможных способов кодирования (табл. 16).

Таблица 16

Способы кодирования

В эксперименте представлены практически все способы кодирования. Исключение составляет лишь развернутая классификация (табл. 17). Это обусловлено тем, что кодировщики в большей степени заняты ситуационным кодированием, то есть составляют или изменяют кодификатор (добавляют и уточняют коды) в процессе обработки ответов.

Таблица 17

Распределение способов кодирования

Однозначное кодирование - количество тем в ответе и коде совпадают, и все темы кода соответствуют темам ответа. Однозначное кодирование возможно только для коротких анкетных ответов (одна или две темы). Возможны два варианта кодирования: (1) ответ и код находятся на одном уровне обобщения, (2) код представляет собой более общее понятие. Первый вариант - это копирование анкетного ответа или его сопоставление с аналогичным высказыванием. Вопрос о доходах кодируется интервьюером, а кодировщику (скорее в этом случае, его надо называть набивщиком ответов) остается лишь перенести ответ из анкеты в массив, поэтому все ответы точно соответствуют записи в анкете. Другим примером служит код "борьба за власть" (вопрос о событиях на Украине), который в двух случаях совпадал с анкетным ответом. Когда совпадающие с кодом ответы закончатся, кодировщик начинает подыскивать аналогичные высказывания. Кодирование в этом случае основано на допущении, что код и выбранный ответ взаимозаменяемы или семантически эквивалентны. Так кодировщик посчитал, что высказывания "дележ власти" и "передел власти" эквивалентны коду "борьба за власть", что может показаться вполне очевидным. Если же он выбирает второй вариант кодирования и пытается обобщить ответы, то адекватность выбранных кодов вызывает большие сомнения: анкетные ответы "НТВ", "события, скандал вокруг НТВ", "скандал с НТВ" закодированы как "нападки на СМИ". Ответ, содержащий аббревиатуру НТВ, наделялся кодировщиком совершенно четким смыслом, усвоенным им из средств массовой информации. Поскольку синонимы в речи определяются лишь контекстуально, кодировщик вынужден реконструировать контекст высказывания или, другими словами, выдвигать предположения о том, "что же в действительности имел в виду респондент"27. Поэтому кодирование однозначных и коротких ответов будет всегда приводить к смещениям. Фактически, короткий или однозначный анкетный ответ представляет собой код высказывания респондента, поэтому последующую трансформацию кода просто не корректно называть кодированием. Д. Лейдер утверждает, что кодированием можно называть только процесс классификации ответа в значимые для исследователя категории [45, p. 322]. Второй вариант однозначного кодирования заключается скорее в интерпретации или наделении смыслом увиденного текста.

Простая классификация - все темы кода соответствуют ответу, количество тем в коде меньше количества тем в записанном ответе. К. Бейли дает общее определение классификации как упорядочивания объектов в группы или классы на основании их однородности, статистическим критерием которой выступает минимальная внутригрупповая дисперсия при максимальной межгрупповой [2, p. 1]. А. Коксон понимает ее в более узком смысле, который как раз соответствует простой классификации: "классификация - это размещение определенного числа объектов в меньшее количество групп таким образом, чтобы можно было определить правила этого размещения" [14, p. 1]. Уменьшая на классификационном переходе тематическую размерность ответа, кодировщик вынужден сравнивать темы и принимать решение - однородны они или нет. Если несколько тем признаются однородными и сопоставляются с одной темой кода, то тем самым он ситуационно классифицирует ответ. Например, ответ "повысить зарплату медикам, учителям и остальным рабочим" классифицируется как "увеличить выплаты". По аналогии с устойчивым термином "полевое кодирование" будем называть такую классификацию полевой.

Полевая классификация дает первичное представление о распространенной проблеме интерпретации открытых вопросов - невозможности распознать ответы, стоящие за кодом. Г. Шуман и С. Прессер предупреждают, что следует очень осторожно анализировать категории открытых вопросов, поскольку за ними могут скрываться разные ответы [63, p. 90]. Если из нескольких тем ответа кодируется лишь одна, кодировщик маркирует ее как релевантную заданному коду, а остальные рассматривает как темы, либо определяющие контекст высказывания, либо не соответствующие заданным критериям. Например, ответ "власть делят, почувствовали слабость Кучмы, не знают к кому прислониться - может, к НАТО, промышленность развалили" кодируется как "борьба за власть". Будем называть такую классификацию отложенной28, поскольку в этом случае кодировщик лишь подготавливает поле для дальнейшего анализа29. Не следует смешивать отложенную классификацию с однозначным кодированием. Последнее сразу задает структуру или типологию ответов, а отложенная классификация лишь определяет пространство признаков, поэтому разница между этими типами кодирования особенно заметна в процессе обработки данных. Методику работы с отложенной классификацией П. Лазарсфельд разбивает на два этапа: конструирование и редукцию. На первом этапе из всех переменных строится развернутая типология ответа30, на втором - в зависимости от наполнения клеток, расположенных на пересечении нескольких переменных (функциональная редукция) или представлений исследователя (прагматическая редукция), количество типов уменьшается. Кроме этого, возможен третий тип "типологических операций" - создание вторичных переменных, который Лазарсфельд называет трансформацией [48]. Нетрудно выделить преимущества отложенной классификации: (1) точные и хорошо контролируемые критерии объединения переменных в типы; (2) возможность построения множества типологий и, соответственно, проверки большого числа гипотез; (3) простота кодирования.

Развернутая классификация - количество тем в коде превышает количество тем в ответе, и все темы кода соответствуют ответу. Если выбран только один код и количество тем в нем превышает количество тем ответа, значит, исследователь не смог четко обозначить концепт, который характеризует код, и вынужден задать его с помощью перечня примеров. Во многом это связано с проблемой наименования, и после ее решения код формулируется одной темой. Таким образом, описанный случай представляет собой псевдоразвернутую классификацию, которая в конечном счете сводится к простой. Другое дело, если исследователь кодирует ответ по нескольким критериям. Например, кроме тематического кодирования, которое обычно применяется в исследованиях, может быть применено кодирование контекстуальное, учитывающее наличие обоснований, эмоциональность речи респондента, персонализацию им ответа и т. д. В этом случае возможности интерпретации существенно увеличиваются.

Замещение ответа - количество тем в коде меньше либо равно количеству тем в ответе, но не все темы кода соответствуют ответу. При этом была зафиксирована следующая особенность: в каждом ответе хотя бы одна тема не совпадала с темами кода и в каждом коде хотя бы одна тема не совпадала с темами ответа. Это позволило говорить о замещении ответа, когда несколько тем одного кода не представляют полностью ответ респондента. Вместе они создают новый контекст, который отличается от контекста высказывания. Например, ответ "исполнительный - говорит и делает" кодируется как "ответственный, требовательный" или "к народу часто выходит, не скрывается от народа" - "хорошо выступает, коммуникабельный". Кодировщик как бы не замечает отдельных слов и выбирает из ответа лишь те, которые могут быть соотнесены с одним из представленных кодов. В первом случае "говорит и делает" увязывается с ответственностью, во втором "к народу часто выходит" - с коммуникабельностью. Выражение, оторванное от контекста, задаваемого совокупностью синтагм, становится семантически неустойчивым и может подвергаться изменениям без видимых потерь смысла31. Появление значимых различий обнаруживается лишь при сопоставлении двух высказываний как неделимых фразовых единств. Замещение ответа - это полевая классификация с выборочным конструированием кода. Чем больше тем содержит код, тем легче кодировщику проинтерпретировать хотя бы одну тему таким образом, чтобы она оказалась релевантной ответу, например, ответы "навести порядок, с коррупцией разобраться и прочее" и "разобраться со своим окружением, с организацией государственной власти, навести порядок" кодируются одинаково как "навести порядок в стране, обеспечить выполнение законов, совершенствовать законодательство". Кодировщик как бы решает за респондента, что он "действительно" хотел сказать или "в чем смысл" его высказываний. Замещая ответ, кодировщик руководствуется лишь собственными представлениями, поэтому на этот способ кодирования приходится наибольшее число ошибок размещения ответа в кодификаторе32: в 47% случаев зафиксирована ошибка выбора кода при замещении ответа, в 21% - при расширении ответа; однозначное кодирование и простая классификация были выполнены без таких ошибок (χ2=58,434; p<0,000).

Расширение ответа - количество тем в коде больше как количества тем в ответе, так и количества тем, соответствующих ответу. То же касается и замещения: для содержательной интерпретации этого типа потребовалось дополнительное условие - все темы в ответе соответствуют коду, и хотя бы одна тема в коде не соответствует ответу. Примером расширения ответа служит код, приписываемый анкетной записи "З/О" (затрудняюсь ответить) - "нет ответа, ответ не на тему". Точное сопоставление любого анкетного ответа с кодом не приводит к дополнительным смещениям до тех пор, пока кодировщик ограничивается лишь переименованием этого класса ответов, закодированных интервьюером, и не присваивает данный код другим ответам33. Другие примеры расширения ответа: "пенсию прибавил людям" и "то, что он передавал насчет пенсии" кодируются как "выплаты, цены" (раздел "экономика, социальная сфера"); "он не обманывает" - "порядочный, честный, справедливый"; "деловитость" - "хороший мэр, хозяйственник, деловой" и т. д. Замещение и расширение ответов построены исходя из одной целевой установки - наиболее полной передачи смыслов, ассоциируемых с высказываниями респондентов. Сталкиваясь с необходимостью объединения ответов в группы, кодировщик выстраивает ряд однородных слов, смешивая собственный словарь синонимов со словарем респондента. Написание кодов на обыденном языке, заимствованном из высказываний тысячи разных людей, приводит к увеличению двусмысленности и неопределенности, без того в избытке представленных во многих анкетных ответах. Поэтому У. Куайн отрицает возможность использования синонимии для понимания обыденных текстов: "Если мы перефразируем предложение, чтобы устранить двусмысленность, мы ищем не синонимичное предложение, но - более информативное посредством сопротивления некоторым альтернативным интерпретациям [80, с. 186]. Единственная возможность уйти от производства дополнительных смыслов - парафраз обыденной речи в систему переменных, точно удерживающих заданные исследователем значения.

Замещение и расширение ответов вызваны ошибочным построением кодификатора. Следует различать ошибочный кодификатор - некорректное написание - и расположение кодов с ошибками, допускаемыми кодировщиками, - некорректный выбор кода или его пропуск. В то же время ошибки кодировщика зачастую обусловлены неправильно составленным кодификатором. Кодировщик ошибочно закодировал 10% ответов и пропустил релевантые коды в 18% ответов. Вторая цифра в большей степени характеризует построение кодификатора, нежели работу кодировщика, поскольку линейное расположение кодов создает иллюзию их альтернативности, хотя в действительности почти каждый из них представляет собой неальтернативную переменную. Наибольшее число пропусков - 30 из 47 (χ2=113,328; df=3 p<0,000) - и ошибок в выборе кода - 25 из 47 (χ2=84,003; df=3 p<0,000) приходится на замещение ответов. Ошибка выбора кода практически неизбежна, если кодировщик, расширяя или замещая ответ, пытается поставить ему в соответствие код на основе парафраза, а не синонимии или прямого копирования34: 91% таких случаев сопровождается ошибкой (χ2=38,958; p<0,000). Однако при однозначном кодировании и простой классификации таких ошибок не возникает. Д. Лейдер подчеркивает, что количество ошибок кодирования напрямую зависит от сложности кодов [45, p. 328], что и подтверждается результатами эксперимента: замещение или расширение ответа обычно требует развернутого написания кода (F=122,619; p<0,000) (табл. 18).

Таблица 18

Тематическое членение кода

Для качественного кодирования полезно ввести дополнительную переменную: (1) уверен в коде, (2) сомневаюсь, (3) затрудняюсь закодировать. Д. Брунер, Д. Гудноу и Г. Остин подчеркивают, что затруднения при отнесении объекта к какому-либо классу уже представляют собой классификацию [11, p. 12]. Такая переменная позволяет не только тестировать вопросы, но и получать дополнительную информацию для содержательных выводов.

Замещение и расширение ответа невозможно без приписывания ему некоторых смыслов. Кодирование происходит в режиме интерпретации и переинтерпретации прочитанных текстов. М. Берндсен, Г. МакГарти и Д. Плигт экспериментально показали, что попытки переинтерпретации зачастую приводят к ошибочному выбору категорий [5, p. 218-219]. Если кодировщик настроен на выявление смысла записанного ответа, он в первую очередь ищет лексемы, подтверждающие его собственные убеждения. Д. Тернер описывает процесс выделения смыслов в теории личной категоризации, когда приписывание ответу определенных категорий проходит в процессе активной интерпретации [69]. Хотя сами эти действия рациональны, они приводят к смещениям. Особенно это характерно для ситуации, когда кодировщик вынужден работать с неполной информацией [5, p. 218, 230]. В данном случае мы можем зафиксировать нежелательную для исследователя тенденцию, которая неминуемо складывается в процессе замещения или расширения ответа: кодировщик заинтересован рассматривать как можно более короткий ответ, поскольку это вроде бы дает ему возможность однозначно отнести ответ к выбранному коду. В то же время короткий ответ не содержит контекстуальных маркеров, позволяющих корректно его проинтерпретировать. Более того, не всегда оправданно искать смыслы там, где их может и не оказаться.

Страницы: 1, 2, 3, 4, 5, 6