Телефон

+7 (495) 765-94-25

 

 В дебрях лженауки

   Всем специалистам до банальности известны термины DI, NDI, Inconclusive, присваиваемые результатам согласно традиционной американской технологии оценок. Что соответственно означает: «Ложь обнаружена», «Ложь не идентифицирована или не обнаружена», и наконец – «Результат неопределенный». К сожалению, большинство из действующих специалистов не задумывается над тем, что этот подход страдает, мягко говоря, рядом условностей, что позволяет отдельным служителям этой профессии, последователям отдельных школ подготовки специалистов полиграфологов, представлять результаты тестирования в виде перечня вопросов с категорической оценкой каждого вопроса «Ложь» либо «Правда».

Пример подобного отчета по результатам тестирования представлен ниже.

 

Значимые вопросы

Ответ

испытуемого

Результат, ложь/правда

Работая в ……………Вы совершали кражи денежных средств?

«Нет»

Правда

Работая в ……………. Вы совершали кражи ТМЦ?

«Нет»

Правда

Работая в ………… … Вы тайно забирали себе чаевые?

«Нет»

Ложь!

Работая в ………………Вы тайно получали незаконный доход?

«Нет»

Ложь!

Работая в ………………. Вы покупали купоны у ……......?

«Нет»

Правда

Работая в ……… Вы использовали купоны вместо гостей?

«Нет»

Правда

Вы тайно реализовывали продукты или напитки в личных корыстных целях?

«Нет»

Правда

Вы без ведома руководства разрешали гостям распивать алкоголь в кафе?

«Нет»

Правда

Работая в ……………. Вы тайно получали деньги за бронирование столов?

«Нет»

Правда

Вы вступали в сговор с администраторами с целью получения незаконного дохода?

«Нет»

Правда

Вы вступали в сговор с барменами с целью получения незаконного дохода?

«Нет»

Ложь!

Вы вступали в сговор с официантами с целью получения незаконного доход?

«Нет»

Правда

Вы вступали в сговор с кассирами с целью получения незаконного дохода?

«Нет»

Правда

 

   Во-первых: решение, принимаемое по одному вопросу, может быть только оценкой его значимости: «Значим» или «Не значим», поскольку мы регистрируем не ложь или правду, а эмоциональную реакцию тестируемого.

Оценка искренности испытуемого осуществляется на основании выраженности и стабильной значимости совокупности вопросов на определенную тему (как известно, должно быть не менее трех предъявлений вопросов на конкретную тему исследования).

   Во-вторых: не каждый специалист ставит целью получение знаний в области теории статистики и вероятности, слепо ориентируясь на традиционный опыт американской школы детекции лжи, насчитывающий не один десяток лет. Между тем в толковании оценок DI, NDI, Inconclusive есть ряд спорных моментов.

 В пояснениях к выбранной системе оценок специалисты американской школы (в частности Д. Крэпол) приводит следующие аргументы.

 

 

Распределения суммарных баллов (Grand Total)

для тестируемых лиц, говорящих правду или ложь,

Пороги принятия решения

и область неопределенных результатов

 

                                                          

                                     Рис.9     Выбор зоны неопределенности

 

Подписи по осям:         

Grand Total Score – Единый суммарный балл (ЕСБ)

relative frequency – относительная частота наблюдаемости конкретного ЕСБ

 

Обозначения на рисунке:

SRSignificant Response (значимые реакции – ЗР)

DIDeception Indicated (ложь обнаружена – ЛО)

failтест не пройден

 

NSRNo Significant Response (нет значимых реакций – НЗР)

NDINo Deception Indicated (ложь не обнаружена – ЛНО)

passтест пройден

 

INCInconclusive (неопределенный результат)

Представим себе группу или представительную выборку абсолютно честных испытуемых (1000 человек), оценку которым дают специалисты разной квалификации и стажа работы. Их балльные оценки могу иметь разброс от минимальной до максимальной в рамках вероятностного закона нормального распределения. Иными словами, могут иметь случайный характер, описываемый дифференциальным Гауссовским законом распределения (оранжевая гистограмма). С другой стороны, группу абсолютно лживых испытуемых из 1000 человек обследует та же группа специалистов, обладающая теми же навыками и квалификацией. Балльные оценки, подтверждающие лживость обследуемых, ложатся в створ вероятностного закона Гаусса (синяя гистограмма). Из совместного рассмотрения этих двух вероятностных исходов мы имеем возможность убедиться, что эти законы оценок имеют область перекрытия, т. е. область, в рамках которой специалисты могут ошибиться, поскольку одни с большим успехом определяют лживых испытуемых, другие правдивых. И эта зона перекрытия носит название зоны неопределенных результатов – INCInconclusive (неопределенный результат).

Предположим, что эксперты, использующие балльную оценку, представляют собой группу высококвалифицированных специалистов с одинаковым успехом идентифицирующих лживых и правдивых людей. Легко убедиться, что зона неопределенности станет меньше, поскольку разброс оценок уменьшится. В пределе, при абсолютном совершенстве экспертов и способности к 100%-ной идентификации как лживых, так и правдивых тестируемых, эти два закона деградируют и превращаются в две вертикальные прямые. Исчезает зона перекрытия этих законов, т. е. зона INCInconclusive теряет смысл. В связи с чем возникает вопрос: «Что же мы тестируем? Квалификацию экспертов или реального испытуемого? Что такое зона неопределенности, зона – «ложь обнаружена» или – «ложь не обнаружена»». Кроме того, согласно законам логики следует заметить, что с увеличением суммарного балла отрицательных оценок вероятность обнаружения лжи (левое направление) уменьшается так же, как и обнаружение правды (правое направление). Понятно, что речь идет не о вероятности достоверной оценки лжи или правды, а о частоте наблюдаемости балльных оценок, соответствующих лжи или правде. Но тогда мы оцениваем не то, к чему стремимся. Напомним, что мы стремимся получить достоверность нашего вывода о значимости стимула, вызвавшего эмоциональную реакцию тестируемого, а не его случайности.

Такой подход представляется внешне привлекательным и реалистичным. Однако, в действительности, приводит к бесконечному процессу оптимизации методов тестирования, поиску способов оценки результатов. Создает вязкую среду якобы научных исследований, в которой, специалисты занимаются деятельностью, по признакам близкой лженауке, а методы детекции приобретают оттенок ремесла. Главное, этот процесс бесконечен.

Действительно, балльные оценки экспертов в зависимости от квалификации и навыков в оценке параметров, особенностей формата вопросников, могут различаться. Причем разброс этих оценок подчиняется тому же закону распределения случайных величин. Справедливо и то, что математическое ожидание – m  и   σ – среднеквадратическое отклонение законов оценки лживых и правдивых испытуемых существенно отличны друг от друга. Все эти исследования с набором статистики балльных оценок производится с одной целью – определиться с границами зоны неопределенных результатов.

     Создается впечатление, что укоренившаяся в сознании специалистов методология балльной оценки Бэкстера, появившаяся в 60-е годы, всегда останется единственным и незыблемым правилом принятия решения по результатам тестирования. Как это ни печально, но, действительно, так. Оставаясь на позициях заведомой значимости контрольных вопросов или вопросов сравнения, продолжая присваивать баллы значимости реакции по результатам сравнения пары соседствующих вопросов контрольного и проверочного характера, мы всегда будем вынуждены принимать во внимание правила Бэкстера. Будем вынуждены проводить исследования с целью определения границ зоны неопределенных результатов для каждого нового формата вопросника и каждого нового типа вопроса. Будем находиться в заблуждении, что можно придумать универсальный вопрос сравнения, одинаково значимый для всей популяции обследуемых. Будем исследовать валидность тех или иных форматов вопросников и отдавать предпочтение одним, отвергая другие.  Преследуя цель уличить тестируемого в неискренности, будем считать, что мы детектируем ложь, а не эмоцию. Наблюдая реакции, будем давать категоричные оценки «Ложь» либо «Правда».

     Между тем, многолетняя практика подтверждает, что нет вопросов одинаково значимых для всех испытуемых. Значимость вопроса сравнения определяется не только формулировкой вопроса, но и многими другими факторами, в том числе психологией личности испытуемого, особенностями его нервной системы. Значимость вопроса надо искать не в формулировке вопроса, а в психологии и мотивациях личности. В конечном счете, именно на принципе различия в восприятии вопросов или стимулов строится методология проверок.  С этих позиций все вопросы имеют одинаковую априорную значимость, при этом, как отреагирует тестируемый, зависит только от него. Метод парного сравнения вопросов контрольного и проверочного характера не единственный метод оценки результатов тестирования или балльной оценки. Достаточно оценить абсолютную выраженность реакций в рамках вопросника, с тем чтобы определиться со значимостью того или иного вопроса, значимостью группы вопросов контрольного и проверочного характера, оценивать значимость вопросов не парным сравнением, а в абсолютном значении, что более объективно и не вступает в противоречие с тезисом о том, что идеально правдивых или лживых людей не существует. Иными словами, использовать не двухсторонний критерий значимости, предложенный Бэкстером, а односторонний, позволяющий однозначно определять значимость вопросов при условии выхода оценки за пределы нормального закона распределения.

       Тем не менее традиционный подход, как мы можем убедиться, предполагает наличие двух групп оценок: отдельно правдивых и отдельно лживых. Такой подход невольно провоцирует вопрос, представитель какой группы тестируемых из общей массы правдивых и лживых подвергается тестированию в реальных обстоятельствах, и, самое главное, оценивать результат будет квалифицированный специалист или новичок? Действительно, существует разница с позиций балльной оценки, получаемой парным сравнением, в реактограммах лживого и правдивого испытуемого, но нормальный закон распределения случайных оценок един для всей массы возможных вопросов и категорий тестируемых.  Кстати, шкала суммарных баллов оценки ± 40 баллов предполагает нормальный закон распределения случайной величины с нулевым средним. Обращает на себя внимание тот факт, что в приводимых для доказательства обстоятельствах оценки были получены в отношении правдивых и лживых тестируемых постфактум, после установления виновности или ее отсутствия для групп лиц из выборки обследуемых. Обработка результатов велась экспертами, а значит, соответствовала среднему уровню их квалификации и выбранной единой методологии оценки. То есть привязка шкалы оценки осуществлена к конкретному формату вопросника и среднему уровню компетентности эксперта. О чем свидетельствуют соответствующе таблицы оценки вероятности разных форматов вопросников. Становится очевидным, что шкала балльных оценок далеко не универсальна.

  • Тест ЮТА (однотемный одноаспектный с 3-я ПВ)

(3 или 5 предъявлений вопросника)

7-балльная шкала

Оценка по Единому суммарному баллу - ЕСБ (Grand Total - GT)

 

Единый суммарный балл (ЕСБ) – Grand Total (GT)

Лгут

Говорят правду

Среднее значение

Стандартное отклонение

Среднее значение

Стандартное отклонение

-10

7

9

8

 

Лгут

Говорят правду

ЕСБ

Ошибка (α)

ЕСБ

Ошибка (α)

0

0,130

1

0,058

-1

0,106

2

0,043

-2

0,085

3

0,032

-3

0,067

4

0,023

-4

0,052

5

0,016

-5

0,040

6

0,011

-6

0,030

7

0,008

-7

0,023

8

0,005

-8

0,017

9

0,003

-9

0,012

10

0,002

-10

0,009

11

0,001

-11

0,006

12

0,001

-12

0,004

13

0,001

-13

0,003

14

˂0,001

-14

0,002

15

 

-15

0,001

16

 

-16

0,001

 

 

-17

0,001

 

 

-18

˂0,001

 

 

  • Тест ЮТА (однотемный одноаспектный с 3-я ПВ)

(3 или 5 предъявлений вопросника)

Эмпирическая система оценки – ЭСО

Оценка по Единому суммарному баллу - ЕСБ (Grand Total - GT)

 

Единый суммарный балл (ЕСБ) – Grand Total (GT)

Лгут

Говорят правду

Среднее значение

Стандартное отклонение

Среднее значение

Стандартное отклонение

-9

8

8

7

 

Лгут

Говорят правду

ЕСБ

Ошибка (α)

ЕСБ

Ошибка (α)

0

0,127

1

0,106

-1

0,099

2

0,085

-2

0,077

3

0,067

-3

0,058

4

0,052

-4

0,043

5

0,040

-5

0,032

6

0,030

-6

0,023

7

0,023

-7

0,016

8

0,017

-8

0,011

9

0,012

-9

0,008

10

0,008

-10

0,005

11

0,006

-11

0,003

12

0,004

-12

0,002

13

0,003

-13

0,001

14

0,002

-14

˂0,001

15

0,001

 

 

16

˂0,001

 

- Если различие в Индивидуальных суммарных баллах (ИСБ) между любыми двумя ПВ оказывается равным 8 или больше, то результат такого теста следует рассматривать как неопределённый (нет вывода – НВ).

  • Тест ЮТА (м) (однотемный многоаспектный с 4-я ПВ)

(3 или 5 предъявлений вопросника)

7-балльная шкала

Оценка по Единому суммарному баллу - ЕСБ (Grand Total - GT)

 

Единый суммарный балл (ЕСБ) – Grand Total (GT)

Лгут

Говорят правду

Среднее значение

Стандартное отклонение

Среднее значение

Стандартное отклонение

-11

9

13

10

 

Лгут

Говорят правду

ЕСБ

Ошибка (α)

ЕСБ

Ошибка (α)

0

0,097

1

0,091

-1

0,081

2

0,074

-2

0,067

3

0,060

-3

0,055

4

0,048

-4

0,045

5

0,038

-5

0,036

6

0,029

-6

0,029

7

0,023

-7

0,023

8

0,017

-8

0,018

9

0,013

-9

0,014

10

0,010

-10

0,011

11

0,007

-11

0,008

12

0,005

-12

0,006

13

0,004

-13

0,005

14

0,003

-14

0,003

15

0,002

-15

0,003

16

0,001

-16

0,002

17

0,001

-17

0,001

18

0,001

-18

0,001

19

˂0,001

-19

0,001

 

 

-20

˂0,001

 

 

 

- Правило Сентера (Senter's Rule) – двухэтапная оценка:

В случае получения неопределённого результата, если индивидуальный суммарный балл любого из 4-х ПВ составляет -10 и меньше, то принимается решение «Ложь обнаружена (ЛО)» с вероятностью ошибки 0,011 и меньше.

 

  • Тест ЮТА(м) (однотемный многоаспектный с 4-я ПВ)

 (3 или 5 предъявлений вопросника)

Эмпирическая система оценки – ЭСО

Оценка по Единому суммарному баллу - ЕСБ (Grand Total - GT)

 

Единый суммарный балл (ЕСБ) – Grand Total (GT)

Лгут

Говорят правду

Среднее значение

Стандартное отклонение

Среднее значение

Стандартное отклонение

-12

10

11

9

 

Лгут

Говорят правду

ЕСБ

Ошибка (α)

ЕСБ

Ошибка (α)

0

0,111

1

0,097

-1

0,091

2

0,081

-2

0,074

3

0,067

-3

0,060

4

0,055

-4

0,048

5

0,045

-5

0,038

6

0,036

-6

0,029

7

0,029

-7

0,023

8

0,023

-8

0,017

9

0,018

-9

0,013

10

0,014

-10

0,010

11

0,011

-11

0,007

12

0,008

-12

0,005

13

0,006

-13

0,004

14

0,005

-14

0,003

15

0,003

-15

0,002

16

0,003

-16

0,001

17

0,002

-17

0,001

18

0,001

-18

0,001

19

0,001

-19

˂0,001

20

0,001

 

 

21

˂0,001

 

- Правило Сентера (Senter's Rule) – двухэтапная оценка:

В случае получения неопределённого результата, если индивидуальный суммарный балл любого из 4-х ПВ составляет -10 и меньше, то принимается решение «Ложь обнаружена (ЛО)» с вероятностью ошибки 0,011 и меньше.

 

     Разработанная Бэкстером полвека назад методика получения количественных оценок до сих пор остается на вооружении специалистов полиграфологов США и копируется отечественными специалистами.  Принятые федеральные законы о применении полиграфа, ведомственные инструкции ограничивают возможности каким-либо образом изменить или развить методическую базу исследований. Складывается впечатление, что главные усилия коллег из США направлены лишь на то, чтобы в рамках строгих ограничений подвести научную базу под существующие и жестко регламентированные приемы и методы. Именно это обстоятельство приводит к мысли о недопустимости введения ограничительных мер в практику психофизиологических исследований в России.

следует заметить, что ее можно осуществлять гораздо проще, не отягчая ее соображениями о формате вопросников, привязкой статистических таблиц к количеству и типу вопросов в вопроснике, вычислению вероятностной зоны неопределенных результатов для каждого формата вопросника. Достаточно признать, что значимость реакции испытуемого определяется не форматом вопросника, не способом или размерностью шкалы подсчета баллов, а личностными особенностями испытуемого, его психологией и мотивациями. С этих позиций априорная (пред тестовая) значимость вопросов равновероятна, и все вопросы равноценны. Психологическая значимость стимула проявляется в процессе тестирования и актуализируется в сознании испытуемого вне зависимости от формата вопросника или способа подсчета баллов. По меньшей мере надуманными выглядят соображения о том, что существует разница в оценке правдивых и лживых испытуемых, и, соответственно, для каждой такой категории существует свой закон случайных оценок. Иное дело опыт и квалификация экспертов. Для них гораздо проще оценивать правдивого испытуемого, чем выносить решение о лживости субъекта. Что, собственно, и подтверждается двумя приводимыми законами распределения. Но при чем здесь объект исследования, и как ему относиться к процедуре обследования?

    В соответствии с устоявшейся практикой балльной оценки следует рассмотреть как минимум три сценария, сопутствующих формированию результатов.

  1. Эксперт перед началом тестирования интересуется, к какой категории следует отнести тестируемого: потенциально правдивых или лживых людей? Поскольку для каждой категории существует свой закон случайных оценок.
  2. Испытуемый, решая вопрос о прохождении тестирования, подвергает эксперта проверке на профессиональную компетентность, которая оказывает влияние на количественную оценку результатов тестирования. Действительно, ширина зоны неопределенных результатов зависит от компетенции эксперта. Вычисленная по результатам практических исследований зона неопределенности ориентирована на среднюю компетенцию эксперта.
  3. Испытуемый отвергает предложение пройти проверку, мотивируя свое решение тем, что в количественной или балльной оценке результатов нарушаются законы статистики.

Если первые два сценария не требуют пояснений, поскольку декларируются в рамках самой идеологии балльной оценки, то третий сценарий требует особого рассмотрения. Для этого еще раз обратимся к приводимым в качестве доказательной базы балльной оценки законам распределения.

 

 

 

                 Рис.15 Законы распределения оценок

 

         Обращает на себя внимание различие средних значений в 16 баллов двух представленных законов распределения, что вполне логично. Различны их амплитудные значения и среднестатистические отклонения от среднего. Разница в амплитудных значениях может говорить о том, что выводов о правдивости испытуемых было сделано больше с меньшей погрешностью из всей выборки результатов тестирования, используемых в качестве доказательной базы. Разница в отклонении от средних значений убеждает в том, что в отношении лживых испытуемых выводы делались с большим количеством ошибок, чем в отношении правдивых. Зона неопределенных выводов (от -5 до +1 балла). Суммарный закон распределения случайных величин представляет собой двугорбую кривую, ничего общего не имеющую с нормальным законом распределения.

 

        Рис. 16   Общий закон распределения оценок

     Помимо внешнего отличия от нормального закона распределения, статистические характеристики такого распределения не определены, поскольку отсутствует математический аппарат вычислений среднего значения и дисперсии. Распределение не стандартизовано. Это не значит, что оно не отражает реальность. Однако его возможно получить только на основе ретроспективного анализа подтвержденных результатов исследований, накопленных за длительный период времени, и только в отношении конкретного методического подхода, использующего строго определенный формат вопросника. Поменяйте формат вопросника, и вы получите новое распределение, измените состав группы экспертов – изменится и форма распределения.

   В интересах тестируемых, оценка значимости реакций должна проводиться на основе объективных измерений результатов тестирования с учетом строгих законов статистики вне зависимости от опыта и квалификации специалиста. Такой подход реализуется метрической оценкой. Однако объем и сложность вычислений исключает возможность ее широкого использования в ежедневной практической деятельности полиграфолога. В то же время при сочетании преимуществ балльной оценки с четкими и однозначными методами статистических измерений процесс принятия решения может быть предельно ускорен и объективизирован. Для этого следует в качестве аксиомы принять положение, согласно которому существует единый для всех категорий тестируемых, экспертов различной квалификации, форматов вопросников и типов вопросов стандартный закон распределения случайных величин.

 

                      Рис.17   Стандартный закон распределения

    Эксперт может пользоваться любой шкалой балльной оценки (±3 балла, ±10 баллов, ±40 баллов и т. д.). В случае односторонней шкалы, допустим +100 баллов, следует учесть, что среднее значение закона распределения будет равно не нулю, а среднему значению шкалы балльной оценки, т. е. 50 баллам. Далее, подсчет баллов любой из реакций осуществляется на основе всем хорошо известных правил. Это может быть суммарная балльная оценка реакции по множеству параметров в рамках одного стимула, общая оценка выраженности реакции на стимул, результат парного сравнения рядом стоящих стимулов контрольного и проверочного характера. Закон нормального распределения справедлив для любой совокупности оценок. Главное, чтобы они были получены с соблюдением единых правил подсчета баллов. Возможен вариант сквозного подсчета баллов без учета размерности шкалы оценок, но тогда совокупность оценок должна быть подвергнута нормализации, т. е. Z-преобразованию, что требует вычисления среднего значения Xcр  и среднеквадратического отклонения S всей совокупности оценок. После таких преобразований стандартный закон нормального распределения полностью применим к оценке выраженности реакций.

Остается определиться с порогом, относительно которого принимается решение о значимости реакции. В большинстве психофизиологических исследований порог Р=0,95, а это соответствует отклонению +2δ, является достаточным для принятия решения о значимости реакции. При выборе шкалы ± 10 баллов этот порог соответствует +7 баллам. При шкале ± 40 баллов, значимость реакции определяется на уровне +27 баллов. Иными словами, оценка реакции выходит за пределы генеральной совокупности случайных значений. При этом считается, что она вызвана воздействием значимого для испытуемого стимула. Если оценка выходит за порог значимости Р=0,99, что соответствует отклонению от среднего +3δ, реакция достоверно значима. Поводом настороженного отношения к полученной реакции служит порог Р=0,84 на уровне + δ. Выяснить причину, вызвавшую реакцию, – вполне оправданный шаг. Следует заметить, что никаких сомнений в оценке выраженности реакций при таком подходе не возникает, зона неопределенности принципиально исключена из рассмотрения. Все, что находится влево от выбранного порога значимости, случайно, поскольку принадлежит генеральной совокупности случайных значений. Выбранный односторонний критерий значимости в отличие от традиционного двухстороннего (±) критерия Бэкстера не требует расчета границ зоны неопределенных результатов - INCInconclusive zone, которая, с точки зрения определенности результатов, ничего не добавляет. Кстати, зона неопределенности, полученная в результате длительных экспериментальных исследований коллег из США, находится в районе средних значений стандартного нормального распределения (-5, +1), что подтверждает вывод о наибольшей неопределенности результатов в оценке значимости реакций в этой зоне. Естественно, задать вопрос о смысле столь длительных исследований для получения вполне очевидного результата. Впрочем, затраты на подобные исследования могут быть оправданы получаемой разницей средних значений двух распределений (16 баллов). По величине этой разницы можно оценивать валидность и надежность используемых методических приемов и форматов вопросников, поскольку она является критерием степени различий между совокупностью оценок правдивых и лживых испытуемых. Наилучшему приему или формату вопросника будет соответствовать наибольшая разница средних значений распределений. Но эта исследовательская деятельность может продолжаться бесконечно, поскольку согласно законодательству и традициям коллег из США замена всего одного вопроса в формате вопросника означает появление нового формата или методического приема.

   Особенность лженауки, как известно, состоит в том, что ее проповедники видят в ней только то, что он хотят видеть – источник своего благополучия и монументальности, произрастающих на почве обмана и безграмотности.