 |
ПОЛИГРАФ - ФОРУМ Для общения по теме " Детекция лжи "
|
Предыдущая тема :: Следующая тема |
Автор |
Сообщение |
ABP
Зарегистрирован: 28.09.2005 Сообщения: 145 Откуда: г. Москва
|
Добавлено: Пт Сен 10, 2010 5:49 pm Заголовок сообщения: |
|
|
Для JC.
В ходе настоящей дискуссии, Вы сделали несколько утверждений, которые я не мог оставить без внимания. В частности, Вы написали:
Цитата: | Заявленная точность Polyscore на основании исследований 95%, какова точность ChanceCalc?
-------
Или с ChanceCalc такая же история, как и с шапочками? Наука это не та область, где полагаются на веру, здесь опираются на знание. Плохо, что Вам это не объяснили ваши учителя |
Если позволите, я сделаю два пояснения по существу Ваших утверждений.
1. Предоставлять оценку точности процедур классификации по двум и более группам в виде одной цифры – некорректно. Всегда необходимо давать информацию о структуре ошибок. Указанная Вами точность Polyscore равная 95%, судя по приведенной Вами же диаграмме, является усреднением точности определения этой программой лгущих (97.8%) и точности выявления с помощью этого алгоритма говорящих правду (87.5%). Как видно, значения точности для этих двух групп исследуемых лиц различаются, и во втором случае даже немного настораживают. 13 из 100 говорящих правду будут признаны этим алгоритмом лгущими! Согласитесь, не очень веселая перспектива для честных людей, оказавшихся волею случая на полиграфе. Более того, значения точности, которые мы только что рассмотрели (97.8% и 87.5%), называются в прикладной психофизиологии "приведенными", поскольку при их определении не учитывались "неопределенные" результаты исследований (inconclusive). Если же мы попробуем оценить реальную эффективность алгоритма и попробуем определить так называемую "абсолютную" точность, а именно, посмотрим, сколько правильных заключений он делает на общем массиве испытуемых без всяких исключений, то результат по приведенной диаграмме окажется следующий: точность определения лгущих составит 78.6%, а говорящих правду – 68.3%. Усредненная точность будет равна 73.5%. Другими словами, 21 из 100 лжецов (каждый пятый) избежит раскрытия, а из 100 говорящих правду одна треть (31 человек) не смогут доказать свою честность (самое время еще раз вспомнить о "кладбище полиграфолога"). Вот о чем говорит одна единственная цифра на первый взгляд высокой точности 95%.
Поверьте, я ничего не имею против программы Polyscore. Лично мне этот алгоритм нравится. Кстати, необходимо подчеркнуть, что у него довольно жесткие требования к условиям применения, которые необходимо соблюдать для достижения заявляемой точности и которые, к сожалению, часто нарушаются пользователями. Я также думаю, что приведенные Вами данные из руководства по применению Polyscore'а, уже устарели, и показатели точности его последней версии наверняка выглядят лучше, так как используемая в нем база знаний в настоящее время существенно (раз в десять) больше, чем та, на основании которой строилась приведенная Вами диаграмма. Поэтому своим комментарием я всего лишь хотел подчеркнуть, что надо более внимательно относиться к понятию точности, когда речь идет о прикладных диагностических методах применяемых к человеку.
2. Теперь пару слов об алгоритме ChanceCalc. Для незнакомых с ним сообщаю, что в отличие от "Polyscore", "CPS-II" (полиграф Stoelting) и других хорошо известных компьютерных программ, используемых для автоматической оценки результатов тестирования на полиграфе, этот алгоритм не является статистической процедурой классификации испытуемых на говорящих ложь (виновных, причастных) или правду (невиновных, непричастных). Для его применения не требуются такие обязательные атрибуты статистических процедур, как обучающая выборка, пороги принятия решения и решающее правило. Поэтому ChanceCalc нельзя сравнивать с этими программами напрямую и, тем более, говорить о сравнительной оценки их точности. ChanceCalc не принимает и не выносит решений о лжи, причастности или виновности. ChanceCalc - это всего лишь способ предоставления полиграфологу дополнительной информации, количественно характеризующей результаты проведенного им исследования, в виде ВЕРОЯТНОСТИ НЕСЛУЧАЙНОСТИ РЕАКЦИЙ на интересующие (проверочные) стимулы. Как правило, вероятность неслучайности реакций коррелирует со значимостью вызывающих их стимулов, оценка которой является основной задачей большинства прикладных психофизиологических исследований. На основе обработки и анализа результатов конкретного исследования ChanceCalc выдает полиграфологу значения вероятностей ложноположительной и ложноотрицательной ошибок, а затем уже, как и положено, полной ответственностью и компетенцией полиграфолога является принятие решения в отношении того, считать ли полученные уровни вероятности ошибок (или вероятности правильных выводов) приемлемыми или нет, прекращать или дальше проводить исследование. Другими словами, ChanceCalc, который, кстати, одинаково эффективно работает как в автоматическом режиме, так и с традиционными экспертными оценками, просто по определению не может ошибаться, поскольку не выдает решений. Он просто измеряет и наглядно представляет очень важный для принятия решения психофизиологический показатель (подобно измерению амплитуды КГР в метрической шкале), который все полиграфологи интуитивно чувствуют, которым постоянно интуитивно пользуются (например, отмечая, что "реакция носит выраженный, устойчивый характер"), но физически "пощупать" его и измерить не могут. ChanceCalc дает им такую, поверьте, очень полезную возможность.
С уважением,
АВР
Последний раз редактировалось: ABP (Пт Сен 10, 2010 7:41 pm), всего редактировалось 1 раз |
|
Вернуться к началу |
|
 |
JC

Зарегистрирован: 19.08.2008 Сообщения: 1829 Откуда: Урал
|
Добавлено: Пт Сен 10, 2010 7:51 pm Заголовок сообщения: |
|
|
ABP, благодарю за пояснения, я рад, что мы с Вами перешли от эмоций к рассмотрению вопросов по существу.
К сожалению, как я отмечал ранее - интересуюсь темой алгоритмов по мере возможности, поэтому обстоятельно изучить Ваш ответ пока не позволяет время, возможно позже.
На данный момент отмечу следующее:
1. По Polyscore. Ваше предположение про 95% не совсем точное. Если бы я взял среднее значение получилось бы 92.65%. Цифру 95% процентов я взял с сайта Арго, вполне возможно, это цифра более новая и точная, с учетом того, что Вы предположили данные на графиках устаревшими. Однако хотелось бы отметить, что даже по старым графикам значения точности для нашего метода достаточно высокие. Что же касается Ваших рассуждений по "абсолютную" точность и "кладбище", мне показалось, что Вы немного, намеренно или нет, сгущаете краски. Я надеюсь Вы понимаете, что неопределенный результат не является ни ложноположительной, ни ложноотрицательной ошибкой, а соотвественно и пропуском чего-либо, именно поэтому с учетом методики полиграфного тестирования, и рассматривается точность без учетов неопределенных результатов.
2. По ChanceCalc. Пока возникли следующие вопросы.
ABP писал(а): | Как правило, вероятность неслучайности реакций коррелирует со значимостью вызывающих их стимулов |
Есть ли возможность привести коэффициент корреляции и данные на основании которых он получен? Это как раз и будет, наверное, в Вашем случае та цифра "точности" о которой я спрашивал Дойчева.
ABP писал(а): | выдает полиграфологу значения вероятностей ложноположительной и ложноотрицательной ошибок |
Не совсем понял, о ложноположительных и ложноотрицательных ошибках чего (в чем) идет речь?
Спасибо. _________________ Тема: Функции, возможности, результаты работы полиграфолога
Последний раз редактировалось: JC (Пт Сен 10, 2010 8:16 pm), всего редактировалось 1 раз |
|
Вернуться к началу |
|
 |
Стратег
Зарегистрирован: 09.02.2006 Сообщения: 1157 Откуда: Брянск
|
Добавлено: Пт Сен 10, 2010 8:05 pm Заголовок сообщения: |
|
|
JC писал(а): | что даже по старым графикам значения точности для нашего метода достаточно высокие |
Вы уже себя отождествляете...
Или это оговорка по Фрейду? |
|
Вернуться к началу |
|
 |
KPS

Зарегистрирован: 20.07.2009 Сообщения: 1151
|
Добавлено: Пт Сен 10, 2010 8:55 pm Заголовок сообщения: |
|
|
ABP писал(а): | Он просто измеряет и наглядно представляет очень важный для принятия решения психофизиологический показатель |
Интересно что берется в измерениях? Например по дыханию, по ФПГ и т.д. _________________ Король может требовать повиновения, отец послушания. Но запомни: "Ты един в ответе за свою душу". Даже если ты исполнял их волю, перед ликом господним ты не сможешь сказать: "Мне приказывали поступать так". Это не будет тебе оправданием. |
|
Вернуться к началу |
|
 |
KPS

Зарегистрирован: 20.07.2009 Сообщения: 1151
|
Добавлено: Пт Сен 10, 2010 9:13 pm Заголовок сообщения: |
|
|
JC писал(а): | Если бы я взял среднее значение получилось бы 92.65%. |
JC писал(а): | Я надеюсь Вы понимаете, что неопределенный результат не является ни ложноположительной, ни ложноотрицательной ошибкой, а соотвественно и пропуском чего-либо, именно поэтому с учетом методики полиграфного тестирования, и рассматривается точность без учетов неопределенных результатов. |
Обычно при проведении опытов неопределенный результат относиться (плюсуются) в сторону обратную от цели тестирования, следовательно
Лгущих
Correct- 97,8
Incorrect- 2,2
Inconclusive – 19,6
Выглядит как 2,2+19,6=21,8 и следовательно Correct=78,2
и т.д. _________________ Король может требовать повиновения, отец послушания. Но запомни: "Ты един в ответе за свою душу". Даже если ты исполнял их волю, перед ликом господним ты не сможешь сказать: "Мне приказывали поступать так". Это не будет тебе оправданием. |
|
Вернуться к началу |
|
 |
JC

Зарегистрирован: 19.08.2008 Сообщения: 1829 Откуда: Урал
|
Добавлено: Пт Сен 10, 2010 10:03 pm Заголовок сообщения: |
|
|
Я не совсем четко расставил акценты, в то же время упоминая, что необходимо учитывать, что мы имеем дело с методикой полиграфного тестирования. Действительно, если предполагать, что полиграфное тестирование ограничивается одним тестом с неопределенным результатом или все тесты и тестирования дают неопределенный результат, то, как предполагал ABP при получении результатов "21 из 100 лжецов (каждый пятый) избежит раскрытия, а из 100 говорящих правду одна треть (31 человек) не смогут доказать свою честность". Сгущение красок на мой взгляд состоит в том, что "кладбище", наверное все-таки стоит больше относить к неверным решениям, а не к случаям неопределенности, которые решаются или дополнительным тестированием, или другими методами.
Неправильное понимание и использование результатов любого алгоритма может привести к неблагоприятным результатам.
Вот на мой взгляд не совсем корректный вывод по использованию того же ChanceCalc, из заключения выложенного на форуме, если это не так, то, наверное, я пока не достаточно понял принцип его работы:
Цитата: | Использование теста формата "S-K-Y" с достоверностью 99,3% свидетельствует о том, что опрашиваемая сама совершила хищение указанных денежных средств. |
_________________ Тема: Функции, возможности, результаты работы полиграфолога |
|
Вернуться к началу |
|
 |
KPS

Зарегистрирован: 20.07.2009 Сообщения: 1151
|
Добавлено: Пт Сен 10, 2010 10:13 pm Заголовок сообщения: |
|
|
JC мы же говорили о точности результатов, чего это вдруг мы ушли к литературным "кладбище" предложным ABP? И я согласен
JC писал(а): | Неправильное понимание и использование результатов любого алгоритма может привести к неблагоприятным результатам. |
_________________ Король может требовать повиновения, отец послушания. Но запомни: "Ты един в ответе за свою душу". Даже если ты исполнял их волю, перед ликом господним ты не сможешь сказать: "Мне приказывали поступать так". Это не будет тебе оправданием. |
|
Вернуться к началу |
|
 |
JC

Зарегистрирован: 19.08.2008 Сообщения: 1829 Откуда: Урал
|
Добавлено: Пт Сен 10, 2010 10:23 pm Заголовок сообщения: |
|
|
KPS, я отвечал не Вам, а прояснил неточность, в ранее высказанном мной мнении при ответе ABP на его пояснения, и увиденную мной благодаря Вашему сообщению. Спасибо. _________________ Тема: Функции, возможности, результаты работы полиграфолога |
|
Вернуться к началу |
|
 |
ЮРЬЕВ

Зарегистрирован: 18.04.2006 Сообщения: 3457 Откуда: Краснодар
|
Добавлено: Пт Сен 10, 2010 10:48 pm Заголовок сообщения: |
|
|
KPS писал(а): | Лгущих
Correct- 97,8
Incorrect- 2,2
Inconclusive – 19,6 |
В этой красивой выборке отсутствует информация о некой переменой величине - кто получил эту выборку.
Иными словами - любой другой экспериментатор, как переменная величина, получит те же самые удобоваримые полиграммы, которые позволят этой постоянной величине - алгоритму, как той линейке, показать какая у него маленькая погрешность измерения - "чуть" больше 5%?
Может, это не алгоритма точность, а предел возможностей жестко привязанного к алгоритму тестового формата?
Слабость - в силе... |
|
Вернуться к началу |
|
 |
Стратег
Зарегистрирован: 09.02.2006 Сообщения: 1157 Откуда: Брянск
|
Добавлено: Сб Сен 11, 2010 7:29 am Заголовок сообщения: |
|
|
ЮРЬЕВ Кузнецов писал(а): | а предел возможностей |
Алгоритма, выдаваемого за точность.
С учетом выше изложенных сообщений, становиться ясно, что точность
"вашего метода"( "для нашего метода" JC) значительно ниже. |
|
Вернуться к началу |
|
 |
ABP
Зарегистрирован: 28.09.2005 Сообщения: 145 Откуда: г. Москва
|
Добавлено: Сб Сен 11, 2010 10:34 am Заголовок сообщения: |
|
|
Для JC:
Вы спрашивали:
Цитата: | Есть ли возможность привести коэффициент корреляции и данные на основании которых он получен? |
Нет, коэффициенты корреляции не считались, потому что не существует другого рационального содержательного определения ЗНАЧИМОСТИ стимула, которое позволяло бы осуществлять количественную оценку ее уровня, кроме операционного психофизиологического определения через ВЕРОЯТНОСТЬ НЕСЛУЧАЙНОСТИ реакций, возникающих при предъявлении этого стимула, которое закладывает как постулат и с которым работает ChanceCalc.
Цитата: | Не совсем понял, о ложноположительных и ложноотрицательных ошибках чего (в чем) идет речь? |
Поясняю на примере Метода вопросов сравнения (МКВ):
Если вычисленная ChanceCalc'ом ВЕРОЯТНОСТЬ НЕСЛУЧАЙНОСТИ превышения реакций на проверочные вопросы относительно реакций на вопросы сравнения ("контрольные" вопросы) составляет, например, 0.95, то вероятность СЛУЧАЙНОСТИ этого результата будет 0.05. Это число, по-сути, и есть ВЕРОЯТНОСТЬ ЛОЖНОПОЛОЖИТЕЛЬНОЙ ОШИБКИ, то есть признания наличия преимущественной ЗНАЧИМОСТИ проверочных вопросов для непричастного ("невиновного") испытуемого.
Если определенная ChanceCalc'ом ВЕРОЯТНОСТЬ НЕСЛУЧАЙНОСТИ превышения реакций на вопросы сравнения относительно реакций на проверочные вопросы окажется, например, 0.83, то ВЕРОЯТНОСТЬ СЛУЧАЙНОСТИ этого результата будет составлять 0.17, что является ничем иным, как ВЕРОЯТНОСТЬЮ ЛОЖНООТРИЦАТЕЛЬНОЙ ОШИБКИ - признания наличия преимущественной ЗНАЧИМОСТИ вопросов сравнения для причастного ("виновного") испытуемого.
Цитата: | Сгущение красок на мой взгляд состоит в том, что "кладбище", наверное все-таки стоит больше относить к неверным решениям, а не к случаям неопределенности, которые решаются или дополнительным тестированием, или другими методами. |
Со второй частью Вашей мысли абсолютно согласен. Сам всегда настаивал и настаиваю на том, что тестирование на полиграфе не может рассматриваться как самодостаточная процедура и всегда должно быть ОДНИМ ИЗ методов в СИСТЕМАХ обеспечения безопасности, проверки надежности, выявления причастности и т.д. наряду с ДРУГИМИ методами, способными дополнять и перепроверять оценку достоверности информации, получаемой с помощью полиграфа. Очень сожалею, что в большинстве случаев сегодняшней практики применения полиграфа мы имеем противоположную ситуацию.
Если Вам что-то не нравится в описанном мною подходе или Вы с чем-то принципиально не согласны, особенно не напрягайтесь. Мы все слишком мало знаем об окружающем нас мире и об устройстве нас самих тем более. Правильнее было бы сказать, вообще ничего не знаем. Так, строим разные модели - кто проще, кто сложнее – и пытаемся на их основе объяснить происходящее, прежде всего, себе самим. Каждый имеет полное право выбирать для себя ту модель, которая по тем или иным причинами ему больше импонирует или подходит. Никто никому ничего не должен навязывать. ChanceCalc – это тоже одна из моделей, построенных для описания явлений и процессов, происходящих в ходе психофизиологических экспериментов. Отличительной особенностью этой модели является то, что она построена на принципах вероятностного ("если…, то МОЖЕТ быть…"), а не жесткого (механистического, лапласовского) детерминизма ("если…, то ДОЛЖНО быть…").
Для КРS:
Цитата: | Интересно что берется в измерениях? Например по дыханию, по ФПГ и т.д. |
Все шесть основных физиологических показателей, признанных в настоящее время наиболее информативными при использовании полиграфа в целях оценки достоверности утверждений обследуемых лиц - три в дыхании и по одному в КГР, объемном кровенаполнении и плетизме, а также любая их комбинация, доступная полиграфологу.
С уважением,
АВР |
|
Вернуться к началу |
|
 |
JC

Зарегистрирован: 19.08.2008 Сообщения: 1829 Откуда: Урал
|
Добавлено: Сб Сен 11, 2010 12:17 pm Заголовок сообщения: |
|
|
Для ABP:
АВP, благодарю за пояснения, будем разбираться.
ABP писал(а): | Если Вам что-то не нравится в описанном мною подходе или Вы с чем-то принципиально не согласны, особенно не напрягайтесь. |
Не совсем понял в чем не напрягаться, возможно, Вы опять подумали, что я хочу "срезать" Вас или ChanceCalc.
На самом деле у меня не больше желания "срезать" ChanceCalc, чем у Вас Polyscore, по крайней мере об этом могли бы также подумать производители Polyscore, прочитав ваши посты. Хотя я не работаю на Диане и это было бы в каком-то роде естественным желанием.
Многие полиграфологи не любят, когда кто-то "перехваливает" что-либо, и воспринимают это, как нечестную конкуренцию, и пытаются это "срезать".
В норме была бы ситуация, когда всем были бы известны возможности тех или иных методик, и каждый сам для себя выбирал, что ему нужно и относился спокойно к выбору других, когда принципы методик объяснены прозрачно или приведены исследования подтверждающие их ценность.
К сожалению ни по Шапочкам, ни по ChanceCalc, или по каким-либо другим пока недостаточно известным широкой общественности методикам, подобных и подробных данных часто в открытом доступе не бывает, а по другому понять принцип работы достаточно сложно, соответственно, на данные продукты можно получить довольно разнообразные отклики, и вовсе не обязательно настроенные на "срезание", хотя в рамках форума может показаться по-другому.
В любом случае все мы люди и реагируем на те или иные заявления и замечания каким-либо образом.
Но как бы то ни было, меня как полиграфолога не может не волновать более важный для меня вопрос - может ли дать мне алгоритм ChanceCalc, например, большую точность, или ту же точность, но большую оперативность, чем тот же глобальный анализ "глазами". Ответа на этот вопрос у меня пока нет, и не будет, наверное, пока не пойму принцип работы или не попробую. Поэтому те или иные вопросы по работе алгоритма вполне нормальны. И порой понимание чего-либо требует того, что бы все-таки напрячься. В этом плане Ваше пожелание - не напрягаться, для меня несколько двусмысленно, и может выглядить, как пожелание, что алгоритм ChanceCalc даже не стоит того, чтобы в нем разбираться. Но я пока не будут спешить с выводами.
Спасибо. _________________ Тема: Функции, возможности, результаты работы полиграфолога |
|
Вернуться к началу |
|
 |
Artur

Зарегистрирован: 25.05.2008 Сообщения: 262 Откуда: г.Калуга
|
Добавлено: Сб Сен 11, 2010 12:48 pm Заголовок сообщения: |
|
|
Всем здравствуйте!
Может быть и да широкой общественности и не известны все подробности, но Александр Борисович по крайней мери довольно доходчиво в НШДЛ рассказывал о принципах заложенный ChanceCalc и математике- кто хотел, услышал,…а кому не надо так чего же… |
|
Вернуться к началу |
|
 |
$erP Site Admin

Зарегистрирован: 29.06.2005 Сообщения: 7867 Откуда: Москва
|
Добавлено: Сб Сен 11, 2010 1:55 pm Заголовок сообщения: |
|
|
Александр Борисович, рад "видеть"... надеюсь, в добром здравии.
Спасибо за тему, за возможность "прикоснуться к первоисточнику"... _________________ Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
Вернуться к началу |
|
 |
JC

Зарегистрирован: 19.08.2008 Сообщения: 1829 Откуда: Урал
|
Добавлено: Сб Сен 11, 2010 1:57 pm Заголовок сообщения: |
|
|
Тогда вопросы ко всем, кто в теме. Мне - надо.
1. Где можно почитать о взаимосвязи значимости стимула и вероятности неслучайности реакций, помимо лекций НШДЛ? Приветствуется зарубежная литература.
2. Все ли алгоритмы определяют точно - вероятность неслучайности каких-либо процессов? Как понять, например, насколько точно СhanceCalc выявляет вероятность неслучайности?
3. Цитата: | Если вычисленная ChanceCalc'ом ВЕРОЯТНОСТЬ НЕСЛУЧАЙНОСТИ превышения реакций на проверочные вопросы относительно реакций на вопросы сравнения ("контрольные" вопросы) составляет, например, 0.95, то вероятность СЛУЧАЙНОСТИ этого результата будет 0.05. Это число, по-сути, и есть ВЕРОЯТНОСТЬ ЛОЖНОПОЛОЖИТЕЛЬНОЙ ОШИБКИ, то есть признания наличия преимущественной ЗНАЧИМОСТИ проверочных вопросов для непричастного ("невиновного") испытуемого. |
Хотелось бы понять, вот это число 0.95 оно свидетельствует просто о вероятности неслучайности превышения или по нему можно судить о количественном характере превышения? Как определить эту значимость (процент превышения) через вероятность неслучайности? Насколько я понимаю, проверочный вопрос может превышать контрольный на 1% и вероятность этого может оцениваться в 0.95, и он может превышать контрольный на 100% и вероятность этого также может оцениваться в 0.95 или не так? _________________ Тема: Функции, возможности, результаты работы полиграфолога |
|
Вернуться к началу |
|
 |
|
|
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах You cannot attach files in this forum You cannot download files in this forum
|
Powered by phpBB © 2001, 2005 phpBB Group
|