ПОЛИГРАФ - ФОРУМ

Александр Калафати

Цель прекрасно читается.
Есть выборка из 100 ютовских полиграмм от 1988 года (50 лживых и 50 правдивых). Когда в 2003 решили сравнить эффективность федеральной и ютовских систем создали выборку из 100 подтвержденных полиграмм FZCT.

York

Выкладываю исправленный и дополненный отчёт об испытании алгоритма на 100 американских полиграммах. Выкладываю для более удобного сравнения со вторым отчётом.

York

Второй испытание алгоритма производилось на российском материале, взятом с "земли", то есть из реальных опросов, ни как не организованных специальным образом для набора статистики. Случаи подтверждены, не только признаниями, но и реальными фактами. Например при расследовании и проведении опросов в дальнейшем выяснялось, что само событие вызвавшее расследование отсуствовало. Либо иными независимыми материальными подверждениями правдивости/неправдивости опрашиваемых. Полиграммы ни как не отбирались, например, по качеству, использованным каналам, полиграфам и т.д. Включались в выборку по принципу "как есть". В выборке имеются тесты с парами сравниваемых вопросов разных форматов.

Большая часть полиграмм полиграфа Диана, поэтому появилась возможность сравнить работу Сокола с ChanceCalc.

Метрические данные на которых производились вычисления - данные ПО полиграфов Диана, Триумф, Триумф 2. Данные брались как есть, если они не вызывали вопросов, и с коррекции при явном их несоответсвии наблюдаемым параметрам. Данные с полиграмм полиграфа Лафайет снимались вручную в ПО Лафайета. Кстати, обладатели полиграфов Триумф, Триумф 2 могут загружать свои полиграммы в ПО Лафайет и снимать метрику вручную. ПО Лафайета, по моему мнению, достаточно удобно для этого.

Необходимо учитывать, что вычисленные в отчёте параметры чувствительности, специфичности, ошибок и т.д зависят не только от алгоритма классификации, а в большей мере от выборки на которой они вычисляются. Поэтому их надо рассматривать как оценки, полученные на конкретной выборке, а не как окончательные праметры метода, классификатора и т.д. Оценивать работу алгоритма классификации на конкретной выборке правильнее, сравнивая с другими алгоритмами, а не только по его конкретному результату.

Необходимо сделать замечание по поводу достаточно большой ошибки DI в пункте 4. Необходимо учитывать, что в этом пункте количество правдивых/лживых полиграмм сильно разбалансировано - 77 и 37 соответсвенно.

York

На следующем этапе испытания алгоритма из российской выборки случайным образом были взяты по одному тесту на опрашиваемого. Получилась выборка из 119 случаев, соотношение правдивых/лживых - 77/42. Для былансировки из выборки правдивых с помощью генератора случайных чисел было отобрано 42 случая.

Хочется обратить внимание, что результат двольно близок к тому, что было достигнуто на американской выборке. Особенно хорошо это можно видеть для p value 0,35.

Александр Калафати

Тут необходимо пояснение, почему так произошло. Дело в том, что при анализе полиграмм и последующем изучении выборки было замечено, что в части присланных субъектов полиграфологи могли провести 4-5 тестов.

Как правило если результат виден и очевиден (идеальные полиграммы) полиграфологи дополнительные тесты проводили меньше. А вот если физиология очень плохая или были случаи банального противодействия, то тогда количество тестов возрастало до 6 и даже 7.

Получается, что мы вносим в выборку "шум". Как бы заставляя алгоритм совершать одну и ту же ошибку. Поэтому было решено пойти по принципу - один субъект (опрашиваемый) - одна полиграмма. Или "одно дело - одно - тело". Отсюда и резкое снижение количества полиграмм в выборке.

Кстати, ровно тоже касается и обсчёта со стороны экспертов.

York

В настоящее время алгоритм проверн на, в общей сложности, трёхстах подтверждённых полиграммах. На этом множестве алгоритм научен давать оценку вероятности правильности диагностики правды/лжи. Научен принимать решение, если эта оценка не менее 95%, при проценте неопределённых результатов порядка 10.

Вероятность эта расчитывается для априорной вероятности 0.5. Но будет научен проводить расчёт при любой априорной вероятности. Алгоритм встал на ноги, но перспективы для роста имеются. Для этого надо наращивать базу подтверждённых полиграмм. Чем больше база, тем более точны и валидны будут результаты. С другой стороны, можно улучшать сам алгоритм, повышая его чувствительность.

Сейчас готовится статья (практически готова) в которой будет подробно описано математическое обоснование алгоритма, результаты моделирования, подверждающие математические расчёты, технология испытаний и валидизации, технология обучения и адаптации.

York

Сегодня у меня случился небольшой праздник) Дитё заработало в реальных условия - получено первое подтверждение в "бою". Человек проверялся на полиграфе, проверку провалил (для себя), а после предъявления результатов (заказчиком) сознался, осознал всю глубину неправоты и возместил...

Праздник потому что дал заключение, опираясь только на результат работы Сокола. Ниже полиграммы и заключение Сокола.

1.

2.

3.

Тут в программу были введены данные взятые в ПО Триумф2. ФПГ - это длина линии ФПГ (не амплитуда). Можно видеть, что три канала; дыхание, ФПГ, АД уверенно засвидетельствовали обман. КГР - шум.

Проделал измерения параметров вручную (в ПО Лафайета). Результат ниже.

Как можно видеть ручной результат - тот же самый, но похуже..на грани..

Амплитуда ФПГ сработала намного хуже длины линии ФПГ

Volgin

ПО КГР и визуально видно непричастность и подсчет совпадает по КГР C>П. Но я не понимаю где тоническая а где фазическая. Я привык к Диане 1 где проще увидеть амплитуду.

York

Volgin

КГР тёмно-зелёная. В Лафайете я замерял ЭДА (светло-зелёная).

Про амплитуду. У человека на псих. стимулы амплитуда почти сразу уходила в ноль. На "разогревочные" тесты амплитуды не было совсем. А на физ. стимулы с амплитудой было все в порядке.

York

Второй тест

1.

2.

3.

4.

Результат Сокола с данными ПО Триумф2. ФПГ - длина линии ФПГ.

Результат ручных замеров в ПО Лафайет

Опять, в отличии от длины линии ФПГ, амплитуда ФПГ (спазм) повёла себя не лучшим образом и устроил неопределёнку.

Так как в последнем случае спазм в конттренде к остальным трём показателям исключим его из обсчёты

ПС Раньши ручные замеры давали, как правило, лучший результат.

ППС Пояснение по ручным данным КГР: в ПО Лафайет ЭДА выродилась в гладкую линию, без возможночти произвести замеры. По этому поле с КГР было заполнено чередующимися единицами и нулями - так чтобы результат по КГР был нулевой и никакого вклада в общее решение она не давала.

$erP

York, судя по данным, представленным в таблице, система берет в расчёт параметры "фазической" КГР (темно-зулёненькая).
Это делается автоматом? или это Ваш "ручной" выбор?

UPD: York, а выложите, пожалуйста, в Профи, если это не нарушает условие конфиденциальности, фабулу и текстовку теста... Очень любопытно было бы посмотреть на полиграммы через тестовую призму...

York

$erP

Там где брались данные ПО Триумф2 - там КГР (фазическая, тёмно-зелёная). Это мой выбор, но продиктованный некоторыми условиями, мог бы выбрать и ЭДА.

В ПО Лафайета выбора нет, хотя, подумал сейчас, может и не прав.

Остальное выложу в профи (в Полиграмах...http://www.ld.eposgroup.ru/forum/viewtopic.php?p=89952#89952). История довольно забавная, чел люто противодействовал)

$erP

York

$erP

ЭДА я замерял вручную в ПО Лафайет. Результат остался обвинительным, но на грани неопределённости. Картинка ниже. Надо ещё подчернуть, что все сравнения в алгоритме производятся только с предыдущим контрольным, если нет артефактов.

В ПО Лафайет я замерял нижнеее дыхание, оно оказалось менее информативно чем верхнее (в данном случае, а не вообще). Если б замерял верхнее, то результат бы получился более определённым.

В целом все показатели слабодетерминированы, но с одним (почти) знаком - минусом поэтому и результат вышел обвинительный.

1

2

3