Тестирование и защита от утечек

[knop.livejournal.com]

При подготовке этого ОКРа я достаточно жестко сформулировал редакторской группе ограничение на тестпрование - каждый из индивидуальных тестеров, получивших вопросы электронной почтой, должен увидеть не более 50% всего пакета.

Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.

Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)

Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.

Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.

Comments

[gostrov.livejournal.com]

Я не сказал "остальные". Я сказал "другие", то есть некоторые другие, вероятно, пока немногие.

Не понял. Как раз в скайпе гораздо сложнее выдать себя за другого, чем по мейлу. Можно опознать человека по голосу, а если есть вебкамера, то и по лицу.

Вообще при правильном тестировании вопросы должны никуда не высылаться, а зачитываться редактором вслух по скайпу, и по скайпу же редактор должен слушать обсуждение и на ходу подкручивать сложность. Такое тестирование в разы эффективнее.

[knop.livejournal.com]

> Не понял. Как раз в скайпе гораздо сложнее выдать себя за другого, чем по
мейлу. Можно опознать человека по голосу, а если есть вебкамера, то и по
лицу.

Иэээ. И толку мне с этого, если я этого человека раньше не знал, а его голоса - ни разу не слышал?

Насчет скайп-тестирований - да, это разумный метод.

[gostrov.livejournal.com]

По крайней мере ты увидишь/услышишь, что это не Белкин. А толку тебе с мейла, если ты раньше человека не знал?

[soglyadataj.livejournal.com]

Так и думалось, что все долгое обсуждение потенциальных взломщиков неизбежно сведется к "наглой рыжей морде" (с)анекдот :)

[realcorwin.livejournal.com]

Смысл в том, что никто не станет палить голос и морду, ибо постфактум как минимум соответствие морды и голоса фамилии и имени легко проверяется.

[tea-cutter.livejournal.com]

"Иэээ. И толку мне с этого, если я этого человека раньше не знал, а его голоса - ни разу не слышал?" - во-первых, сначала можно попросить подтвердить личность у кого-то, кому ты доверяешь. Во-вторых, когда ты услышишь/увидишь человека в следующий раз, узнаешь.

[sl-zloi.livejournal.com]

+100 Имхо, большая часть проблем некоторых пакетов базируется на том, что тестеры пакет читали, а не слушали.