Тестирование и защита от утечек

[knop.livejournal.com]

При подготовке этого ОКРа я достаточно жестко сформулировал редакторской группе ограничение на тестпрование - каждый из индивидуальных тестеров, получивших вопросы электронной почтой, должен увидеть не более 50% всего пакета.

Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.

Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)

Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.

Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.

Comments

[pere-noel-f.livejournal.com]

Простите, а вы играли в прошлом году СтудЧР? Данный пример приведён здесь как показатель того, что этому вопросу не место на студенческом чемпионате.

[alexmcarrow.livejournal.com]

Банальный недоучёт целевой аудитории.
Не Бог весть какая редкая ошибка.
Просто удивило, что этот пример как-то выделен и приведён отдельно.
Когда у нас новички приходят играть якобы массовый синхрон, а получают пакет, на котором больше двух очков у них нет возможности набрать, это явление того же порядка.
Последнее не об ОКР, если что. ОКР-овские пакеты всегда были трудными, цель турнира несколько иная, его играют почти все топ-команды, и тут сложность оправдана.

[alexmcarrow.livejournal.com]

И, кстати, про существование этой песни (и её сюжет) я узнал довольно давно. Как бы не в студенческие годы.

[tea-cutter.livejournal.com]

Прекрасный аргумент! В мемориз.

[alexmcarrow.livejournal.com]

Это я к тому, что так ли уж бесполезно это у студентов спрашивать.

[tea-cutter.livejournal.com]

Если взять машину времени и отправиться на 20 лет назад, то отчего бы не спросить у тогдашних студентов. Или вы полагаете, что я могу потребовать у нынешних школьников знания наизусть какого-нибудь стихотворения про Ленина (МКМ сейчас готовим) просто потому, что сама в школе его учила?

[alexmcarrow.livejournal.com]

Я понял причину сарказма.

Дело в том, что "Кирпичикам" далеко не 20 лет, и в момент моего студенчества эта песня уже была очень старая. И уж точно не изучалась нигде. И то время (конец 80-х годов) было с точки зрения соответствующего культурного пласта столь же далёким от городского фольклора начала 20-го века, как и нынешнее. Более того, сейчас проще - и интернет есть, и передачи соответствующие. Тогда информационное насыщение было намного беднее.

[tea-cutter.livejournal.com]

Хорошо, давайте заменим стихотворение про Ленина просто какой-нибудь песней, которую пели в Пионерлагере после отбоя. Где-нибудь в интернете наверняка найдётся, но в лагере её уже не поют. Так каковы шансы современных студентов её знать?

[alexmcarrow.livejournal.com]

>но в лагере её уже не поют. Так каковы шансы современных студентов её знать?
Так в 80-е годы "Кирпичики" тоже не пели. Давно уже к тому времени! В массовом порядке, во всяком случае. Какой шанс у меня было её знать? Без интернета, без всего... Притом, что жанр не особенно мне близок.

А в интернете, кстати, она не просто "найдётся". Ссылок очень много.

При этом я спорю с Вами касательно корректности моего "аргумента из мемориз". Т.е., отсыла к своему опыту. На мой взгляд, я доказал эту корректность.
А вот стоило ли редактору данный вопрос ставить в данный пакет? Думаю, нет.
Но по этому поводу высказался в своём предыдущем комменте.

[alexmcarrow.livejournal.com]

При этом я вряд ли б стал включать этот вопрос для данной ЦА. Т.е., ошибка, конечно, есть.
Просто Адриан преподал это как пример какого-то эпик фейла. Между тем чего-то совсем уж суперужасного я здесь не углядел.

"Ужас, но не ужас-ужас-ужас" (С) :)