Тестирование и защита от утечек

[knop.livejournal.com]

При подготовке этого ОКРа я достаточно жестко сформулировал редакторской группе ограничение на тестпрование - каждый из индивидуальных тестеров, получивших вопросы электронной почтой, должен увидеть не более 50% всего пакета.

Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.

Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)

Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.

Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.

Comments

[zanogu.livejournal.com]

Ещё раз... в Москве одно помещение, где помещается 80 команд? Это правда?

Сможет то, может и сможет. Но, на мой вкус, проводить игры в субботу - вообще свинство. Суббота - рабочий (например у учителей, а их немало играет в ЧГК) и учебный день. Если проводить игры в субботу - то начиная с 7.

[soglyadataj.livejournal.com]

Бесплатное и хорошее (со столами, светом, звуком, местом, воздухом) - видимо, да. (или не совсем оно бесплатное, но все-таки это другие расценки)
Как я понимаю, каждый раз поиск нового превращается в немалое приключение.
собственно вариантов два - либо это учебные помещения - и тогда мы ограничены субботой, либо конференц-залы - тогда это другие деньги.

[zanogu.livejournal.com]

А, бесплатное... ну, вот я и считаю, что если в принудительном поряде сделать синхроны синхронными, то сразу и залы найдутся. Если с 480 знатоков собрать по символической сумме в сто рублей (как доехать от дома до игры и обратно), получится 48 тысяч. На 48 тысяч в Москве нельзя снять приличный зал на 4 часа с утра?

[soglyadataj.livejournal.com]

нельзя. Старшие товарищи, больше меня этим занимающиеся, могут меня поправить, но когда я чуть-чуть интересовался, то реальные цены - в пределах 3-4 тысяч баксов.

[zanogu.livejournal.com]

мощно, Питеру как-то удаётся играть в съёмном зале и платить сильно меньше.

[soglyadataj.livejournal.com]

Москве тоже удается, но ограничение по времени существует.

[nikolenko.livejournal.com]

Тут ещё были ключевые слова "с утра". Большинство клубов и ресторанов вообще с утра (тем более с утра воскресенья) простаивают. Хотя я, конечно, понимаю, что столица нашей родины – это очень особенный город. :)

[gimser.livejournal.com]

Причём в этом помещении в Москве играют не раньше 5 вечера по внешним причинам.

Платные залы очень дороги и с очень неровным качеством, особенно в том, что касается акустики.