Тестирование и защита от утечек

[knop.livejournal.com]

При подготовке этого ОКРа я достаточно жестко сформулировал редакторской группе ограничение на тестпрование - каждый из индивидуальных тестеров, получивших вопросы электронной почтой, должен увидеть не более 50% всего пакета.

Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.

Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)

Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.

Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.

Comments

[soglyadataj.livejournal.com]

Идея индивидуального тестирования имеет крайне ограниченный полезный ресурс улучшения пакета. В данном случае на "образном" (и никаких букв не пропущено) пакете, это вылилось в непропорциональное большое количество дуалей, коломен, или как там еще это называют.
Если в Москве уже за неделю было известно, что не играет такая сильная команда как Биркиркара, (а не играло с десяток приличных команд - Хунта, например), то проблема найти команду для тестирования - все-таки в количестве усилий к этому прикладываемых... И жаль, что это не удалось сделать.

[sl-zloi.livejournal.com]

+1

[rioman.livejournal.com]

У "Хунты", боюсь, другие проблемы были.

Ты вот знал, что ищутся команды для тестирования ОКР?

[soglyadataj.livejournal.com]

Знал.
Наверно. Но в любом случае, из ответов видно, что никто и не пытался...

[rioman.livejournal.com]

А почему не помог?

[soglyadataj.livejournal.com]

Во-первых, у меня другие цели и об этом я не думал
Во-вторых, я не знал, что не нашли.
В-третьих, у нас информация была 14-го числа - за 4 дня до. Понятно, что в этот момент на пакет повлиять уже было нельзя.
(а если ты шутил, то смайлики надо ставить:))

[rioman.livejournal.com]

Нет, я серьёзно. Если ты обеспокоен тем, что для пакета не нашли достаточное количество тестеров, надо было активно содействовать.

[soglyadataj.livejournal.com]

Я вижу, что для _этого_ пакета недостаток командного тестирования оказался критичен. Например, в прошлом году, видимо двух умелых команд редакторам хватило, чтобы такого ощущения не возникло.
Обеспокоен я тем, что их не искали, по сути. Или скажем так - не найдя "легким путем" успокоились.

[firben.livejournal.com]

Если я посоветую "А потестируйте на такой-то команде", это может быть вопринято как "Где-то он тут мухлюет. С какой целью он пропихивает эту идею? Не пахнет ли тут жульничеством?" Так что Петя совершенно верно воздержался от подобных советов. А в свете того, что его команда потом ещё и сыграла хорошо, вдвойне верно.

[soglyadataj.livejournal.com]

Сыграли мы так себе, предположим...:)

[rioman.livejournal.com]

Можно дать команде ссылку на пост в ЖЖ и спросить "А вы не хотите потестировать"?