http://knop.livejournal.com/ (![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png)
knop.livejournal.com) wrote in ![[community profile]](https://www.dreamwidth.org/img/silk/identity/community.png)
ru_chgk2010-12-23 01:40 am
knop.livejournal.com) wrote in ru_chgk2010-12-23 01:40 am
Entry tags:
Тестирование и защита от утечек
При подготовке этого ОКРа я достаточно жестко сформулировал редакторской группе ограничение на тестпрование - каждый из индивидуальных тестеров, получивших вопросы электронной почтой, должен увидеть не более 50% всего пакета.
Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.
Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)
Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.
Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.
Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.
Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)
Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.
Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.
no subject
no subject
no subject
no subject
no subject
no subject
no subject