Тестирование и защита от утечек

[knop.livejournal.com]

При подготовке этого ОКРа я достаточно жестко сформулировал редакторской группе ограничение на тестпрование - каждый из индивидуальных тестеров, получивших вопросы электронной почтой, должен увидеть не более 50% всего пакета.

Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.

Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)

Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.

Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.

Comments

[nikolenko.livejournal.com]

Всё равно же должен быть адрес для того, чтобы на него присылали вопросы. Вот его и надо ломать.

[yusufov.livejournal.com]

:) ну по идее да, просто можно все вопросы не хранить на почте а просто скачивать их на комп и удалять с почты (думаю многие редакторы так и делают), согласен что тот кто взломает один раз, может настроить переадресацию и так далее, но это уже мне кажется вообще фантастикой и теорией всемирного заговора, я привык больше доверять людям, хотя и страдал несколько раз из за этого.

[nikolenko.livejournal.com]

Взломать не фантастика, а взломать и форвард настроить фантастика? :)
Вообще это я отчасти пошутил, на самом деле при текущем положении дел ломать надо (и ломали) просто домашний обычный адрес редактора: даже если у пакета есть отдельные адреса, chances are, что довольно много чего через этот адрес всё равно пройдёт. Если ещё учесть, что один редактор делает много пакетов, выгода очевидна.

[yusufov.livejournal.com]

После нашего небольшого диалога, я все таки понял, что в ЧГК очень много случается попыток нечестной игры :) мдааа

[nikolenko.livejournal.com]

А я не понял. :) Я знаю ровно один случай (точнее, серию случаев), остальное домыслы.

[knop.livejournal.com]

Я обычно таким адресом делаю группу на Yahoo или Google. Без архива. Закрытую. Кто умеет ломать Гугл, признавайтесь...

[nikolenko.livejournal.com]

А какая разница... ломать ящики тоже "умеют" только на совсем уж плохих сервисах. Взлом в 99% случаев дело социальное, как криптограф тебе говорю. :)

[knop.livejournal.com]

Я согласен с социальностью явления. Но именно из-за этого (ИМХО) успешность взлома больше зависит не от качества сервиса, а от качества юзера. То есть от того, насколько он лох. Например, я регулярно удаляю у себя из друзей ВКонтакте тех, с чьих адресов начинали сыпаться спам-приглашения в разные группы. То есть тех, кто склонен вестись на всякие приманки-обманки. В итоге при ~800 друзьях таких спам-приглашений почти нет.

[nikolenko.livejournal.com]

Костя, ну нельзя считать человека лохом (или редактора профнепригодным), если он даже не имеет представления о существовании некоторых очень узкоспециальных вещей. Например, если я приду к тебе в гости с флешкой, на которой записан интересный нам обоим файл (пакет вопросов :) ), а затем в процессе работы постараюсь улучить момент для того, чтобы установить с флешки на твой компьютер какой-нибудь простенький keylogger, какова будет у меня вероятность успеха (будем считать успехом тот факт, что keylogger запустится и проработает достаточно долго, чтобы ты успел ввести пару своих паролей)? Это примерно то, что я называю социальным взломом.

А про группы вконтакте, если честно, не понял: то, что твоих друзей взломали, повышает вероятность того, что взломают тебя? У меня, наверное, под тысячу приглашений в разные группы, я их просто все игнорирую.

Кстати, сейчас я пишу с чужого компьютера, и рядом хозяина нету. :)

[knop.livejournal.com]

Мы с тобой немного о разных вещах говорим. Да, если ты придещь ко мне с кейлоггером - у тебя есть шанс, что он один раз запустится. Потом, надеюсь, моя защита его отловит.

А то, что ты игнорируешь некую часть сервиса которую не игнорирую я - это, с моей точки зрения, плохо. Сужает возможности с тобой пообщаться. В данном случае - тебя нельзя просто пригласить в группу, нужно еще специально другим каналом сообщать "посмотри, я тебя в группу пригласил, - это не спам!". Это все равно как отказываться ходить по ссылкам на html-странички, на которых ты раньше не бывал. Хотя, навеорное, в скором времени мы и таких сервисов дождемся: "Фейсбук предупреждает, что на страничке, на которую вы собираетесь перейти, были 11 ваших друзей, 9 из них сочли ее бесполезной и неинтересной. Ну что, идёте туда?". ;-)

Впрочем, к вопросу о взлому это вряд ли относится.

[nikolenko.livejournal.com]

О. :) "Потом" мне и не надо, я бы его, наоборот, попросил самоудалиться перед перезагрузкой компьютера. А почему о разных вещах? Ты о взломе и я о взломе. Причём, кажется, я о более реалистичных сценариях.

Дело не в том, спам или не спам, а в том, что группы вконтакте бессмысленны: на них нельзя подписаться (по крайней мере, было нельзя, когда я пытался поинтересоваться этим). Следовательно, в них бессмысленно размещать объявления или вести диалог: я просто не узнаю, что объявление разместили.

[nikolenko.livejournal.com]

Всем ответил, а мне не ответил. :)

[knop.livejournal.com]

Прости. Я всего лишь хотел проиллюстрировать тезис о зачистке среды. Что зависит не от сервиса (который тут един на всех), а от конкретных пользователей (круг которых у каждого свой).

[nikolenko.livejournal.com]

Мне интересен ответ на вопрос про вероятность успеха. :)
А какой был тезис о зачистке среды? Я вообще не очень понял, к чему ты вдруг о вконтакте заговорил.

[sidorow.livejournal.com]

Блин, вот не понимаю я чего-то в этой жизни.
Когда ПОНАДОБИЛОСЬ по совершенно понятным причинам взломать ящик на мейлру - НЕ СМОГЛИ НАЙТИ того, кто бы это смог сделать. Кстати, не исключено, что и по сей день актуально.
А так - оказывается, ломать умеют вообще все.
Покажите же наконец хоть одного, людям надо!

[alex-utah.livejournal.com]

Если Вы о ящике i...i@, то там вроде всё благополучно разрешилось. Без взлома.

[sidorow.livejournal.com]

Это радует. Если "без взлома" - это то, о чём думается в первую очередь, то радует неимоверно!
Но факт о том, что не удалось найти взломщика, никто не отменял.

[nikolenko.livejournal.com]

Я же так и написал: ломать ящики, в принципе, не умеют – так чтобы "взял и сломал". Зато от социальных методов практически никто не защищён (чтобы от них защититься, нужно быть нехилым параноиком).