Тестирование и защита от утечек

[knop.livejournal.com]

При подготовке этого ОКРа я достаточно жестко сформулировал редакторской группе ограничение на тестпрование - каждый из индивидуальных тестеров, получивших вопросы электронной почтой, должен увидеть не более 50% всего пакета.

Большое спасибо ребятам за то, что они с честью выполнили это условие. Да, им в результате было тяжелее. Да, возможно (хотя и не факт), что разрешение на привлечение каждого из тех же тестеров к 100% пакета позволило бы сделать ОКР лучше. Я не собираюсь лезть в бутылку и утверждать, что этого не могло бы случиться.

Я хочу обратить общее внимание на то, ради чего это было сделано. Речь идет прежде всего о защите репутации команд и тестеров. Чтобы не могла возникнуть (повториться) очень неприятная во всех смыслах ситуация "твой друг тестировал пакет, а ты на нем удачно сыграл - поэтому я считаю, что вы с другом жулики". В ситуации 50% тестирования обвинение в жульничестве почти наверняка будет отбито простой арифметикой: берем те 50%, которые видел данный тестер, и сравниваем результат данной команды на этих вопросах с ее же результатом на остальных. Если большой разницы нет - то какие могут быть претензии? (А если разница действительно неправдоподобно велика - то это уже повод привлечь дисциплинарную комиссию, и пусть она разбирается...)

Сразу же хочу отметить, что я вовсе не пытаюсь обвинить кого-либо в "преднамеренных сливах" даже чисто теоретически. Надо осознавать, что в нашем мире существуют возможности утащить письмо из чужого почтового ящика так, что ни его владелец, ни автор письма этого даже и не смогут заметить. Более того, поскольку в качестве тестеров часто привлекаются одни и те же люди, то их ящики находятся под большей угрозой, чем остальные. И это еще одна причина, по которой не хочется отсылать людям весь пакет целиком: даже если взломщик узнает заранее половину ответов, он будет очень остерегаться пользоваться этим знанием. Поскольку чтобы не привлечь к себе внимание, на второй половине придется _честно_ показывать сравнимый результат.

Если сейчас никто не приведет сверхмощных аргументов, почему такую практику нельзя продолжать в дальнейшем, то на всех последующих синхронах, к которым я имею отношение, а также на взрослом ЧР, это условие для привлекаемых тестеров будет повторено.

Comments

[gostrov.livejournal.com]

Давно пора отказаться отт рассылки пакетов тестерам по электронной почте. Есть невзламываемый Скайп.

[vgramagin.livejournal.com]

Взломать можно все, что угодно. Все зависит от средств и времени.

[knop.livejournal.com]

Ну, Ok. Вот давай вместе спросим у кого угодно из редакторов - сколько тестеров получили вопросы по скайпу, а сколько - по мейлу?

[gostrov.livejournal.com]

Ну я стараюсь по скайпу посылать. Бриф тоже. Выменец, как топ-редактор, принимает туры по скайпу. Наверняка и другие тоже.

[knop.livejournal.com]

Мне кажется, что популярность скайпа - как средства общения и обмена данными - на Западе существенно выше, чем у нас в постсоветских странах. С Выменцом понятно: во-первых, он давно работает в западной компании (перенял их корпоративные стандарты), а во-вторых, он просто умничка. Насчет "и остальные" - есть масса сомнений. Хотя, может, я и ошибаюсь.

Лично я всегда сильно удивляюсь, если человек, с которым я мейлом не общался, стучится ко мне в Skype или ICQ. И кроме вопроса "а как узнал?" немедленно пытаюсь понять, "тот ли он, за кого себя выдает". По понятным причинам в скайпе это узнать практически нереально. Так что считать скайп панацеей от утечек вопросов я бы не рискнул.

[gostrov.livejournal.com]

Я не сказал "остальные". Я сказал "другие", то есть некоторые другие, вероятно, пока немногие.

Не понял. Как раз в скайпе гораздо сложнее выдать себя за другого, чем по мейлу. Можно опознать человека по голосу, а если есть вебкамера, то и по лицу.

Вообще при правильном тестировании вопросы должны никуда не высылаться, а зачитываться редактором вслух по скайпу, и по скайпу же редактор должен слушать обсуждение и на ходу подкручивать сложность. Такое тестирование в разы эффективнее.

[knop.livejournal.com]

> Не понял. Как раз в скайпе гораздо сложнее выдать себя за другого, чем по
мейлу. Можно опознать человека по голосу, а если есть вебкамера, то и по
лицу.

Иэээ. И толку мне с этого, если я этого человека раньше не знал, а его голоса - ни разу не слышал?

Насчет скайп-тестирований - да, это разумный метод.

[gostrov.livejournal.com]

По крайней мере ты увидишь/услышишь, что это не Белкин. А толку тебе с мейла, если ты раньше человека не знал?

[soglyadataj.livejournal.com]

Так и думалось, что все долгое обсуждение потенциальных взломщиков неизбежно сведется к "наглой рыжей морде" (с)анекдот :)

[realcorwin.livejournal.com]

Смысл в том, что никто не станет палить голос и морду, ибо постфактум как минимум соответствие морды и голоса фамилии и имени легко проверяется.

[tea-cutter.livejournal.com]

"Иэээ. И толку мне с этого, если я этого человека раньше не знал, а его голоса - ни разу не слышал?" - во-первых, сначала можно попросить подтвердить личность у кого-то, кому ты доверяешь. Во-вторых, когда ты услышишь/увидишь человека в следующий раз, узнаешь.

[sl-zloi.livejournal.com]

+100 Имхо, большая часть проблем некоторых пакетов базируется на том, что тестеры пакет читали, а не слушали.

[aka1985.livejournal.com]

Я комбинирую скайп и майл.

[ondrean.livejournal.com]

Да нее :)
Сейчас, по моим наблюдениям, скайп становится самой популярной программой для инстант-месседжинга по следующим причинам: комбинация в одной программе удобного интерфейса для голосовой связи и для текстовой переписки; практически полная защищённость канала; возможность создания очень удобных групповых чатов-обсуждалок (как текстовых, так и голосовых).
Правда, вчера скайп что-то сломался и до сих пор не починился, но за ним будущее.

[rioman.livejournal.com]

В скайпе плохо то, что он позволяет одновременное присутствие в сети нескольких экземпляров с одним логином. Соответственно, компроментация пароля практически никак не отслеживается.

Кстати, что происходит при голосовом звонке или пересылке файла на один из них на остальных, я не знаю.

[realcorwin.livejournal.com]

Сообщения приходили на все открытые экземпляры.

[rioman.livejournal.com]

Про сообщения я знаю. Вопрос в голосе и файлах.

[realcorwin.livejournal.com]

Тут не проверял.

[icamel.livejournal.com]

Опасно полагаться на закрытые проприетарные протоколы.