20 секунд тишины, или немного о тестировании на команде

[solmyr.livejournal.com]

Хочу поделиться одним способом усовершенствования процесса тестирования вопросов на команде. Способ несложный и вроде бы очевидный, но для кого-то наверняка окажется полезным открытием.

Типичная ситуация при тестировании на команде: один или несколько игроков сходу выдают правильную версию, команда с ней соглашается. Тестирование вопроса по сути закончено. Уже не выяснить, сколько времени и как его крутили бы остальные участники тестирования, что им помогло бы, а что помешало, и т.д. Начинается обсуждение его достоинств и недостатков, но и оно получается смазанным, т.к. раскрутки как таковой не было.
Особенно такая ситуация мешает оценке сложности вопроса. Может быть, взявший вопрос на палец игрок просто обладает редким знанием, может, его посетил инсайт, может, он хорошо разбирается в теме; а может, вопрос и вправду кнопка.

Чтобы избежать таких проблем, я использую метод "20 секунд тишины". Прочтение вопроса заканчиваю словами "20 секунд тишины", и следующие 20 секунд каждый участник тестирования думает над вопросом самостоятельно. По их истечении каждый пишет на бумажке свою версию (можно несколько версий) и показывает мне. Сдавшие правильную версию объявляются молодцами и молчат, а остальные (если их не осталось совсем уж мало) начинают обсуждение вопроса вслух.
Можно, в принципе, так же поступать и во время обсуждения: тот, кто сам по себе, вне командной раскрутки, придумал очевидно правильную версию, говорит: "О!" и опять же пишет версию на бумажке. Но во время обсуждения это труднее контролировать и ведущему, и самим игрокам. А вот к молчанию сразу после задания вопроса народ приучить можно, особенно ключевой фразой типа "20 секунд тишины".

Comments

[knop.livejournal.com]

Спасибо

[vse-kak-u-ludej.livejournal.com]

Очевидная проблема, на мой взгляд, в том, что если команда участвует в таком тестировании более-менее регулярно (если количество игр >> подобных тестирований, то проблемы очевидно нет), у нее могут начаться очевидно неправильные искажения обсуждения в сторону индивидуального обдумывания вопроса, чисто инстинктивно.

[e-rubik.livejournal.com]

Если вопрос берется на палец (по ходу чтения или сразу после), то давать 20 секунд много, хватит и 5-10.
Если ты даешь 20 секунд, фактически это уже полноценные раздумья.

[another-ak.livejournal.com]

Тестирование тогда потребует гораздо больше времени от всех.

[golem59.livejournal.com]

А разве вопросы тестируют на скорость?

[another-ak.livejournal.com]

Дело не в том.
Народ сложно вытащить на тестирование более чем на 2 часа в день. А растягивать тестирование 36 вопросов на 3 дня, причём зачастую 3 дня, идущих не подряд, очень муторно, ла и просто неудобно.
Вариант, описанный Мишелем, может использоваться только в случае 1-2 тестящих команд, игроки которых готовы потратить на это занятие сколько угодно своего времени.

[golem59.livejournal.com]

Разве добавление двадцати секунд увеличивает срок обсуждения вопросов в три раза?

[another-ak.livejournal.com]

Там ещё писание версий каждым и другие факторы.

[another-ak.livejournal.com]

Ты когда-нибудь тестировал пакеты? Я вот в прошлом году нахлебался.
Там столько всего может затянуть процесс...
А уж тем более подобные инсинуации.

[raelka.livejournal.com]

Мишель, исправь последний абзац. Все-таки 20 минут - это слишком ;)

[solmyr.livejournal.com]

Ну, ключевая фраза-то может быть какой угодно :-P
Исправил, спасибо.

[mikeiva.livejournal.com]

Интересная техника. Если наша команда когда-нибудь соберется пообсуждать вопросы, можно попробовать применить :)

[arhondula.livejournal.com]

Мы в спортивной команде играем по принципу "5 секунд тишины" - то есть, первые пять секунд никто ничего не обсуждает, не выдает версии, а про себя перечитывает вопрос, или что-то другое еще думает, и только потом начинается обсуждение. Как показала практика после введения у нас этого правила - очень эффективно!

[dm-litvinov.livejournal.com]

61 секунда часто "посещает"?

[arhondula.livejournal.com]

Нет. Мы предвидели такую проблему, но она не возникла.

[tea-cutter.livejournal.com]

Я, например, вообще не могу думать над вопросом, когда знаю, что кто-то уже взял.
И, по-моему, не только я.

Лучше протестить два раза на двух группах.

[vse-kak-u-ludej.livejournal.com]

Аналогично, хотя и не уверен, что это правильно.

[tea-cutter.livejournal.com]

Это просто попытка совместить индивидуальное тестирование и командное. Не думаю, что это правильно. Командное тестирование на то и нужно, чтобы видеть как команда реагирует на вопрос, на версии друг друга и т.д. Как быстро вопрос "берётся" командой, затаптывается ли версия или в неё сразу верят...

[billo-varenn.livejournal.com]

+1

[axinija.livejournal.com]

согласна

[na-ry.livejournal.com]

О, у меня то же самое.

[solmyr.livejournal.com]

Лучше протестить два раза на двух группах.
Это потребует вдвое больше времени редактора и вдвое большего количества тестеров.

[tea-cutter.livejournal.com]

Да, потребует. Но это будут командные тестирования, а не индивидуальные. Индивидуально можно и в скайпе потестить.

[solmyr.livejournal.com]

Это по-прежнему будет командное тестирование, просто будет исключен вариант взятия на палец, который для тестирования почти никакой информации не дает и даже вредит ему. При взятом на палец вопросе ничего командного ты не протестируешь. Ну, посмотришь, поверили ли в версию, но это ты успеешь посмотреть и в моем варианте, когда версию сгенерят остальные.

[tea-cutter.livejournal.com]

Просто тестить надо не на команде Губанова:)

[another-ak.livejournal.com]

Поэтому надо учить ставить пальцы после слова "время".
Если палец поставлен не сразу, значит, команде ещё можно подумать. А вот палец во время чтения вопроса - это уже гильотинирование.

[dentol.livejournal.com]

Спасибо, кэп

От модератора

[sandy-kil.livejournal.com]

Поставила наиболее подходящий на мой взгляд тег. Можешь предложить другой, в т.ч. новый. И, традиционно: в следующий раз ставь теги сами, пожалуйста.

Re: От модератора

[solmyr.livejournal.com]

OK. Спасибо.

Re: От модератора

[sidorow.livejournal.com]

Сами ставь, гад!

[spielman-nnov.livejournal.com]

Будет случай, попробуем

[fanat-alkmara.livejournal.com]

Думаю, даже если имеют место ответы на палец - это все равно позволяет проанализировать сложность вопроса. Если отвечает один - ничего не мешает поинтересоваться, как именно он его взял, и страшного ни в редком знании, ни в инсайте нет; если отвечает два и больше - уже имеет смысл задуматься, а не кнопка ли это.

[solmyr.livejournal.com]

Так вот если кто-то ляпнул правильный ответ на первой секунде, мы уже никогда не узнаем, взяли бы этот вопрос остальные в течение следующих 5-10 секунд или нет.

[fanat-alkmara.livejournal.com]

По-моему, имеет значение, как именно версия была высказана на первой секунде. Если палец - это один расклад, а если просто высказана, а игроки поверили, потому что им она показалось логичной - это уже другое дело. Зато есть наглядное подтверждение играбельности такого вопроса

[tarbozaurus.livejournal.com]

hellfund эту методику применял, когда тренировал сборную Изряиля к КН-2006.

[hellfund.livejournal.com]

Я практикую примерно то же. Игрок, у которого "щелкнуло", отходит от стола и сообщает мне на ухо свою версию. После чего либо остается со мной наблюдать, как мучаются его менее сообразительные товарищи, либо возвращается к обсуждению.