Как работают плейтесты

Задача геймдизайнера — создать нужный опыт для игрока. Тут есть проблема неопределённости: часто геймдизайнер не может быть уверен, что игрок получает от игры именно тот опыт и те эмоции, которые он задумывал.

Узнать это наверняка можно только после релиза. Но есть способ снизить риск появления в игре неудачных механик или непривлекательных артов. Этот способ — плейтесты, то есть испытания ранних билдов игры на обычных игроках.

Мы изучили интервью и лекции разработчиков и рассказываем, как создатели игр делают опыт игрока приятнее и комфортнее при помощи плейтестов.

Автор: Денис Дудушкин

Введение в плейтесты

Есть много типов тестирования игр. В основном выделяют QA (контроль качества), фокус-группы, тестирование юзабилити и, наконец, плейтесты. Именно последние помогают выяснить, дарит ли игра необходимое удовольствие от игрового процесса. Поэтому они очень ценятся разработчиками и используются в индустрии всё активнее.

Ричард Лемарчанд, бывший геймдизайнер Naughty Dog:

«Когда я присоединился к Naughty Dog для работы над Jak 3, мы провели около 4 или пяти плейтестов на протяжении всей разработки. В случае с Uncharted 3 мы провели 21 плейтест лишь за последние 6 месяцев разработки. Вот насколько они для нас важны.»

Источник

Отчасти такая любовь к плейтестам связана с итеративным подходом к разработке. Суть этого метода в том, что почти все элементы игры создаются и постепенно улучшаются по одному алгоритму. Его формулировки могут отличаться от студии к студии, но геймдизайнер Джесси Шелл в книге «Геймдизайн» предлагает универсальный вариант:

1. Определиться с основой дизайна.

2. Рассчитать самые большие риски дизайна.

3. Создать прототипы, которые уменьшат эти риски.

4. Протестировать прототипы.

5. Определиться с деталями дизайна, отталкиваясь от полученной информации.

6. Вернуться к пункту №2.

Видеоигры, а точнее их отдельные элементы, несколько раз проходят этот цикл, становясь всё лучше и лучше с каждой итерацией. В центре этой спирали находится тестирование, которое нередко подразумевает именно плейтесты. Это очень ответственный этап, от которого зависит финальный облик многих механик игры. А значит, при проведении плейтестов студия должна быть уверена, что делает всё правильно.

Для того, чтобы понять, как сделать плейтесты полезными и эффективными, нужно ответить на несколько вопросов: что именно тестировать, как это делать, на ком и, наконец, когда стоит начинать. Универсального представления об идеальном плейтесте у разработчиков не существует, и зачастую они используют разные подходы.

Когда и на ком тестировать

Как правило, чем раньше студия сажает тестеров за игру, тем лучше. До сих пор бытует мнение, что плейтестеры — это счастливчики, которые раньше других смогли добраться до ещё не вышедшей, но уже готовой игры. В реальности так происходит не всегда, — ведь как только у студии появляется простейший играбельный прототип, его уже можно и нужно тестировать.

Это продуктивнее и экономичнее, чем делать игру вслепую. Чем дольше элемент игры находится в разработке, тем больше на него тратят ресурсов, и тем дороже выйдет его удалять. Прототипы позволяют заранее избавиться от таких проблемных кусков или даже от игры в целом, если она не демонстрирует потенциала.

Вопрос об аудитории плейтестов уже не столь однозначен. Одни разработчики считают, что чем хуже геймдизайнер знаком с человеком, тем лучше он подойдет для тестирования. Другие отмечают, что чем больше людей вовлечены в тест, тем лучше, и не столь важно, кто именно будет играть.

Универсального ответа не существует. Во-первых, не бывает идеальной группы игроков для плейтестов. Во-вторых, во многом выбор аудитории зависит от наличия времени и ресурсов у студии. Например, инди-разработчики часто испытывают игру на всех подряд, — ведь времени и ресурсов на создание качественной выборки внутри целевой аудитории у них нет.

Такое решение позволяет в короткие сроки собрать солидный массив фидбэка, но пожертвовать его качеством. Зато, как отмечает дизайнер Эдриан де Йонг, выход за пределы целевой аудитории помогает выявить интересные детали и сделать игру более доступной для самых разных игроков.

Эдриан де Йонг, независимый разработчик:

«Не ограничивайте тестеров четкой группой людей. Даже если они не входят в целевую аудиторию, все, как мне кажется, могут что-то сказать об игре. Моя мама даёт мне потрясающий фидбэк, хотя она не геймдизайнер. Используйте коллег по работе, других разработчиков, друзей-игроков, друзей без опыта игры, родственников, детей, стариков, людей с разным культурным бэкграундом, фанатов. Это поможет вам понять, как разные люди играют в вашу игру.»

Источник

В ранних билдах игры Hidden Folks — игры де Йонга, — у многих NPC над головой были стандартные иконки диалога. Если игрок взаимодействовал с этими персонажами, они озвучивали какую-нибудь шутку или забавную фразу.

Во время плейтестов дизайнер заметил, что опытные игроки чаще всего тщательно зачищали карту от этих символов, в то время как неопытные переставали обращать на значки внимание после пары взаимодействий с NPC. Оказалось, что такой символ уже давно воспринимается многими игроками как индикатор важной информации, которая должна помочь в прохождении. Но в Hidden Folks такое обозначение неожиданно добавило в игру лишний гринд.

Подобные находки бывают крайне полезными, поэтому не помешают ни одному дизайнеру. Но крупные студии устраивают массовые плейтесты своих игр относительно редко. Дело в том, что разработчиков ААА-проектов больше волнует качество и оперативность фидбэка от плейтестеров.

Например, ранние версии Overwatch обновлялись практически ежедневно — по словам дизайнера игры Роуэна Гамильтона, вся её разработка была построена на «культуре плейтестов». И если обратная связь задерживалась хотя бы на пару дней, она зачастую теряла всю актуальность.

Организовывать плейтесты для Overwatch было сложнее, чем для одиночной игры, — ведь в сессии одновременно должны участвовать 12 человек. Буквально каждое нововведение требовало отдельного теста.

Роуэн Гамильтон, ведущий программный инженер Blizzard:

«Геймдизайнеру нужен контекст, чтобы понимать, как герой, способность или карта ощущаются, когда в игре ещё одиннадцать игроков. Пока мы не ощутим этот полноценный игровой опыт, очень сложно оценивать, насколько удачно работают отдельные элементы.»

Источник

У таких крупных компаний, как Activision и Ubisoft, есть целые отделы, в которых работают тестеры на постоянном окладе. Другие студии нередко пользуются услугами отдельных аутсорс-лабораторий, в задачи которых входят исключительно проведение и анализ тестирования. Подбор игроков там более тщательный — например, учитывается, что чем лучше человек знаком с игрой или её создателями, тем менее ценным будет отзыв от него.

Это не значит, что коллеги или друзья разработчика не могут дать полезный фидбэк, — но анализировать информацию от них сложнее. Друзья и родственники хороши тем, что готовы предоставить очень детальный отзыв — расспрашивать их можно долго, причём как во время плейтестов, так и в неформальной обстановке после. Однако исключительной искренности ждать не стоит, так как друзья не склонны критиковать разработчика.

Сами создатели игры хорошо знакомы с собственным проектом, и поэтому их оценка будет обдуманной и глубокой — возможно, слишком глубокой. Разработчики могут делать акцент на таких нюансах, которые рядовые пользователи и не приметят. Похожая проблема появляется, когда на плейтесты приглашают хардкорных игроков. Они, подобно разработчикам, могут подробно отчитаться о пройденном отрезке игры, но их фидбэк тоже рискует оказаться чересчур глубоким.

Чтобы получить обратную связь от самых разных людей, разработчики нередко пользуются услугами «одноразовых» тестеров. Это игроки, которых приглашают в студию на одну или две сессии тестирования. Они дают более универсальное представление о том, какое первое впечатление рождает проект.

Однако, по словам Джесси Шелла, если студия выбирает этот путь, то она должна безостановочно прогонять игру через одноразовых тестеров. Иначе может случиться так, что у игры будет очень яркое начало, но далее последуют посредственные эпизоды.

Джесси Шелл, геймдизайнер:

«Идеальные условия тестирования часто подразумевают наличие людей, которые раньше никогда не видели вашу игру. В индустрии их называют «свежим мясом» или «одноразовыми тестерами». Их плюсы — в том, что люди, которые впервые знакомятся с вашей игрой, смотрят на неё свежим взглядом и замечают вещи, к которым вы уже привыкли. Если вам нужно получить ответы на вопросы, связанные с удобством использования, с тем, как в игре реализовано общение, или же узнать, какое она производит впечатление, такие тестеры могут быть очень ценными.»

Источник

Минусы таких тестеров связаны с тем, что в игры обычно играют не один раз, — то есть игровых сессий может быть много. А привлекая к плейтестам исключительно «одноразовых тестеров», вы рискуете выпустить игру, которая произведёт хорошее первое впечатление, но утомит игрока через несколько игровых сессий.

Где тестировать

Формат проведения плейтестов тоже очень важен. Разработчикам нужно, чтобы фидбэк был максимально чистым, поэтому необходимо приблизить условия игры к естественным. Звучит несложно, но без подводных камней не обошлось и тут. Дело в том, что для игрока естественное окружение — это, как правило, его дом.

Обычно наиболее разумным решением оказывается проведение онлайн-плейтестов. Для инди-студий этот способ оптимален, так как он дешевле и проще в организации. Дополнительно процесс поиска необходимой аудитории упрощают современные сервисы, работающие с краудсорсом и небольшими заданиями. Например, Amazon Mechanical Turk и Яндекс.Толока предлагают простые системы, в которых можно отсортировать потенциальных тестеров по полу, возрасту, социальному статусу и т.д.

Крупные студии редко используют такие сервисы, — ведь в дистанционном формате сложнее отслеживать объективные физиологические показатели тестеров. Например, некоторые технологии умеют замерять сердцебиение тестера по изменениям в цвете кожи, но они пока что недостаточно надёжны. Также есть и более масштабная проблема — риск утечки. Онлайн-плейтест подразумевает, что билд игры оказывается в интернете и рискует попасть не в те руки.

Поэтому компании всё же стараются проводить плейтесты внутри студии. Это позволяет оперативнее передавать информацию необходимым отделам, уменьшает риск утечки ранних версий, а также позволяет использовать инструменты для отслеживания биологического состояния игрока.

Анализ информации

Все описанные этапы ведут к главному этапу тестирования — сбору и анализу информации. Этот процесс можно поделить на три категории: субъективные впечатления, действия человека в игре и биологический фидбэк. Для наиболее полного анализа нужно использовать все эти методы, но не всегда у разработчиков есть на это ресурсы. Поэтому иногда для анализа используется что-то одно.

Субъективные впечатления после плейтестов собирать сложнее всего, ведь для этого нужно определить оптимальную методологию. Например, большинство геймдизайнеров считают, что нельзя задавать игроку вопросы прямо во время плейтеста, так как это нарушает естественный поток игры. В то же время удачный вопрос может сильно помочь разработчику, но только если вовремя его задать, — после тестирования игрок может уже забыть свои действия и впечатления.

Даже успешно полученный фидбэк бывает сложно проанализировать. С одной стороны, неправильной обратной связи не бывает — игрок получил опыт и поделился им. С другой, к каждому тезису тестера разработчики должны относиться критически. Люди зачастую склонны не только описывать замеченные проблемы, но и с ходу предлагать их решение. В геймдизайне такое решение далеко не всегда оказывается верным.

Эдриан де Йонг называет это явление «информацией секонд-хенд». Разработчики часто сталкиваются с «плохими» данными, которые могут увести геймдизайнеров не в том направлении.

Эдриан де Йонг, независимый разработчик:

«Плохие данные — это вводящие в заблуждение или нечёткие результаты плейтестов. Они вынуждают разрабочтика гадать, как лучше поступить с полученным фидбэком. А это может сделать игру плохой или лишить её уникальности.»

Источник

Если во время плейтеста шутера игроку не хватило патронов, то он может сказать, что их количество стоит увеличить. Но корень проблемы может быть совершенно в другом. Например, в том, что дизайнер не сумел объяснить игроку, как лучше справляться с конкретным противником, из-за чего тестер потратил на того слишком много боеприпасов. Или всё может быть связано с дополнительными патронами, которые находятся в неочевидных местах. Или же, наконец, патроны и вовсе могут быть в арсенале игрока, но просто не для того оружия, из которого ему понравилось стрелять.

Де Йонг столкнулся с похожей проблемой, когда тестировал Hidden Folks. В игре нужно искать ключевые предметы, выбирая их на сенсорном экране. В одном из заданий игрокам нужно было открыть гараж не нажатием на экран, а свайпом, который до этого в игре не использовался. Тестеры преимущественно не понимали новой логики и почти единогласно предлагали добавить небольшой туториал, объясняющий механику.

Это сработало, но на смену одной проблеме пришла другая. Миссия, до этого казавшаяся очень сложной, стала, наоборот, слишком простой — игроки выполняли задание мгновенно. В итоге разработчики пришли к компромиссному решению: добавили контекстные анимации вместо обучения. Когда тестеры нажимали на дверь, она не открывалась, но начинала дёргаться, что давало игрокам понять: «это важный объект, но я что-то делаю не так».

Иногда информация воспринимается неправильно уже по вине разработчиков. Если плейтесты проводят для того, чтобы выявить какие-то частные особенности, можно упустить общую картину и не заметить очевидные проблемы игры. Например, можно долго тестировать игру с локальным кооперативом на четырёх человек, искать проблемы с балансом или динамикой, но забыть о том, что у многих игроков попросту нет под рукой четырёх контроллеров.

Даталоггинг

Чтобы точнее выявлять проблемы во время плейтестов, мнения игроков часто сравнивают с результатами даталоггинга, — то есть системами, которые отслеживают действия тестеров во время игры. Они умеют собирать самые разные параметры: как часто игроки умирают в каждом эпизоде, какое оружие чаще используют, насколько быстро продвигаются в прохождении и так далее.

Даталоггинг может использовать и уникальные для конкретной игры системы измерения. Например, разработчики Uncharted 3 — игры, в которой регулярно нужно карабкаться по различным уступам — во время плейтестов собирали информацию о количестве прыжков на одном месте. На основе собранных данных выстраивалась температурная карта, которая помогала найти неинтерактивные места, привлекающие внимание игроков. Информацию с карты передавали дизайнерам, чтобы те сделали объект менее заметным.

Можно подумать, что даталоггинг — самый эффективный и нужный элемент плейтестов, поскольку он помогает разработчикам избежать субъективной оценки от игроков. Но его, как и любой другой статистический инструмент, нет смысла использовать без контекста.

На этой иллюстрации — таблица по Half-Life 2: Episode One, которая показывает среднее количество смертей на каждом уровне. На ней видно, что две сцены финальной трети игры гораздо сложнее остальных уровней. Но это не значит, что концовку надо упрощать, — ведь геймдизайнеры могли специально создать эти главы более напряженными.

Даталоггинг может служить своеобразной надстройкой, которая позволяет проверить надёжность эмоционального фидбэка игрока. Исследователь игрового опыта в Volition Джордан Линн считает, что даталоггинг важен, но подходить к нему нужно с умом.

Джордан Линн, исследователь игрового опыта Deep Silver Volition:

«Плейтестинг и даталоггинг очень полезны. Одновременный анализ фидбэка игроков и данных даталогга позволяет получить массу важной информации, которую будет невозможно получить, если использовать лишь что-то одно.»

Источник

Во-первых, не стоит вестись на соблазн измерить все возможные показатели в игре. В теории это поможет найти больше незамеченных проблем, но анализ «голых» цифр — это кропотливая работа. Необходимо не только привести все показатели в приемлемый вид, но и сравнить их с живым фидбэком, а времени на это может не хватить.

Собранная в процессе тестирования информация может потерять актуальность уже через пару дней, поэтому Линн, например, ставит для себя мысленный дедлайн — на анализ информации он даёт себе 24 часа. Важно заранее продумать, что именно нужно узнать из плейтестов, чтобы отслеживать лишь необходимую информацию.

Во-вторых, информация, полученная при помощи даталоггинга, не всегда соотносится с фидбэком игроков. Такая проблема может проявляться по-разному. Например, объективная информация может конфликтовать с мнениями плейтестеров. Во время разработки Red Faction: Armageddon дизайнеры заметили, что в одном линейном эпизоде есть три места, где игроки умирали слишком часто. При этом сами тестеры никаких претензий к уровню не предъявили.

Когда информацию донесли до разработчиков, выяснилось, что в двух из трёх мест скачок сложности был запланирован, но в третьем действительно виновата дизайнерская ошибка. Подвешенный в воздухе контейнер, по которому нужно было выстрелить, чтобы нейтрализовать робота, плохо выделялся на фоне остальных объектов.

Эта ситуация наглядно демонстрирует одну из фундаментальных проблем плейтестов: как бы хорошо разработчики ни симулировали естественные и комфортные для игры условия, тестер всё равно остаётся тестером. Ему платят деньги за работу, поэтому в некоторых ситуациях он может спокойнее отнестись к эпизодам, которые разозлят рядового игрока.

Биологический фидбэк

Биологический фидбэк — это самый технически продвинутый способ отследить эмоции игрока. Как и даталоггинг, он позволяет объективно измерять состояние тестеров, однако фокусируется только на их эмоциях. С помощью биологического фидбэка можно отследить самые разные показатели: сердцебиение, электроактивность кожи, положение глаз или выражение лица.

Для разработчиков это может быть очень полезно, однако метод имеет существенный недостаток: большинство описанных выше измерителей способны показать степень проявления той или иной эмоции, но не её качество. Например, учащённый пульс подтвердит, что игрок получил сильную эмоцию после какого-нибудь скримера, но не расскажет, понравился ему этот момент или нет.

Это полезные инструменты, но с ними тоже нужно работать осторожно. Как отмечает штатный психолог Valve Майк Эмбиндер, их наличие может привести к неприятному феномену — «петле фидбэка».

Майк Эмбиндер, психолог Valve:

«Когда игрок видит, что его сердцебиение растет, то осознание этого может дополнительно его повысить, — что делает информацию некорректной. Работая с эмоциями, всегда нужно помнить, что они нестабильны и изменчивы. Вы запишете эмоции тестера, но он может почувствовать что-то другое уже через час, минуту или даже пять секунд.»

Источник

Технологии, которые позволяют выделить конкретную эмоцию, — например, отслеживание выражения лица — пока что относительно ненадёжны и дороги, поэтому редко используются в плейтестах. Куда чаще биологический фидбэк применяется для тестирования интерфейса через трекинг взгляда — или для экспериментов.

Например, Valve в своё время сделала играбельный прототип Portal 2, управлять которым можно при помощи глаз.

Также компания проверяла надёжность «виртуального режиссёра» в Left 4 Dead, используя данные о сердцебиении и электроактивности кожи игроков. «Режиссёр» замерял скорость продвижения игрока, его здоровье и другие параметры, после чего настраивал сложность игры в соответствии с ними. Когда разработчики тестировали эту систему, они иногда использовали измерители биологических показателей, чтобы изучить влияние динамической сложности на эмоциональное состояние игрока.

В будущем биологический фидбэк может повлиять не только на плейтесты, но и на опыт игрока в реальном времени. Недавние патенты Sony на устройства, отслеживающие сердцебиение игрока в комнате, косвенно это подтверждают.

Майк Эмбиндер, психолог Valve:

«Можно использовать биологический фидбэк для того, чтобы менять геймплей. Например, привязать здоровье к эмоциональному состоянию: когда игрок нервничает, оно постепенно теряется.Также можно использовать динамические подсказки. Если игрок вовлечен, то отвлекать его не стоит, а если ему скучно или он потерялся, можно сразу запустить всплывающие окна.»

Источник