Roblox запускает раннее обнаружение вреда в игровых экспериментах
Первые сутки метрики обновляются каждые пять минут. Для решения о вреде нужно не менее 10 тысяч участников.
Roblox запустила Early Harm Detection для игровых экспериментов в Creator Hub. Объявление опубликовано 1 октября. В течение первых суток авторы получают обновления ключевых показателей каждые пять минут и уведомления о критическом ухудшении. Раньше результаты нового эксперимента появлялись примерно через 24 часа после запуска.
Система следит за временем игры, конверсией в платящих пользователей и средним доходом на пользователя. Порог вреда для времени игры составляет минус 10%, для двух финансовых метрик — минус 20%. Показатель отмечается красным только тогда, когда весь его доверительный интервал оказывается ниже установленной границы, а не при любом краткосрочном падении.
Для автоматического решения о вреде требуется не менее 10 тысяч игроков суммарно в варианте эксперимента и контрольной группе. При меньшем числе участников интерфейс продолжает показывать изменение метрики, но не делает заключение о критическом ухудшении. Доверительный интервал можно открыть отдельно через действие View confidence в отчёте.
При выявлении вреда уведомления получают владелец игры и владелец эксперимента. Сообщения отправляются по электронной почте и в панель уведомлений Creator Hub. Разработчик также может подключить вебхук к собственным инструментам. После уведомления остановку эксперимента нужно оценить самостоятельно, изучив показатели; объявление не описывает автоматическое завершение теста.
Проверка несоответствия пропорций выборки тоже выполняется каждые пять минут в первые сутки, затем ежедневно. При таком нарушении Roblox рекомендует остановить и перезапустить эксперимент. Компания подчёркивает, что ранние данные предназначены для обнаружения вреда: выбирать вариант для общего запуска нужно по ежедневным результатам и после полного периода эксперимента.