Roblox передала ROOST три открытые модели для безопасности общения

Roblox объявила о передаче трёх моделей с открытым исходным кодом сообществу ROOST Model Community. Публикация от 19 августа посвящена обновлённым PII Classifier, Roblox Sentinel и классификатору безопасности голосового чата. Компания также открыла новый набор данных для оценки подобных инструментов.

PII Classifier выявляет попытки запросить или передать персональную информацию, а также направить пользователя на другую платформу. Вторая версия анализирует сообщение вместе с окружающим разговором. Это помогает обнаруживать замаскированные адреса и запросы, смысл которых распределён между несколькими репликами.

Для обучения использовались синтетические примеры сложных обходов и редких многоязычных ситуаций. По данным Roblox, число поддерживаемых языков PII Classifier выросло с 17 до 189. Компания сообщила, что показатель F1 увеличился с 63,41 до 90,52 на использованных ею проверках. Эти оценки относятся к испытаниям модели.

Sentinel ищет ранние признаки возможной угрозы детям в разговорах и выделяет сообщения для проверки людьми. Во второй версии стало шесть способов объединения оценок вместо двух. Добавлены инструменты, помогающие выбрать подходящий вариант под конкретные данные и объяснить полученный результат.

Третья версия голосового классификатора охватывает 30 языков и восемь категорий нарушений. При обнаружении недопустимой речи игрок получает предупреждение с указанием нарушенного правила. Продолжение нарушений может привести к временному ограничению чата до пяти минут; более серьёзные случаи допускают другие меры.

Открытый набор Roblox PII Classifier Benchmark содержит синтетические англоязычные диалоги нескольких участников. Он включает попытки обхода фильтров через замену символов, кодовые выражения и разделение информации по репликам. Другие компании смогут использовать эти примеры для проверки собственных классификаторов. Roblox присоединилась к ROOST как один из основателей в начале 2025 года.