Експеримент TikTok: відключення функцій безпеки призвело до трагедії

Дослідження Bloomberg розкрило шокуючі деталі внутрішнього експерименту TikTok. У 2021 році платформа відключила нову функцію безпеки, покликану обмежувати поширення повторюваного шкідливого контенту, для 15 мільйонів користувачів, що становило понад 10% американської аудиторії на той час.

Деталі експерименту

Цей крок був частиною backtest-експерименту — методики A/B-тестування, що використовується для аналізу ефективності змін в алгоритмах рекомендацій. До числа користувачів, чиї акаунти виявилися незахищеними, потрапив 16-річний Чейз Наск. Внутрішні звіти TikTok підтверджують, що алгоритм створив для підлітка небезпечне середовище: стрічка була заповнена контентом, що провокує депресію та думки про самогубство.

Наслідки впливу на підлітка

Аналіз історії переглядів Чейза показав страшні дані. За два тижні до трагічної смерті в лютому 2022 року:

• 73% із 7500 переглянутих роликів стосувалися депресії, самотності, психічного здоров’я чи розставань.
• 10% відео прямо порушували правила платформи щодо контенту про суїцид і самоушкодження.

Попри те, що компанія заявляла про відсутність зв’язку між платформою та випадками самогубств, дослідження даних акаунта підтвердило, що підліток активно споживав контент про суїцид, включаючи відео, які романтизують тему самопожертви перед потягом, що рухається.

Реакція TikTok та судові розгляди

На цей момент навколо діяльності великих соцмереж ведеться безліч юридичних баталій. Щодо відповідальності TikTok за стан здоров’я дітей варто зазначити таке:

Хоча первинний позов батьків Чейза було відхилено через розділ 230 закону Communications Decency Act, апеляція триває. TikTok визнав необхідність змін у своїх практиках тестування: компанія планує скоротити тривалість подібних експериментів до 7 днів і зменшити охоплення аудиторії до рівня менше 1%.

Історія з внутрішнім експериментом TikTok знову порушує питання про те, наскільки безпечно тестувати алгоритми рекомендацій на реальних користувачах. Хоча компанія заявляє про вдосконалення механізмів захисту та зміну підходів до подібних експериментів, розслідування посилило дискусію про необхідність суворішого контролю над роботою рекомендаційних систем та їхнім впливом на психічне здоров’я користувачів, особливо неповнолітніх.