Khi TikTok điều chỉnh thuật toán vào năm 2021 để ngăn người dùng bị choáng ngợp bởi nội dung độc hại, công ty đã không triển khai phiên bản an toàn hơn cho tất cả mọi người, theo một tài liệu nội bộ bí mật. Thay vào đó, để xem liệu thay đổi này có làm giảm mức độ gắn kết của ứng dụng hay không, công ty đã tiến hành một thử nghiệm. Họ đã tạo ra một nhóm đối chứng gồm 10% người dùng ở Mỹ, vào thời điểm đó, con số này tương đương khoảng 15 triệu người, những người vẫn giữ phiên bản cũ của ứng dụng. Theo tài liệu, nhóm này bao gồm cả Chase Nasca, 16 tuổi. Thuật toán của TikTok đã đẩy cho cậu hàng ngàn video về tự tử, nỗi buồn, sự tuyệt vọng và cô đơn, cho đến lúc cậu tự kết liễu đời mình.
Tài khoản của Chase bị mắc kẹt trong một thứ gọi là bong bóng lọc, một khoang vọng trực tuyến bơm ra những nội dung lặp đi lặp lại mà thuật toán dự đoán cậu sẽ muốn xem. Tại đó, cậu đã nhận được một "cơn lũ" nội dung về tự tử và tự làm hại bản thân, theo tài liệu. Vì Chase nằm trong nhóm đối chứng, tài liệu cho biết, "các chiến lược ngăn chặn bong bóng lọc của TikTok đã không có hiệu lực đối với người dùng này một cách có chủ đích."
Hai từ "có chủ đích" mang một sức nặng đặc biệt trong bối cảnh các vụ kiện về chứng nghiện mạng xã hội đang diễn ra tại các tòa án Mỹ. Trọng tâm của lập luận pháp lý đang được sử dụng để chống lại các nền tảng mạng xã hội lớn nhất thế giới là sản phẩm của họ nguy hiểm do thiết kế. Các công ty, bao gồm cả TikTok, kịch liệt phủ nhận điều này và chỉ ra các tính năng an toàn mà họ đã giới thiệu để bảo vệ người dùng. Nhưng tài liệu này cho thấy TikTok đã cố tình không cung cấp một tính năng an toàn cho hàng triệu người, và lý do tại sao.
"Quyết định về tác động người dùng," tài liệu viết, "là một sự cân bằng mong manh giữa an toàn và khả năng đo lường tác động lên DAU và các chỉ số cốt lõi." DAU, hay người dùng hoạt động hàng ngày, là một trong những chỉ số dữ liệu hàng đầu mà Phố Wall dùng để đánh giá các công ty mạng xã hội. Trong ngành công nghiệp cạnh tranh khốc liệt này, sự tăng trưởng người dùng thường được ưu tiên hơn an toàn người dùng. Sự đánh đổi đó đã được ghi nhận rõ ràng trong nhiều năm, và giờ đây nó là xương sống của hàng nghìn vụ kiện chống lại các công ty này.
