Рекомендательные системы сегодня лежат в основе цифровой торговли, помогая пользователям находить нужные товары, а бизнесу — лучше понимать запросы аудитории. Но эффективность таких алгоритмов напрямую зависит от данных, на которых они обучаются. И здесь появляется по-настоящему редкий подарок для исследователей и разработчиков — крупнейший открытый датасет T-ECD, собранный группой "Т-Технологии".
Датасет объединил анонимизированные действия 44 миллионов пользователей сразу нескольких сервисов: "Город: Шопинг", "Супермаркеты" и рекламной платформы Т-Банка. Внутри — 30 миллионов товаров и более 135 миллиардов взаимодействий. Уникальная особенность — кросс-доменность: информация охватывает как повседневные покупки, так и непродовольственные товары, отзывы, чеки, активации специальных предложений и кэшбэков.
Данные доступны под лицензией Apache 2.0, что открывает возможности для коммерческого применения и модификации. Разработчики могут работать с каждым сегментом отдельно или связывать информацию по пользователям, товарам и брендам.
T-ECD подходит для широкого круга задач: от рекомендаций следующего товара до формирования корзины, анализа сессий или топ-N рекомендаций. История охватывает период от одного года до трёх с половиной лет, что позволяет строить как краткосрочные, так и долгосрочные прогнозы.
В датасете есть явная и неявная обратная связь, а также просмотры товаров с указанием источника: поиск, каталог или рекомендации. Это делает набор данных особенно ценным для создания гибких алгоритмов.
| Плюсы | Минусы |
| Огромный объём данных — 135 млрд взаимодействий | Высокие требования к вычислительным ресурсам |
| Кросс-доменность: покупки, чеки, отзывы | Нужны специалисты для правильной обработки |
| Лицензия Apache 2.0 — можно использовать в коммерции | Сложность навигации в массиве данных |
| Долгий временной охват — до 3,5 лет | Возможны ограничения из-за анонимизации |
| Доступность на Hugging Face | Большой порог входа для новичков |
| Параметр | T-ECD | Типичные датасеты |
| Объём данных | 135 млрд взаимодействий | от нескольких миллионов |
| Кол-во пользователей | 44 млн | от сотен тысяч до 1-2 млн |
| Кол-во товаров | 30 млн | до 1 млн |
| Источники | покупки, отзывы, чеки, акции, кэшбэки | покупки и просмотры |
| Лицензия | Apache 2.0 | ограниченные или исследовательские |
Скачать датасет с Hugging Face.
Определить задачу (рекомендации, прогнозы, анализ поведения).
Подобрать инструменты обработки: Python, PyTorch, TensorFlow, Spark.
Разделить данные на тренировочную и тестовую выборки.
Учесть особенности кросс-доменности: связывать данные по товарам и пользователям.
Тестировать модели на разных сценариях (корзина, сессия, топ-N).
Внедрять алгоритмы в реальные сервисы.
• Миф: такие датасеты доступны только корпорациям.
Правда: T-ECD открыт и лицензирован для коммерческого использования.
• Миф: объём данных делает их бесполезными для малого бизнеса.
Правда: даже малые сегменты датасета можно эффективно применять.
• Миф: кросс-доменные данные сложно связать.
Правда: структура позволяет сопоставлять товары и пользователей.
Как выбрать подходящий сегмент датасета?
Следует исходить из задачи: для рекомендаций по товарам — истории покупок, для маркетинга — активации кэшбэков.
Сколько стоит использование T-ECD?
Датасет бесплатен и доступен под Apache 2.0.
Что лучше: использовать T-ECD целиком или частями?
Для обучения масштабных моделей лучше использовать полный массив, но для экспериментов удобнее работать с отдельными сегментами.
Ошибка: загрузить весь датасет без фильтрации.
Последствие: перегрузка серверов и долгие расчёты.
Альтернатива: начать с отдельных частей и постепенно расширять.
Ошибка: игнорировать кросс-доменность.
Последствие: модель теряет точность.
Альтернатива: связывать данные по товарам, пользователям и брендам.
Ошибка: использовать устаревшие алгоритмы.
Последствие: плохая адаптация к новым сценариям.
Альтернатива: применять современные методы машинного обучения и рекомендательных систем.
А что если объединить T-ECD с другими открытыми наборами данных? Тогда можно построить ещё более точные модели, учитывающие не только покупки и отзывы, но и дополнительные источники поведения пользователей. Это открывает дорогу к созданию универсальных рекомендательных систем нового поколения.