Карточки товара из прайсов поставщиков

Контекст

У каждого поставщика свой формат. Один присылает выгрузку, второй файл Excel, третий вообще отправляет ссылку на свой сайт, и характеристики приходится переписывать со скриншота. Одна и та же величина у трёх поставщиков называется по-разному и записана в разных единицах: где-то киловатты, где-то ватты, где-то диапазон через дефис. Контент-менеджер сводит это руками, тратит недели и всё равно ошибается в цифрах.

Решение

Конвейер приводит любой источник к одной записи. Выгрузки и файлы Excel читаются напрямую, скриншоты распознаются. Дальше отбираются только нужные серии: из тысяч позиций поставщика в работу идут те, что действительно продаются.

Главная работа происходит в двух нормализациях. Первая сводит разные написания характеристики к одному эталонному имени. Вторая приводит значения к одному виду: «2,5», «2100 Вт» и «600-2900» превращаются в сопоставимые числа с единицей измерения.

Чего не понял разбор, уходит в модель, а её ответ записывается обратно в словарь. Поэтому один и тот же незнакомый вариант написания разбирается платно ровно один раз, а дальше бесплатно и одинаково.

На выходе товары сгруппированы по бренду, серии и модели и выгружены в таблицу той же структуры, в которой их ждёт каталог. Для заказчика сделан простой веб-интерфейс: загрузил файлы, выбрал, куда выгружать, забрал результат.

Как устроено

• Три вида источников. Выгрузка, файл Excel и скриншот сайта дают одинаковую запись на выходе.
• Отбор серий. Из тысяч позиций в работу берутся только нужные.
• Словарь характеристик. Разные названия одной величины сводятся к эталону.
• Нормализация значений. Единицы, дробные, диапазоны и габариты приводятся к одному виду.
• Обучение словаря. Непонятое разбирается моделью один раз и запоминается.
• Выгрузка. Готовая таблица в структуре каталога плюс веб-интерфейс для загрузки файлов.

Роль и результат

Проект сделан нами и обкатан на реальных прайсах: пилот собран на ассортименте кондиционеров, где характеристик много и записаны они у всех по-разному. Ядро нормализации закрыто тестами, потому что именно там ошибка стоит дороже всего: неверная цифра уезжает сразу в тысячу карточек.