Сбор и верификация базы организаций для B2B-продаж

Отделу продаж нужен был не «список из справочника», а пригодная к обзвону база: без дублей, с актуальными сайтами и понятным признаком, есть ли у организации рабочий сайт вообще — именно это отделяет тёплый контакт от холодного.

Наивная выгрузка по рубрике даёт результат, который нельзя использовать: один и тот же бизнес попадает в несколько рубрик, филиалы дублируют головную запись, а часть сайтов давно не отвечает.

Собрали пайплайн из трёх стадий. Первая — сбор по рубрикам и районам с учётом лимитов источника и устойчивостью к обрывам: прогресс пишется построчно, поэтому повторный запуск не начинает всё заново.

Вторая — нормализация: приведение адресов и телефонов к единому виду, дедупликация по устойчивому ключу вместо названия, разметка филиалов и мультирубричных записей.

Третья — проверка сайтов: параллельные запросы с таймаутами, классификация ответов (рабочий, редирект, недоступен, домен не резолвится) и выгрузка в CSV и HTML-отчёт, который менеджер открывает без установки чего-либо.