При анализе конкурентных сайтов я столкнулся с проблемой блокировок из-за большого количества запросов. Чтобы обойти это ограничение, решил proxy купить
https://proxyline.net . Это дало мне возможность продолжать исследование и разрабатывать более эффективные стратегии.