При работе с крупными данными мне нужно было собирать информацию с ресурсов, доступ к которым был ограничен. После долгих попыток обойти проблему я решил купить прокси
https://spaceproxy.net . Это помогло стабилизировать сбор данных и ускорить процесс анализа.