Как можно обходить защиты сайтов от ботов?

Задача в общем случае не имеет решения, конечно, если договорится с владельцем сайта - не вариант.
Да, ты можешь на питоне научится подделывать заголовки запросов, распознавать капчу, можешь даже качественно строить в памяти dom и обрабатывать его js, загруженным со страниц целевого сайта, но это работает только в частных случаях. Как только появляется интерес не дать тебе утащить данные, сразу начинается гонка, один придумывает способы, как обламать халявщика, другой - как эти проверки обойти. Авита, как пример, много внимания уделила, а может и уделяет до сих пор, противостоянию с пауками, и, в моем случае, найденные решения жили от нескольких дней, до нескольких месяцев, а потом все равно отпадали.
Если, все таки, желание не отпало, можно попробовать перестать прикидываться браузером и стать им на самом деле. Речь про написание плагинов, которые будут приглядывать за страницей и искать на ней нужные данные, собирая их в памяти на отдельной вкладке, или отправляя на твое api для сохранения. Можно попробовать поиграться со встраиванием браузера в твою программу, но я игрался только со встраиванием ишака в прогу на дельфях, да и то, очень давно.

Есть два решения. Оба платные:

1) Платить программисту за актуализацию обхода защиты. Минус в том, что программист это может делать не всегда, и на обновление бота нужно время.

2) Использовать живых людей. Минус в том, что это заметно медленнее.

Что именно дороже, однозначно сказать нельзя.

Можно написать свою обвязку вокруг браузера, нужные елементы искать не по коду, а по изображению, а уже после эмулировать клики по соответствующим координатам и ввод с клавиатуры.
Если всё это писать самому лень, можно купить zennoposter например или BAS эти инструменты позволяют всё указанное автоматизировать, доступна запись действий в виде макросов + ко всему имеют под капотом обход фингерпринтинга разными способами что собственно позволяет использовать не одиночного бота, а целую их ферму.

Я нашел решение обратного. Подключите логику и возможно вам поможет https://www.brainbeast.best/ru/how-to-cheat-protec...