@cegthgtlhj

Парсинг вебсайта на питоне. Как указать параметры POST запроса?

Имеется вебсайт с поисковой формой https://www.sf-filter.com/en/vergleichsliste/?sf-c... => см. картинку.
Забиваю в форму ключевое слово и пытаюсь спарсить возвращенные результаты запроса.
Ключевых слов - пара тысяч, поэтому нужно сделать программным путем.

После нажатия кнопки "Submit / Поиск / Enter", броузер показывает что было два POST запроса.

Первый POST запрос такой
https://www.sf-filter.com/WebPortal/async.aspx
с параметрами
txt_ArtSearch=0110d0
crypt=024YX9/HsQgaKQQ55DhXTgEqA==WbpRaFfFOkPuQGn0B1jd6g8P0zQUbI06LhmJMoT3xUAHeqUwhFBvqIwAnmxp4lPC
originalUrl=https://www.sf-filter.com/en/vergleichsliste/?sf-client=20

и второй POST запрос такой
https://www.sf-filter.com/id/5F59032AF1A249C9AEA21A4DCED078CF8E2611E9708A4486AE51411487E24F64.htm

с параметрами
txt_ArtSearch=0110d0
originalUrl=https://www.sf-filter.com/en/vergleichsliste/?sf-client=20


код поисковой формы ниже
<form action="javascript:void(0)" id="SPCompareList" method="post" name="SPCompareList" novalidate="novalidate">
      <div class="section-inner text-center">
       <h2>
        Cross reference list
       </h2>
       <p class="section-intro">
        Please enter any filter number and we show you the best suitable SF quality filter for your needs.
       </p>
       <div class="form-group" id="searchBtn">
        <input autofocus="" class="flat" id="txt_ArtSearch" name="txt_ArtSearch" placeholder="Enter item number" type="text" value="0110d0"/>
        <span class="form-icon" onclick="$('#SPCompareList').submit()">
         <i class="fa fa-search">
         </i>
        </span>
       </div>
      </div>
     </form>


q04.png

при дальнейших вводах вручную ключевых слов и кликанию по кнопке поиска, добавляется только один пост запрос, похожий на первый, но параметр
crypt=024YX9/HsQgaKQQ55DhXTgEqA==WbpRaFfFOkPuQGn0B1jd6g8P0zQUbI06LhmJMoT3xUAHeqUwhFBvqIwAnmxp4lPC

каждый раз меняется

В каком направлении искать ?
Как называется это защита ?
Можно ли как-то ее обойти и автоматизировать процесс без СЕЛЕНИУМа?
  • Вопрос задан
  • 188 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы