Как лучше сделать прокси чекер?

Question

Uniq @padonnak

Как лучше сделать прокси чекер?

Всем привет озадачился написать прокси чекер.

Смотрел разные статьи, попробовал сделать на php - ужас мультипоточность конечно мертвая тема с кулом,
попробовал сделать на PERL с библиотеками LWP::UserAgent, LWP::Protocol::socks мультипоточность крутая работает на ура но очень часто отдает ответ 200 и регулярка срабатывает на false гугл каптча и яндекс каптча а в итоге прокси вообще редиректит или отдает 403

хочу совет спеца по библиотекам и на чем лучше это все оформить.

Что хочу получить в итоге:

Мультипоточность
Проверка SOCKS4 SOCKS5 HTTP HTTPS
GET POST
REFERE
SPEED
PING
GOOGLE YANDEX

Вопрос задан более трёх лет назад
1704 просмотра

14 комментариев

Подписаться 3 Оценить 14 комментариев

Roman K @deliro

Что?
Добавьте подробности в ваш вопрос

Написано более трёх лет назад
Uniq @padonnak Автор вопроса

Roman Kitaev:
я ведь написал что перл отдает 200 часто когда на самом деле 403 или другие коды HTTP еще и видит регуляркой капчу хотя ее там нет потому что прокси неработает

Написано более трёх лет назад
Uniq @padonnak Автор вопроса

на питоне не пробовал и на ноде вот интерисуюсь

Написано более трёх лет назад
sim3x @sim3x

Вадим Тимофеев:
вы же понимаете, что нужно проверять как проходят запросы _через_ прокси на ваш или надежный ресурс, который все время отдает один и тот же ответ?

Написано более трёх лет назад
Uniq @padonnak Автор вопроса

sim3x: как тогда в перле получить 1 запросом ping speed + POST

Написано более трёх лет назад
sim3x @sim3x

Вадим Тимофеев:
Зачем?

Написано более трёх лет назад
Uniq @padonnak Автор вопроса

sim3x: чтобы не делать лишние движения на чек : делаю чек прокси на адресс он принемает куки пост гет рефа и отдает мне - как в этом же запросе получить пинг и скорость прокси

Написано более трёх лет назад
sim3x @sim3x

Вадим Тимофеев:
Пинг до прокси модет быть 10мс
Задержка на прокси до 30сек

Економия даже не на спичках

Написано более трёх лет назад
Uniq @padonnak Автор вопроса

sim3x: Эмм как получить задержу?

Написано более трёх лет назад
sim3x @sim3x

Вадим Тимофеев:

разница между временем начала запроса и таймштампом с вашего сервиса

Написано более трёх лет назад
parserpro @parserpro

Вадим Тимофеев: Perl ничего не отдает. 200 вам приходит от сервера. Почему - хз. Возможно так защищаются от желающих спарсить контент.

Написано более трёх лет назад
parserpro @parserpro

Вадим Тимофеев: Язык вам ничего не даст. Основные задержки будут в сети.
Для Прела рекомендую AnyEvent::HTTP - я им весь Яндекс.Маркет вытягивал.
Прокси использовал платные, для серьезной работы бесплатные - гемор и потеря времени.
И да - надо чекать саму страницу, что в ответ приходит - там может быть полный бред, несмотря на 200 код.

Написано более трёх лет назад
Uniq @padonnak Автор вопроса

parserpro: дело то как раз в том что бывает приходит ответ 200 проверка страници соответствует регуляркам а на самом деле прокси редиректит фиг знает куда

Написано более трёх лет назад
parserpro @parserpro

дело то как раз в том что бывает приходит ответ 200 проверка страници соответствует регуляркам а на самом деле прокси редиректит фиг знает куда

Я плохо понимаю это замечание. Если "фиг знает куда", то правильный ответ не приходит и регулярки не сработают. Код 200 - не показатель, ему верить нельзя. Т.е. это необходимое условие, но не достаточное.

Написано более трёх лет назад

Решения вопроса 1

Комментировать

Пригласить эксперта

Ответы на вопрос 1

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Python

Простой
Как создать offline карту на python?
- 1 подписчик
- 3 часа назад
- 34 просмотра
0

ответов
Python

+1 ещё

Простой
Какие модули есть в Python для целей анализа, форматирования, вывода текста?
- 1 подписчик
- 4 часа назад
- 20 просмотров
1

ответ
Python

+2 ещё

Простой
Как настроить ТГ бота, чтоб кидал посты с пабликов в мой паблик?
- 1 подписчик
- 5 часов назад
- 24 просмотра
0

ответов
PHP

+1 ещё

Средний
Почему одинаково-написанный curl запрос отдает разные ответы?
- 1 подписчик
- 7 часов назад
- 80 просмотров
0

ответов
PHP

+1 ещё

Простой
Как импортировать xlsx и csv в базу данных битрикса?
- 1 подписчик
- 7 часов назад
- 10 просмотров
1

ответ
PHP

Простой
Как работать с округлением?
- 1 подписчик
- 12 часов назад
- 75 просмотров
1

ответ
Python

+1 ещё

Простой
Как изменить сообщение с текстом на сообщение с картинкой для тг бота в библиотеке py telebot?
- 2 подписчика
- 12 часов назад
- 161 просмотр
2

ответа
Python

+1 ещё

Простой
Пишу телеграм бота на пайтон и вылезает ошибка KeyError: 'recipes'. Как решить?
- 1 подписчик
- 13 часов назад
- 49 просмотров
2

ответа
PHP

Простой
Вывожу куки в корзине, куда записал товар, не выводит, в чем ошибка?
- 1 подписчик
- 14 часов назад
- 66 просмотров
0

ответов
Python

+2 ещё

Простой
Как скрыть данные в кнопке KeyboardButton?
- 2 подписчика
- 14 часов назад
- 57 просмотров
1

ответ
Показать ещё Загружается…

PHP разработчик

Ведисофт • Екатеринбург

от 25 000 ₽

PHP-разработчик

M-Social Production • Брянск

от 70 000 ₽

PHP-разработчик

FunPay

от 300 000 до 500 000 ₽

Каталог AI tools

18 апр. 2024, в 01:12

150000 руб./за проект

Загрузка характеристик из xml/csv файла в карточки товаров WordPress

18 апр. 2024, в 00:58

5000 руб./за проект

Нарисовать подарки для соц сети

18 апр. 2024, в 00:10

50000 руб./за проект

Что?
Добавьте подробности в ваш вопрос
Roman Kitaev:
я ведь написал что перл отдает 200 часто когда на самом деле 403 или другие коды HTTP еще и видит регуляркой капчу хотя ее там нет потому что прокси неработает
на питоне не пробовал и на ноде вот интерисуюсь
Вадим Тимофеев:
вы же понимаете, что нужно проверять как проходят запросы _через_ прокси на ваш или надежный ресурс, который все время отдает один и тот же ответ?
sim3x: как тогда в перле получить 1 запросом ping speed + POST
sim3x: чтобы не делать лишние движения на чек : делаю чек прокси на адресс он принемает куки пост гет рефа и отдает мне - как в этом же запросе получить пинг и скорость прокси
Вадим Тимофеев:
Пинг до прокси модет быть 10мс
Задержка на прокси до 30сек

Економия даже не на спичках
Вадим Тимофеев:

разница между временем начала запроса и таймштампом с вашего сервиса
Вадим Тимофеев: Perl ничего не отдает. 200 вам приходит от сервера. Почему - хз. Возможно так защищаются от желающих спарсить контент.
Вадим Тимофеев: Язык вам ничего не даст. Основные задержки будут в сети.
Для Прела рекомендую AnyEvent::HTTP - я им весь Яндекс.Маркет вытягивал.
Прокси использовал платные, для серьезной работы бесплатные - гемор и потеря времени.
И да - надо чекать саму страницу, что в ответ приходит - там может быть полный бред, несмотря на 200 код.
parserpro: дело то как раз в том что бывает приходит ответ 200 проверка страници соответствует регуляркам а на самом деле прокси редиректит фиг знает куда
дело то как раз в том что бывает приходит ответ 200 проверка страници соответствует регуляркам а на самом деле прокси редиректит фиг знает куда

Я плохо понимаю это замечание. Если "фиг знает куда", то правильный ответ не приходит и регулярки не сработают. Код 200 - не показатель, ему верить нельзя. Т.е. это необходимое условие, но не достаточное.

Answer 1 · 2017-07-11 23:29:31

Посмотрите в сторону Golang. На гитхабе можно найти готовые примеры https://github.com/ilijamt/proxy-checker

Answer 2 · 2017-07-18 15:04:43

Если знаете Perl, то советую посмотреть в сторону AnyEvent::HTTP либо Mojo::UserAgent
Пример использования AnyEvent::HTTP можно посмотреть в моей статье Функциональное программирование на Perl в примерах Здесь используется не многопоточность, а неблокирующее программирование с мультиплексированием ввода-вывода (epoll, kqueue, iocp)

Как лучше сделать прокси чекер?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт