• Почему PHP7 работает медленнее?

    latteo
    @latteo
    Попробуйте запустить 100 раз для прогрева, а потом промерять минимум 10 раз и взять среднее.
    Это исключит погрешности.
    Ответ написан
    Комментировать
  • Как проверить что сайт парсится или копируется?

    latteo
    @latteo
    Это что-то типа прокси, в самом простом варианте, даже без кеширования. Т.е. каждый раз, когда кто-то заходит на сайт клон, данные запрашиваются с сайта оригинала.
    Для выявления, можно обратится к клону на выдуманный url и смотреть в логах apache/nginx своего сайта, кто попробует на такой же выдуманный url зайти к вам.

    Бан со стандартными ошибками может обходится автоматически через прокси.
    Распространенная практика для борьбы с клоном отдавать ему какой-то бред вместо контента. Только надо аккуратно вычислять его IP, чтобы не отдать бред поисковым системам.
    Ответ написан
    1 комментарий
  • Запись в файл PHP?

    latteo
    @latteo
    Лучший класс, который видел: https://github.com/yiisoft/yii2/blob/master/framew...
    Плюс максимально подробное описание в phpDoc
    Ответ написан
  • Как заблокировать фальшивый сайт с угрозами и раскрытием персональных данных?

    latteo
    @latteo
    Гуглинг по фразам из текста со скриншота запросто находит сайт.
    Вот здесь есть whois history для этого домена, на момент когда не был установлен privacyprotect https://wa-com.com/
    Там есть маил владельца домена - можете попробовать связаться.
    Так же по этому мейлу находится сайт osk34_ com где похожим образом скопировали главную сайту и приделали всякой политической фигни.

    Судя по NS изначально оба домена хостились на host4geeks.com или HostDime.com - попробуйте им написать на abuse контакты, которые можно найти здесь https://dig.ua/search/184.171.251.124 (это ip первого NS сервера)
    Ответ написан
    Комментировать
  • Как запустить многопоток Selenium?

    latteo
    @latteo
    Не так давно статья была - https://habr.com/company/avito/blog/352208/
    Ответ написан
    Комментировать
  • Как и где можно научиться писать многопоточные парсеры для любых задач?

    latteo
    @latteo
    Минимум раз в год выходит видеокурс по парсингу на чистом ЯП или с помощью инструментов datacol, content downloader и другие. Часть из них оседает на торентах и файлообменниках. Часть изначально публичные и доступны на ютубе.
    Ответ написан
    Комментировать
  • Управление буфером вывода?

    latteo
    @latteo
    В шаблонизаторах активно используют. Исполняют php код в шаблоне (echo), потом отдают контролеру и он может сделать дополнительную обёртку. Так же при нескольких слоях в шаблоне.
    Ответ написан
    Комментировать
  • Может ли провайдер узнать, что за видео я качал, если это не торрент?

    latteo
    @latteo
    Как правило, логи остаются на сервере, с которого вы скачали. Если там что-то сильно незаконное и сервер в более-менее цивильной стране, то этот сервер запросто может оказаться в руках правоохранительных органов.
    Примеров тому масса: fs.to, ex.ua, nic.ua, iFolder.ru, megaupload.com И есть вероятность, что на сервере окажется гораздо больше информации о вас, чем вы сами думаете. Вплоть до профилей в соц. сетях, если вы были залогинены в этом браузере (собирается через разные хаки).

    С точки зрения доказательства, кто качал есть два подхода:
    отвечает тот чьё оборудование - легко для суда, но крайне несправедливо ибо и wi-fi, и роутер могли банально хакнуть;
    - отвечает тот кто был за компом - вот тут уже с хорошим адвокатом даже реальные преступники могут отвертется ибо доказать это сложнее.
    Ответ написан
    Комментировать
  • Минификация php?

    latteo
    @latteo
    На митапе по magento 2, core разработчик фреймворка говорил, что медленная скорость исполнения это плата за гибкость и кучу абстрактных слоев. А самый лучший подход по ускорению - это full page cache и Varnish.

    Пол года назад, когда мне довелось поработать с этим фреймворком, я собрал самые замечательные глюки с производительностью. К примеру mega menu, который пихают во многие темы, увеличивал FTTB в 2 раза даже если он не используется, но прописан в di. Индус, который работал с апи mega menu, замедлил еще почти в 2 раза.
    Вкл какого-то вида минификации в глубинах админки, тоже давало почти двойное замедление. Но вроде бы уже пофиксили.
    Вкл/выкл настроек в админке через раз приводило сайт в нерабочий вид, с необходимостью сделать rm файлов кеша через консоль и запуск еще нескольких консольных команд magento.

    Так же у фреймворка довольно навороченная di и система подмены загружаемых классов. Что с высокой вероятностью не даст вам сделать конкатенацию файлов.

    В общем, ваш вопрос интересен с точки зрения исследователя, но бесполезен в контексте реального ускорения сайта.
    Ответ написан
    1 комментарий
  • Как организовать много параллельных запросов к разным серверам/API?

    latteo
    @latteo
    https://www.youtube.com/watch?v=uO268voCGwA - ситуация похожая, правда им приходилось слать несколько запросов к одному API серверу.
    Ответ написан
    Комментировать
  • Composer Как исправить лимит памяти?

    latteo
    @latteo
    Во всех init файлах повысил лимит, но композер все равно выдает 128М

    Надеюсь всё таки речь про ini файлы.
    Видимо не угадали местоположение.

    У меня тоже бывает несколько версий php на ПК и какая из них запустилась смотрю через process explorer (win)

    Ну и как-бы в самом вопросе содержится ответ, запускайте с явным указанием пути к php и параметром memory_limit=-1
    Ответ написан
  • Как собирают аналитику сервисы типа 2ip.ru, ipinf.ru, www.similarweb.com и др.?

    latteo
    @latteo
    Кое что можно напарсить в самих сервисах, кое что в ПС:
    https://www.bing.com/search?q=ip%3A178.248.232.5

    В интернетах при должном гугление можно найти гигабайтные архивы (и это в архиве) с доменами.
    Пишешь dns резолвер на своём любимом языке программирования, запускаешь в 100 потоков и через несколько недель или месяцев ;) у тебя будет такая база. Которую хорошо бы еще и обновлять...
    Ответ написан
    Комментировать
  • Фреймворк, макро-Фреймворк для разработки портала?

    latteo
    @latteo
    Попробуй почитать руководство фреймворка Yii2 https://www.yiiframework.com/doc/guide/2.0/ru вплоть до и включая раздел "ОБРАБОТКА ЗАПРОСОВ". В своё время мне это помогло гораздо больше чем куча статей и попыток слепить свой mvc.
    Ответ написан
    Комментировать
  • Откуда сервисы накрутки ботами берут столько ботов?

    latteo
    @latteo
    Неужели они покупают тысячи симкарт? Или это тысячи взломанных страниц?


    1) можно через смс-сервисы, в том числе специально заточенные под соц сети. На форумах можно найти людей которые уже готовые акки продадут оптом, иногда даже симки могут выслать.
    2) взломы очень частый вариант, если это критично, у сервиса стоит уточнять заранее источник ботов.
    Ответ написан
    Комментировать
  • Как лечить спину айтишникам?

    latteo
    @latteo
    Врач, который помогает с позвоночником - это вертебролог.

    Со спортом надо быть аккуратнее, почти всё, что мне показали несколько разных тренеров в разных качалках для укрепления спины - оказалось крайне вредно с точки зрения вертебролога.
    Разминки и зарядки, в том числе "йога для спины", также могут нанести вред.

    Полезный спорт - плаванье и ходьба. При незначительной патологии - бег.
    Уже после лечения (МРТ в норме) врач показал, какую стоит делать зарядку.
    Ответ написан
    Комментировать
  • Как защитить сайт от выкачки через инспектор?

    latteo
    @latteo
    Как я понял под инспектором понимается Chrome DevTools или аналогичные инструменты в других браузерах.

    Конкретно в хроме довольно сложно снифать WebSockets сделанное через Socket.IO с добавлением на страницу через ивенты. И при сохранении в har эти данные в файл не пишутся.
    Обход - делать парсинг через написание JS для запуска в консоли Chrome DevTools - это уже хороший отсев, не всякий станет так заморачиваться.
    Ответ написан
    Комментировать
  • Как обменять одну криптовалюту на другую?

    latteo
    @latteo
    Интересует, как реализовать такой обменник программными средствами.


    Поднять фулноду биткоина (>170GB) и фулноду этериума.
    Изучить их апи.

    Для пользователя создаёте уникальный адрес для ввода под каждую валюту.
    Если баланс не нулевой и прошло минимум 6 подтверждений ему доступен обмен на другую валюту и вывод.

    Это, если совсем кратко, но нюансов по безопасности там вагон и маленькая тележка.
    Ответ написан
    3 комментария
  • Заявки с сайты приходят на почту с задержкой?

    latteo
    @latteo
    А отправка как происходит?
    Если через mail() то это скорее всего хостер.
    Если smtp смотрите заголовки писем, может оно само по себе долго идёт. Ну опять таки смотря чей смтп.
    Ответ написан
    Комментировать
  • Как не попасть в блэк-лист при многопоточном парсинге?

    latteo
    @latteo
    Один из вариантов бана получается, когда много сайтов висят на одном сервере.
    Самый простой способ обхода - определить ip сайтов и делать паузы при запросах на одинаковые ip.
    В теории, механизм таких пауз в курле должен быть встроен и есть вероятность, что этим можно управлять из php. Для подробностей читайте маны ;)

    Более сложный и более редкий вариант - на один сервер несколько ip или несколько серверов за одним фаерволом, который воспринимает множественные запросы как DDOS. Здесь уже необходимо вычислять подсеть или даже все подсети ДЦ для установки пауз.
    Ответ написан
  • Почему кириллица вышибает asJson и asXml?

    latteo
    @latteo
    This page contains the following errors:

    Этот текст похож на ошибку отображения или валидации xml в браузере.
    Жмите Сtrl+U - и смотрите на исходный текст страницы
    Ответ написан