EvillHood
@EvillHood
QA engineer

Какой бесплатный софт способен обрабатывать текстовые файлы с логами доступа сервера?

Есть логи сохраненные в текстовых файлах объемом не менее гигабайта каждый.
Необходимо проанализировать их или обработать так, чтобы выявить наиболее частые адреса с которых приходят запросы. Плотность лога 50-70 строк в секунду времени. Проанализировать надо 3 суток.
  • Вопрос задан
  • 334 просмотра
Решения вопроса 1
dimonchik2013
@dimonchik2013
non progredi est regredi
посмотрите на www.weblogexpert.com/lite.htm (про версию можно купить на рутракере)
и на классику www.awstats.org, но с ним еще заморочиться нужно - поставить, скормить логи и т.п.

ну и на https://technet.microsoft.com/en-us/scriptcenter/d...

проблема всех прог в том, что они могут на длинном файле скрешиться,и никаким каком это непреододимо

конкретно под эту задачку ручками рекомендую:
1) берете www.powergrep.com - мощнейшая тулза, ест большие файлы, обрабатывает все что только можно (тоже продается на рутракере), ей выбираете из каждого лога IP ( ну и там Get и код ответа,например)
2) берете www.textpad.com - самый лучший в мире текстовый редактор (я не шучу, он единственный не вешается от гигабайтных txt, его ближайшие 1-2 конкурента на 20-30 Гб вешаются, он справляется с 40+ Gb) и в нем по F9 сортируете выделенные строки, получаете картину

вместо (2) можно загнать логи - за трое суток это всего 18 млн строк - в MySQL и поделать выборки, с помощью DbFOrge Studio или MySQL Front.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы