Neuroware
@Neuroware
Программист в свободное от работы время

Правильно ли составлена команда WGet?

Когда задал вопрос по части менеджера загрузки в linux каждый второй указал мол wget рулит и все остальное не нужно, решил попробовать решить свою задачу с использованием wget, но не уверен, что правильно составил команду:
wget -i I -P 8 --force-directories --continue -nc -t inf --waitretry=1 --progress=bar

URL в списке будут вида
blablabla.com/blabla/Folder1/01.zip
https://blablabla.com/blabla/Folder1/02.zip
https://blablabla.com/blabla/Folder2/01.zip
blablabla.com/blabla/Folder2/01.zip

Требования к скрипту были такие, чтобы он проходил по следующим требованиям:
  • список загрузки это 10-20 файлов в отдельной папке,
  • таких папок может быть более 10,
  • в wget нужно как то скормить список файлов, со всеми папками
  • часть файлов может быть уже загружена их заново загружать не нужно
  • при этом чтобы он мог скачивать скажем 5 файлов одновременно,
  • но с 8 потоками на каждый файл,
  • при этом скрипт такой может выполняться скажем неделю
  • и за это время его пару раз может остановить отключение электричества
  • и еще десяток раз я сам должен его приостанавливать, когда мне нужен весь интернет канал.

Вопрос, составленная мной команда выполняет все эти требования?
  • Вопрос задан
  • 876 просмотров
Решения вопроса 3
@AVKor
Если кратко, то неправильно.

Более точно можно посмотреть в man wget.

Есть подозрение, что вместо чтения документации было гугление набегом, причём неверно понятое (опция -P делает совсем не то, что полагаете).
Ответ написан
Комментировать
nowfine
@nowfine
сисадмин 30+ левел
я рекомендую использовать aria2 - вроде присутствует в репозитариях, в бубунту точно есть
aria2.sourceforge.net/manual/ru/html
Ответ написан
Комментировать
@ComodoHacker
wget не может загружать параллельно и/или в несколько потоков. По вашим требованиям думаю подойдет lftp.

Но позаботиться о запуске после отключения электричества придется самостоятельно. :)

P.S. Из GUI качалок хорош uGet.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
@monah_tuk
Я грабил сайты при помощи httrack
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы