Исключить список определенных файлов в wget

Я пытаюсь загрузить много страниц с веб-сайта по dial-up, и это может быть жестоко медленным. У меня почти идеальная команда wget , но поскольку я загружаю страницы с того же сайта, wget тратит время на загрузку одинаковых стандартных изображений для каждой страницы.

Если я знаю имя изображений страницы по умолчанию, есть ли способ игнорировать wget и, следовательно, не загружать их для каждой страницы?

Ниже приведен пример одной из команд wget, которые мой сценарий оболочки генерирует в другой сценарий оболочки для загрузки всех страниц:

 mkdir candy-canes-on-the-flannel-board-in-preschool cd candy-canes-on-the-flannel-board-in-preschool wget -p -nd -A jpg,html -k http://www.teachpreschool.org/2011/12/candy-canes-on-the-flannel-board-in-preschool/ wget -c --random-wait --timeout=30 --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" http://www.teachpreschool.org/2011/12/candy-canes-on-the-flannel-board-in-preschool/ -O "candy-canes-on-the-flannel-board-in-preschool" rm Baby-and-Toddler.jpg Childrens-Books.jpg Creative-Art.jpg Felt-Fun.jpg Happy_Rainbow-e1338766526528.jpg index.html Language-and-Literacy.jpg Light-table-Button.jpg Math.jpg Outdoor-Play.jpg outer-jacket1-300x153.jpg preschoolspot-button-small.jpg robots.txt Science-and-Nature.jpg Signature-2.jpg Story-Telling.jpg Tags-on-Preschool.jpg Teaching-Two-and-Three-Year-olds.jpg cd ../ 

Теперь я понимаю, что сценарий маловероятен, насколько это возможно, но он делает то, что мне нужно в данный момент, за исключением того, что вы можете видеть из команды rm что я просто хотел бы предотвратить wget от загрузки файлов в первую очередь, если возможное.

Я почти забыл упомянуть, есть две команды wget и это потому, что первая загружает страницу как index.html и по какой-то причине она не открывается в моем браузере, однако, когда я ее открываю и смотрю на нее в vim all Содержимого страницы есть, поэтому я не уверен, почему он не открывается. Но если я просто wget вторую команду wget как она есть, тогда эта страница, тот же самый файл с альтернативным именем, открывается отлично. Что-то, что я мог бы исправить, также поможет упростить процесс.

Wget имеет --reject rejlist вы можете использовать. Список отклонения представляет собой список шаблонов имен файлов.

У него также есть опция -nc чтобы избежать загрузки и перезаписи существующих файлов.

  • Загрузка нескольких файлов с параметрами wget и обработки
  • Как загрузить несколько файлов с помощью Wget из Cygwin для Windows
  • Spider только для веб-сайтов и URL-адресов возврата
  • Как пройти страницу входа в систему с помощью Wget?
  • С помощью wget для загрузки с веб-сайта с помощью чувствительных к регистру URL-адресов для Windows
  • Как загрузить список файлов с файлового сервера?
  • Wget отключен, но отображает сообщения об ошибках
  • Постоянная повторная попытка возобновить загрузку с помощью завитка
  • Альтернатива Wget / cURL, родная Windows?
  • Как вы используете WGET для зеркального отображения уровня сайта 1, восстановления JS, ресурсов CSS, включая изображения CSS?
  • Как загрузить изображения с помощью wget из txt-файла, содержащего ссылки
  • Interesting Posts

    как установить emoji по unicode в текстовом режиме?

    Предшествующее поведение оператора приращения в C, C ++, Java и C #

    Почему я не могу переадресовать class объявления в пространстве имен, используя двойные двоеточия?

    Насколько гибкими / сложными являются типы столбцов SQLite?

    Можно ли каким-либо образом удалить PowerShell из Vista?

    Могу ли я получить часовой пояс браузера в ASP.NET или мне нужно полагаться на операции JS для извлечения информации?

    Разница между JOIN и JOIN FETCH в спящем режиме

    Различные названия свойств JSON при сериализации и десериализации

    Ограничение на размер .Net-массива

    Как выбрать текст гиперссылки в Google Chrome?

    Можно ли издеваться над .NET HttpWebResponse?

    Java 7 String – сложность подстроки

    Как вставить pg_backend_pid из postgresql в сценарий оболочки и передать его другому процессу?

    Подписчики на графиках в R

    Запрос MySQL для расчета предыдущего месяца

    Давайте будем гением компьютера.