Загрузка веб-страниц через список URL-адресов?

В настоящее время я использую siteucker, чтобы вытащить все файлы для веб-сайта клиента. Он доставит мне большую часть страниц, но проблема в том, что некоторые из страниц, на которые у нас есть, на самом деле не доступны по ссылке, а поиском почтового кода. Есть ли способ, которым я могу использовать этот инструмент или другой инструмент, даже для того, чтобы дать ему список URL-адресов, и он загружает файлы для меня, если нужно, сохраняя структуру папок так же, как и сайт-присоска.

Приносим извинения, если это плохое место, чтобы задать этот вопрос :).

    Вы можете использовать wget: создать простой файл со списком нужного вам URL-адреса (например, pippo.txt):

    pippo.txt:

    http://url1.zip http://url2.htm http://url3/ ftp://url4/file.zip 

    Затем используйте wget для загрузки списка URL:

     cd /some/folder/ wget -i /path/to/pippo.txt 

    Готово

    Wget for linux – это базовый инструмент https://www.gnu.org/software/wget/ для окон есть порт bin: http://users.ugent.be/~bpuype/wget/

    Если у вас есть доступ к машине Linux (возможно, практически на Virtualbox ), и в зависимости от того, что вы пытаетесь сделать, вы можете взглянуть на wget .

    Используя опцию -r вы можете делать такие вещи, как рекурсивный доступ к веб-сайту.

    Вы можете сделать:

     wget -r http://website/page?postcode=1234 wget -r http://website/page?postcode=5678 

    Легко настраиваемый сценарий / Excelable.

    Я написал расширение для браузера Chrome для этого, используя API загрузки Google Chrome, который будет работать на всех платформах (операционных системах), например Windows / Mac / Linux 🙂

    Он называется TabSave, и изначально он был для этого, я добавляю способность делать некоторые вещи, которые, возможно, захотят сделать исследователи с предоставлением заголовков PDF прямо из браузера, но он очень легкий и может захватывать открытые вкладки, если это удобно.

    Вы можете получить расширение здесь , и весь код является открытым исходным кодом на GitHub.

    Не стесняйтесь развиваться, если вы хотите пойти в другом направлении 🙂

    Interesting Posts

    Формат открытых ключей RSA

    Как просмотреть настройки конфигурации из Symfony2 config.yml?

    толкание объекта в схему массива в Mongoose

    Назначьте несколько объектов в .GlobalEnv изнутри функции

    Проверка диска XP выполняется каждый раз при загрузке

    Имеет ли смысл определять структуру с элементом ссылочного типа?

    В чем разница между Width и ActualWidth в WPF?

    Как изменить имена таблиц при использовании Visual Studio 2013 ASP.NET Identity?

    Ошибка TypeScript в коде Angular2: не удается найти имя ‘module’

    Xamarin Studio – не может войти в систему – один из идентифицированных элементов был в недопустимом формате

    Расширение приложения для совместного использования переменных во всем мире

    Почему возникает ArrayIndexOutOfBoundsException и как его избежать в Android?

    Почему JVM по-прежнему не поддерживает оптимизацию хвостового вызова?

    Как восстановить функции копирования / вставки для подключения к удаленному рабочему столу?

    Модификатор static разрешен только в объявлениях с постоянной переменной

    Давайте будем гением компьютера.