[решено] Скачать с сайта определенные файлы автоматически

[biomirror]

Здравствуйте!

Есть сайт с перечнем уроков

http://www.bbc.co.uk/worldservice/le...eepisode.shtml

По каждой из этих ссылок каждый урок представлен более подробно

http://www.bbc.co.uk/worldservice/le...agepoint.shtml

И на каждой из этих страниц есть файл "Download this page"

http://downloads.bbc.co.uk/worldserv...guagepoint.pdf

Хотел бы скачать с каждой страницы эти файлы. Но страниц многова-то, поэтому хотел бы знать, как это можно сделать в автоматическом режиме.

[Yewgeniy]

Почему-то мне кажется, что если нет желания покликать по ссылкам, то работать со скачанным материалом не хватит ни сил, ни времени, ни мотивации... Миллионы людей так учатся: скачивают гигабайты учебников, и на том учеба заканчивается. Это очень распространенная проблема.

[Iska]

Цитата Yewgeniy:



Почему-то мне кажется, что если нет желания покликать по ссылкам, то работать со скачанным материалом не хватит ни сил, ни времени, ни мотивации...

[решено] Скачать с сайта определенные файлы автоматически

Честно говоря, я пока и не собираюсь по ним заниматься. Меня интересует только то, что заявлено в теме - возможность скачивать автоматически определенные материалы с сайта.



Покликать по ссылкам, я всегда смогу, большого ума не надо. А вот придумать, как сделать так, чтобы не кликать (ни в данном случае, ни в будущем) - здесь нужные определенные знания и опыт, которых у меня пока нет. Поэтому обращаюсь за помощью сюда на форум.

[biomirror]

Цитата biomirror:



Меня интересует только то, что заявлено в теме - возможность скачивать автоматически определенные материалы с сайта.

[решено] Скачать с сайта определенные файлы автоматически

Любой граббер сайтов: Teleport, HTTTrack Website Copier и т.п.

[Iska]

Можно Wget заюзать.

Код:

Код: Выделить всё

wget -r -nd -l1 -N -A.pdf -i "http://www.bbc.co.uk/worldservice/learningenglish/081222_download.shtml" -P c:\wget\%RANDOM%

[x0r]

Можно Wget заюзать.

Код:

Код: Выделить всё

wget -r -nd -l1 -N -A.pdf -i "http://www.bbc.co.uk/worldservice/learningenglish/081222_download.shtml" -P c:\wget\%RANDOM%

[biomirror]

Пытался HTTTrack использовать. Не получилось с ним.

Нашел в Internet download manager групповое скачивание файлов в Задачи-добавить группу файлов для скачивания



Но так удалось скачать лишь до 79 файла. С 80 - появилось две переменные: номер эпизода и имя файла. К такому жизнь данную опцию не готовила.

Пришлось использовать граббер IDM (всегда не мог понять, как им пользоваться). Кое-как настроил, анализ сделал на глубину 2 уровня. - и все равно пришлось ждать, пока он все посчитает. Но все-таки дождался.

Имена файлов никак не отражали номер эпизода. Ладно хоть состояли из набора чисел по возрастанию - чем больше номер эпизода, тем больше число. С помощью Ренеймера успешно переименовал.

[Yewgeniy]

Цитата Yewgeniy:



потому что применение того или иного способа зависит от реализации конкретного сайта

[решено] Скачать с сайта определенные файлы автоматически

На большинстве сайтов граббер помогает. Да и по сути, скачивание контента с сайтов можно разделить на несколько основных групп: Скачивание картинок (автоматическое) , swf файлов и видео (в том числе потоковое) - по сути надо иметь 3- 5 программ. В большинстве случаев одним IDM можно обойтись.


Цитата Yewgeniy:



Я бы ни в коем случае не оставил файлы на сайте доступными для подобного скачивая.

[решено] Скачать с сайта определенные файлы автоматически

А людям не жалко. А тем кому жалко, к тем не ходят)

[biomirror]

Цитата biomirror:



Цитата Yewgeniy:

Я бы ни в коем случае не оставил файлы на сайте доступными для подобного скачивая. »

А людям не жалко. А тем кому жалко, к тем не ходят)

[решено] Скачать с сайта определенные файлы автоматически

Возможно, дело не в жалости, а в непонимании вопроса.

[topotun32]

И мне не жалко. Но такое поведение (скачивание впрок) обычно ведёт в никуда. Скачиваются гигабайты, обрабатывается ноль. Качальщики обычно не могут остановится и продолжают качать. Качать для них - самоцель. Им от этого пользы нет, а владельцу сайта скорее вред: лишний трафик, искажение статистики.