WGET

Аватара пользователя
yurecnt
Администратор
Сообщения: 135
Зарегистрирован: 17 дек 2014, 14:02
Откуда: Нижий Тагил
Контактная информация:

WGET

Сообщение yurecnt » 22 дек 2014, 17:04

Чудная консольная утилита, она умеет не просто качать файлы с любых сайтов, но так же нормально работает с редиректом, когда страничка подменяет собой файл.
Но лично я иногда нахожу интересный сайт с интересным контентом и прямыми ссылками - то бывает желание не лазить по нему и выкачивать частями то что нужно.... а одним нажатием клавиши - скачать сайт целиком вместе со всеми файлами, картинками и так далее...

Код: Выделить всё

wget -r -l0 -k http://site.net/


Но опять же - надо ждать, пока сайт высосется.... На это может уйти масса времени... и дежрать комп вечно включенным не вариант...
Вариант другой... Засунуть в крон скрипт:

Код: Выделить всё

<?php
//Скачиваем сайты целиком:
$dir_upload='/media/backup/backup/file_server/sites_upload'; //Куда качаем
$site='picsdesktop.net'; //Что качаем
chdir ($dir_upload);
if (//На всякий случай проверяем... может, оно уже скачано...
!file_exists( $dir_upload . '/' . $site . '/index.html' ) ||
!file_exists( $dir_upload . '/' . $site . '/index.htm' ) ||
!file_exists( $dir_upload . '/' . $site . '/index.php' )
)
exec('wget -r -l0 -k http://' . $site);//ну и собсно - качаем...
?>


Сохраняем скрипт на сервере (у всех же есть сервер под линукс :D ) в виде wget.php
Засовываем в крон на выполнение комманду php /home/user/wget.php
Затем ждем.... день, два, три, в зависимости от ширины канала, скорости диска, скорости отдачи удаленного сервера....
Потом уже можем ковырять всю структуру сайта....
Вынимать скрипты, шаблоны, контент.... Я так массово выкачивал сайты с бесплатными шаблонами сайтов..... Или коллекцией обоев.... Ибо по одному и ручками - все же лень....

Вернуться в «Сетевые инструменты Linux»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость

cron