Консультация № 70173
09.01.2007, 17:59
0.00 руб.
0 1 1
Приветствую ! помогите плз. Знаю что LWP решает эту проблему но незнаю как. Буду благодарен примеру.
Есть задача проиндексировать сайт - тоесть взять все ссылки и контент соответственно ссылке

Обсуждение

Неизвестный
09.01.2007, 19:44
общий
это ответ
Здравствуйте, M-rtrigger!

внизу есть простенький пример извлечения ссылок со страницы
http://unix.org.ua/orelly/perl/cookbook/ch20_07.htm
его не сложно расширить для получения контента из этих ссылок

неплохое введение в работу с LWP
http://unix.org.ua/orelly/perl/perlnut/ch17_01.htm

ps
можно использовать специализированный класс LWP::RobotUA http://unix.org.ua/orelly/perl/perlnut/ch17_02.htm#PNUT-CH-17-SECT-2.1
который наследован от LWP::UserAgent и используется так же.

но если вы не собираетесь придерживатся правил поисковых ботов(http://www.robotstxt.org) то можно использовать обычный LWP::UserAgent
Форма ответа