16.07.2019, 08:34 [+3 UTC]
в нашей команде: 3 745 чел. | участники онлайн: 2 (рекорд: 21)

:: РЕГИСТРАЦИЯ

задать вопрос

все разделы

правила

новости

участники

доска почёта

форум

блоги

поиск

статистика

наш журнал

наши встречи

наша галерея

отзывы о нас

поддержка

руководство

Версия системы:
7.77 (31.05.2019)
JS-v.1.34 | CSS-v.3.35

Общие новости:
28.04.2019, 09:13

Форум:
05.07.2019, 10:35

Последний вопрос:
15.07.2019, 20:51
Всего: 149927

Последний ответ:
15.07.2019, 15:19
Всего: 258698

Последняя рассылка:
16.07.2019, 05:15

Писем в очереди:
0

Мы в соцсетях:

Наша кнопка:

RFpro.ru - здесь вам помогут!

Отзывы о нас:
22.10.2009, 20:09 »
Зараганников Василий
Неплохо! Главное - понял суть. Спасибо за ответ! [вопрос № 173539, ответ № 255717]
01.03.2019, 11:10 »
dar777
Это самое лучшее решение! [вопрос № 194804, ответ № 277555]
30.05.2011, 13:33 »
lamed
Большое спасибо за оперативность! С уважением. [вопрос № 183419, ответ № 267459]

РАЗДЕЛ • PHP / Perl / Python

Создание программ на языках PHP, Perl и Python.

[администратор рассылки: Коцюрбенко Алексей Владимирович (Модератор)]

Лучшие эксперты в этом разделе

Коцюрбенко Алексей Владимирович
Статус: Модератор
Рейтинг: 144
Асмик Гаряка
Статус: Советник
Рейтинг: 0
Хватов Сергей
Статус: Академик
Рейтинг: 0

Перейти к консультации №:
 

Консультация онлайн # 70173
Раздел: • PHP / Perl / Python
Автор вопроса: M-rtrigger
Отправлена: 09.01.2007, 17:59
Поступило ответов: 1

Приветствую ! помогите плз. Знаю что LWP решает эту проблему но незнаю как. Буду благодарен примеру.
Есть задача проиндексировать сайт - тоесть взять все ссылки и контент соответственно ссылке

Состояние: Консультация закрыта

Ответ # 135599 от ramok

Здравствуйте, M-rtrigger!

внизу есть простенький пример извлечения ссылок со страницы
http://unix.org.ua/orelly/perl/cookbook/ch20_07.htm
его не сложно расширить для получения контента из этих ссылок

неплохое введение в работу с LWP
http://unix.org.ua/orelly/perl/perlnut/ch17_01.htm

ps
можно использовать специализированный класс LWP::RobotUA http://unix.org.ua/orelly/perl/perlnut/ch17_02.htm#PNUT-CH-17-SECT-2.1
который наследован от LWP::UserAgent и используется так же.

но если вы не собираетесь придерживатся правил поисковых ботов(http://www.robotstxt.org) то можно использовать обычный LWP::UserAgent


Консультировал: ramok
Дата отправки: 09.01.2007, 19:44

Рейтинг ответа:

0

[подробно]

Сообщение
модераторам

Отправлять сообщения
модераторам могут
только участники портала.
ВОЙТИ НА ПОРТАЛ »
регистрация »

Возможность оставлять сообщения в мини-форумах консультаций доступна только после входа в систему.
Воспользуйтесь кнопкой входа вверху страницы, если Вы зарегистрированы или пройдите простую процедуру регистрации на Портале.

Яндекс Rambler's Top100

главная страница | поддержка | задать вопрос

Время генерирования страницы: 0.13714 сек.

© 2001-2019, Портал RFPRO.RU, Россия
Калашников О.А.  |  Гладенюк А.Г.
Версия системы: 7.77 от 31.05.2019
Версия JS: 1.34 | Версия CSS: 3.35