28.02.2020, 16:11 [+3 UTC]
в нашей команде: 4 242 чел. | участники онлайн: 8 (рекорд: 21)

:: РЕГИСТРАЦИЯ

задать вопрос

все разделы

правила

новости

участники

доска почёта

форум

блоги

поиск

статистика

наш журнал

наши встречи

наша галерея

отзывы о нас

поддержка

руководство

Версия системы:
7.82 (22.02.2020)
JS-v.1.35 | CSS-v.3.37

Общие новости:
06.01.2020, 22:45

Форум:
27.02.2020, 21:42

Последний вопрос:
27.02.2020, 21:18
Всего: 151688

Последний ответ:
27.02.2020, 18:42
Всего: 259815

Последняя рассылка:
28.02.2020, 14:15

Писем в очереди:
0

Мы в соцсетях:

Наша кнопка:

RFpro.ru - здесь вам помогут!

Отзывы о нас:
19.10.2009, 12:15 »
Quikk
Большое спасибо за помощь! [вопрос № 173358, ответ № 255562]
07.10.2010, 20:58 »
Barabas72
в-карту именно эту хотел но незнал нашто её ставить.главное чтоб всё железо работало без конфликтов .а бп не слабый был для пк с этой видяхой.ответ устраевает.спасибо [вопрос № 180191, ответ № 263376]

РАЗДЕЛ • PHP / Perl / Python

Создание программ на языках PHP, Perl и Python.

[администратор рассылки: Коцюрбенко Алексей Владимирович (Старший модератор)]

Лучшие эксперты в этом разделе

Коцюрбенко Алексей Владимирович
Статус: Старший модератор
Рейтинг: 710
SAW
Статус: 7-й класс
Рейтинг: 140
Асмик Гаряка
Статус: Советник
Рейтинг: 116

Перейти к консультации №:
 

Консультация онлайн # 70173
Раздел: • PHP / Perl / Python
Автор вопроса: M-rtrigger
Отправлена: 09.01.2007, 17:59
Поступило ответов: 1

Приветствую ! помогите плз. Знаю что LWP решает эту проблему но незнаю как. Буду благодарен примеру.
Есть задача проиндексировать сайт - тоесть взять все ссылки и контент соответственно ссылке

Состояние: Консультация закрыта

Ответ # 135599 от ramok

Здравствуйте, M-rtrigger!

внизу есть простенький пример извлечения ссылок со страницы
http://unix.org.ua/orelly/perl/cookbook/ch20_07.htm
его не сложно расширить для получения контента из этих ссылок

неплохое введение в работу с LWP
http://unix.org.ua/orelly/perl/perlnut/ch17_01.htm

ps
можно использовать специализированный класс LWP::RobotUA http://unix.org.ua/orelly/perl/perlnut/ch17_02.htm#PNUT-CH-17-SECT-2.1
который наследован от LWP::UserAgent и используется так же.

но если вы не собираетесь придерживатся правил поисковых ботов(http://www.robotstxt.org) то можно использовать обычный LWP::UserAgent


Консультировал: ramok
Дата отправки: 09.01.2007, 19:44

Рейтинг ответа:

0

[подробно]

Сообщение
модераторам

Отправлять сообщения
модераторам могут
только участники портала.
ВОЙТИ НА ПОРТАЛ »
регистрация »

Возможность оставлять сообщения в мини-форумах консультаций доступна только после входа в систему.
Воспользуйтесь кнопкой входа вверху страницы, если Вы зарегистрированы или пройдите простую процедуру регистрации на Портале.

Яндекс Rambler's Top100

главная страница | поддержка | задать вопрос

Время генерирования страницы: 0.15280 сек.

© 2001-2020, Портал RFPRO.RU, Россия
Калашников О.А.  |  Гладенюк А.Г.
Версия системы: 7.82 от 22.02.2020
Версия JS: 1.35 | Версия CSS: 3.37