VALAR Grabber

Новейший граббер новостей для CMS DataLife Engine, работает как отдельная система. Владея хоть какими то познаниями PHP и HTML Вы можете обучить данный скрипт грабить анонсы с всех веб-сайтов, на всех движках. Он просто устанавливается и изменяется

Граббер дозволяет получать контент с большинства DLE-сайтов (не используя RSS), а приобретенный контент
можно применять на любом веб-сайте, независимо от того, базируется он на пользующейся популярностью CMS либо на самописном скрипте.
Данную систему можно обучить парсить анонсы с хоть какого веб-сайта, владея исходными способностями PHP и HTML.

[*] Упругость - два режима работы.
>>Традиционный режим:
В этом режиме дистрибутив граббера копируется конкретно на Ваш веб-сайт.
Все что необходимо - указать тип применяемой CMS.
Приобретенные анонсы, опосля их доказательства, автоматом располагаются у Вас на веб-сайте.

>>Пакетный режим:
Сущность режима заключается в разделении процесса получения новостей от их прибавления.
Грабить анонсы вы сможете на собственном локальном сервере (для юзеров Windows непревзойденно подойдет набор denwer),
скрипт в этом режиме будет сформировывать особые пакеты (.php файлы), которые, потом, копируются на Ваш веб-сайт, где иная копия граббера их обрабатывает.
Достоинства данного режима:

[*]Возможность грабить огромное количество статей сразу, ежели этого не дозволяет делать Ваш хостинг;
[*]Если вы грабите длительное время с 1-го веб-сайта, в какой-то момент, Ваш IP на этом веб-сайте быть может просто забанен,
а ежели грабить с локального сервера - здесь Для вас на помощь прокси и/либо динамический IP.


[*] Функциональность.

[*]Поддержка авторизаций на сайте-источнике для получения частей, труднодоступных гостям;
[*]Поддержка мультиграббинга (одновременное внедрение одной копии граббера для работы с обилием источников)
[*]Возможность получения новостей определенной категории либо всех новостей, публекуемых на главной страничке;
[*]Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
[*]Возможность прибавления "случайных" дат при размещении новостей на Вашем веб-сайте (перемешивание новостей);
[*]Возможность проверки анонсы на неповторимость перед добавлением;
[*]Возможность поэтапного прибавления новостей на Ваш веб-сайт;
[*]Возможность автоматического определения категории анонсы по её содержимому (при помощи шаблонов);
[*]Возможность автоматического прибавления "подписей" в анонсы, где можно указать веб-сайт, к примеру, сайт-источник либо ключевики;
[*]Возможность цензурирования новостей (подмены либо удаления текста по четким совпадениям либо шаблонам);
[*]Возможность "чистки" HTML-кода анонсы (начиная от удаления html-комментариев, заканчивая удалением ненадобных конструкций);
[*]Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов);
[*]Возможность синонимизации текста при помощи Гугл Translate;
[*]Возможность прибавления (в том числе и загрузки на сервер в 2-ух режимах) потоковых видео (IMDb) с замещением flash-проигрывателя;
[*]Возможность загрузки картинок на сервер (с возможностью сортировки в различные папки по дате, титулу...);
[*]Возможность наложения водяных символов на загружаемые рисунки;
[*]Возможность расшифровки DLE ссылок (./engine/go.php);
[*]Возможность использования прокси-сервера для соединения с сайтом-источником;

[*]Возможность адаптирования скрипта под веб-сайты, которые имеют неординарную HTML-структуру;
[*]Возможность сохранения перечня крайних спарсенных веб-сайтов;
[*]Возможность уменьшения картинок на уровне самих файлов либо HTML-кода;
[*]Возможность прибавления новостей от случайного создателя из перечня; покажется в новейшей версии
[*]Возможность прибавления, как мы привыкли говорить, meta-данных (ключевиков и описание) в последующих режимах: покажется в новейшей версии
а) парсинг конкретно с сайта-источника;
б) при помощи автоматической системы получения ключевиков через анализ контента;
в) по своим шаблонам;
[*]Наличие всепригодного модуля загрузки файлов: он может также употребляться для загрузки хоть какого типа файлов (будь-то .swf flash-ролики и/либо .rar архивы)
[*]Наличие встроенного редактора новостей;
[*]Наличие встроенного онлайн синонимизатора (для проверки баз);
[*]Наличие всепригодного конвертора формата текстовых баз синонимов;
Также почти все другое...

* - На, как всем известно, неких DLE (ну и не только лишь) веб-сайтах стоит анти-спам защита (ограничение количества воззваний с 1-го IP в период времени). Данный скрипт имеет опцию ограничения количества как бы одновременных запросов с указанием интервала для паузы. Что, естественно, наращивает время граббинга, но все таки оставляет его автоматическим даже на веб-сайтах с анти-спам защитой.
Данная функция также быть может полезна, ежели на Вашем хостинге отключена обычная функция снятия ограничения времени выполнения скрипта.
(на большинстве серверов она по понятным причинам как раз отключена). В данном случае, обычно, вылетает ошибка 403 (Forbidden).

[*] Оптимизация.
Работа с граббером очень нацелена на оптимизацию. Все конфиги размещены в отдельной директории и очень документированы. С моей стороны гарантируется помощь в опции системы.

[*] Надеждый принцип работы.
Весь приобретенный контент хранится в директориях скрипта и быть может применен при повторном запросе на получение тех же статей.
Это чрезвычайно полезно, ежели размер получаемого контента большенный, - ведь в данном случае возобновление работы
опосля хоть какого сбоя не представляет заморочек, довольно по-новому указать исходную и конечную странички,
а скрипт сам обусловит какие из статей уже получены, а какие предстоит сграбить.

[*] Расширяемость.
С граббером поставляется и документация к нему с описанием функций и структуры. Главные его элементы тщательно закомментированы и
размещены в отдельных библиотеках, что дозволит улучшить либо расширить
функционал скрипта даже начинающему программеру. В граббер, также, встроен обычный, но удачный механизм подключения
собственных модулей по обработке контента.


[*] Сохранность.
Граббер имеет интегрированный механизм авторизации для ограничения доступа к скрипту.
Данную функцию можно включить и выключить в хоть какой момент.

[*]Полный дистрибутив скрипта с открытым начальным кодом и документацией;
[*]Следующие драйвера:

[*]DLE 7.x / 8.x
[*]IPB
[*]SMF
[*]WordPress
[*]phpBB 3.0.x
[*]LiveStreet
[*]Joomla
[*]Конвертор новостей в текстовые файлы
[*]Универсальный драйвер удаленного импорта новостей для веб-сайтов, на которых нельзя расположить собственный посторонний php код (к примеру, ucoz)

Скачать: