1. Внимание! Пользователи форума Null-Prog.ru, сейчас на сайте идёт полное реорганизация. По просьбам большинства, постепенно вводится внутренняя валюта сайта для покупки VIP контента ПОШТУЧНО! В связи с чем ближайшие 4 дня могут быть перебои в работе, недоступность (кратковременная) сайта. Если сейчас УЖЕ вам нужен какой либо контент, обращаемся в личку. Все, купившие VIP ранее, сохраняют свой статус и их эти новшества никак не затрагивают. Касательно использования валюты, будет мануал позже. Спасибо за понимание. 

    Скрыть объявление
  2. На нашем форуме Null-Prog действует серьёзное правило касательно размещения материалов!

    ДЛЯ РЕЛИЗЁРОВ: категорически запрещается выкладка материалов на файлообменники типа Deposit, letitbit и другие, требующие просмотров рекламы, обрезающие скорость и тд. Нарушителям, первые 2 раза предупреждения, далее БАН. Тему по этому поводу можно посмотреть ТУТ

    Скрыть объявление
  3. В тестовом режиме на нашем форуме открыт онлайн конструктор сайтов. Вы можете попробовать создать свой сайт у НАС, интуитивно понятный интерфейс, переведёт на 95%, быстрый экспорт проекта, от вас только перетаскивать элементы и вставить в них необходимый текст!

    Все вопросы ТУТ

    Скрыть объявление

  4. Скрыть объявление
  5. Уважаемые форумчане, открывается новый раздел форума, посвящённый ремонту и эксплуатации автомобилей. Просмотреть его можно ТУТ

    Так как раздел новый, информация будет пополнять каждый день. Если есть какие либо замечания по этому разделу, отписываемся в соответствующий раздел форума, либо в личку.

    Напоминаю, сообщения в разделе АВТО не учитываются, общение не ограничено.

    Скрыть объявление
  6. Объявляется набор Модераторов на различные раздел форума, свои заявки можно оставлять в ЭТОМ разделе, перед оставлением заявки рекомендуется ознакомиться с ПРАВИЛАМИ для модераторов.

Модуль Парсер товаров для ShopCMS

Тема в разделе "Модули", создана пользователем Sam Jack, 12 май 2015.

  1. Sam Jack

    Sam Jack Капитан-Узурпатор
    Команда форума Созидатель

    Регистрация:
    5 май 2015
    Сообщения:
    12.033
    Симпатии:
    2.449
    Для движка ShopCMS версии 3.0.0 и выше
    Модуль Парсер товаров для ShopCMS автоматически загружает в каталог товары с других интернет-магазинов или каталогов. Модуль парсит каталоги Яндекс.Маркет и МаркетГид. Используя этот мощный инструмент, вы сэкономите огромное количество времени, уходящее на заполнение магазина товарами.
    Основные возможности парсера товаров ShopCMS:
    * парсинг названий, описания, веса и стоимости товаров. Если позволяет дизайн сайта-источника, можно разделять краткое и полное описание. Фильтрация HTML-кода с помощью настраиваемого списка тегов. Обрезание описаний до или после вхождения заданных строк.
    * загрузка изображений товара. К каждому товару парсер загружает все его найденные изображения, для каждого автоматически генерируя уменьшенные версии (ограничения на размер фотографий настраиваются).
    * парсинг Meta тегов description и keywords.
    * режим обновления цены - изменение только стоимости товаров. Также задается коэффициент изменения цены, который можно использовать для ценовой надбавки или перевода курсов валют.
    * режим дополнения описаний - добавляет к товарам Вашего каталога отсутствующую информацию, такую как фотографии, описания или вес.
    * парсинг через прокси-сервер
    * режим парсинга по крону (не нужно держать открытым окно парсера)
    * многопоточная загрузка - позволяет значительно ускорить парсинг, особенно при загрузке товаров с несколькими изображениями.
    * настраиваемые cookies - позволяют, например, задавать географический регион при парсинге Яндекс.Маркета или авторизоваться на некоторых сайтах
    Парсер интегрирован в панель администрирования ShopCMS, работает с использованием AJAX-интерфейса. Во время парсинга нужно держать открытой страницу админки, где в интерактивном режиме отображаются результаты работы:
    Вы можете самостоятельно "нацеливать" парсер на нужный сайт: достаточно загрузить через админпанель соответственный файл настроек и добавить ссылки, с которых парсер начнет обход сайта. При наличиии базовых знаний разметки HTML вы можете сами настроить шаблоны на любой сайт-цель:
    Основные системные требования к серверу для работы парсера товаров:
    * PHP 5
    * Библиотека PHP iconv
    * Библиотека PHP GD
    * Поддержка функций curl
    * Лимит на время выполнения скриптов - не менее 15 секунд
    Установка:
    1. В админ-панели: Настройки=>Общие настройки.
    - Поставить галочку "Принудительная очистка кэша"
    Сохранить настройки
    2. Загрузить файлы (добавить):
    core/includes/admin/sub/modx_parser (папка и ее содержимое)
    core/includes/admin/sub/modules_prod_parser.php
    core/tpl/admin/prod_parser.tpl.html
    data/admin/modx_parser.js
    data/admin/jquery.min.js
    data/admin/modx_menu.js
    data/admin/modx_menu.css
    data/admin/modx_menu_ie-fix.css
    data/admin/modx_parser_module.js
    parser_cron.php
    3. Отредактировать файл core/includes/admin/modules.php
    Найти строку:
    array("id"=>"yandex", "name"=>"Яндекс.Маркет" )
    Добавить перед ней строку:
    array("id"=>"prod_parser", "name"=>"Парсер товаров"),
    4. Отредактировать файл core/tpl/admin/menu.tpl.html
    Найти строку:
    Код:
    <table class="adn topj"><tr><td><img src="data/admin/drs.gif" alt=""></td><td width="100%"><a href="{$smarty.const.ADMIN_FILE}?dpt=custord&amp;s ub=affiliate">{$smarty.const.STRING_AFFILIATE_PROG RAM}</a></td></tr></table>
    Добавить после нее строку:
    Код:
    <table class="adn topj"><tr><td><img src="data/admin/drs.gif" alt=""></td><td width="100%"><a href="{$smarty.const.ADMIN_FILE}?dpt=modules&amp;s ub=prod_parser">Парсер</a></td></tr></table>
    5. Задать все права на запись (777 для папок, 666 для файлов):
    core/includes/admin/sub/modx_parser/parser.dat
    core/includes/admin/sub/modx_parser/logfile.dat
    core/cache
    data/big
    data/medium
    data/small

    6. Проверить, открывается ли модуль парсера
    7. В админ-панели: Настройки=>Общие настройки.
    - Снять галочку "Принудительная очистка кэша"
    Сохранить настройки
    8. ТОЛЬКО если нужна возможность работы через крон:
    - открыть файл parser_cron.php, задать в параметре "MODX_SITE_ROOT" адрес своего
    сайта, на котором установлен парсер
    - настроить, если нужно, другие параметры в parser_cron.php
    - поставить на крон задание:
    */2 * * * * /usr/bin/php parser_cron.php > core/temp/cron.log
    Уточните путь к php на своем хостинге - он может отличаться от "/usr/bin/php".
    Вместо parser_cron.php и core/temp/cron.log должны быть АБСОЛЮТНЫЕ пути к этим файлам.
    Инструкция по использованию модуля:
    В админпанели ShopCMS модуль находится в разделе Модули=>Парсер товаров
    Подготовка к работе
    Одновременно можно парсить только один сайт. Перед парсингом нового сайта нужно загрузить настройки шаблонов из файла настроек: внизу модуля парсера есть раздел "Экспорт/Импорт шаблонов" с полем для загрузки файла. В архиве с модулем в папке templates можно найти шаблоны для Яндекс.Маркет и МаркетГид. Далее нужно добавить точки входа - ссылки на разделы целевого сайта, товары из которых нужно парсить. Парсер после запуска зайдет на каждый URL точки входа, и перейдет дальше по всем найденным ссылкам на товары и следующие страницы в постраничной разбивке. К каждой точке входа привязывается одна из категорий Вашего каталога,куда будут добавляться отпарсенные из этой точки входа товары. Можно назначать несколько точек входа на одну и ту же категорию каталога.
    Парсинг
    1) нажать кнопку "Открыть окно парсера"
    2) в окне парсера снять галочку "Тестовый режим" (иначе товары не будут
    добавляться в ваш каталог)
    3) нажать кнопку "Начать"
    4) не закрывать это окно, пока не закончите парсинг. Если по каким-то причинам окно преждевременно будет закрыто, можно потом продолжить парсинг с последней точки, нажав кнопку "Продолжить" Товары создаются парсером неопубликованными, для их отображения на сайте нужно включить товары через админпанель.
    Изображения
    Автоматически генерируются уменьшенные копии изображений товаров (в ShopCMS они называются "Изображение A-C"). Для каждого измерения (ширина/высота) устанавливается максимальное значение в точках (пикселях).
    Можно также жестко приводить фотографии к заданному размеру, но при этом лишняя часть фотографий будет обрезаться - для этого в настройке "Уменьшение фотографий" нужно задать режим "Уменьшать и жестко обрезать".
    Парсинг по cron
    После настройки всех параметров парсинга, не открывать окно парсера, а поставить галочку "Работа через cron" вверху модуля.
    Возле галочки будет отображаться прогресс парсинга. До первого результата возможно придется подождать
    1-2 минуты, если парсинг через крон правильно настроен соответственно инструкции.
    При парсинге через cron админку держать открытой необязательно.
    Если снять галочку "Работа через cron" и снова поставить ее, парсер начнет заново с точек входа. Во время парсинга настройки парсера менять не рекомендуется.
     
    #1 Sam Jack, 12 май 2015
    Последнее редактирование: 4 мар 2016
  2. Don74

    Don74 Новичок

    Регистрация:
    25 мар 2016
    Сообщения:
    6
    Симпатии:
    0
    Нужен шаблон настроек для этого парсера. Кто сможет помочь в настройке ?
     
  3. АлексBF

    АлексBF Новичок

    Регистрация:
    12 апр 2016
    Сообщения:
    25
    Симпатии:
    10
    Обращайтесь))
     

Поделиться этой страницей

iHax Community
Рейтинг@Mail.ru Яндекс.Метрика мониторинг сайтов
Форум программного обеспечения/
Загрузка...