1. Приветствую гостей и пользователей нашего форума! Первый раз вы у нас или же давно участвуете в жизни ресурса, хочу напомнить несколько моментов.

    1) Пользуемся поиском по форуму! Зачастую информация может находиться не по разделу!

    2) Раздел ИНФО-продуктов относительно новый, но имеем уже более 3000 высококлассных материалов (пользуемся сортировкой по прификсам).

    3) И самое важное, КАК КАЧАТЬ БЕЗ ОГРАНИЧЕНИЙ, вся информация находится по этой ссылке КУПИТЬ VIP

    4) Временная акция, получи +5 постов за вступление в нашу группу "Вконтакте" Более подробно ТУТ

    5) Веди активную жизнь на форуме и получай рубли на личный счёт!

    Скрыть объявление
  2. На нашем форуме Null-Prog действует серьёзное правило касательно размещения материалов!

    ДЛЯ РЕЛИЗЁРОВ: категорически запрещается выкладка материалов на файлообменники типа Deposit, letitbit и другие, требующие просмотров рекламы, обрезающие скорость и тд. Нарушителям, первые 2 раза предупреждения, далее БАН. Тему по этому поводу можно посмотреть ТУТ

    Скрыть объявление
  3. В тестовом режиме на нашем форуме открыт онлайн конструктор сайтов. Вы можете попробовать создать свой сайт у НАС, интуитивно понятный интерфейс, переведёт на 95%, быстрый экспорт проекта, от вас только перетаскивать элементы и вставить в них необходимый текст!

    Все вопросы ТУТ

    Скрыть объявление

  4. Скрыть объявление
  5. Уважаемые форумчане, открывается новый раздел форума, посвящённый ремонту и эксплуатации автомобилей. Просмотреть его можно ТУТ

    Так как раздел новый, информация будет пополнять каждый день. Если есть какие либо замечания по этому разделу, отписываемся в соответствующий раздел форума, либо в личку.

    Напоминаю, сообщения в разделе АВТО не учитываются, общение не ограничено.

    Скрыть объявление
  6. Объявляется набор Модераторов на различные раздел форума, свои заявки можно оставлять в ЭТОМ разделе, перед оставлением заявки рекомендуется ознакомиться с ПРАВИЛАМИ для модераторов.

Продажи парсера организаций Яндекс Карты (Справочника), 1 город в минуту*, без прокси, без API

Тема в разделе "Продам", создана пользователем orka13, 21 фев 2018.

  1. orka13

    orka13 Новичок

    Регистрация:
    21 фев 2018
    Сообщения:
    1
    Симпатии:
    0
    [​IMG]

    Шаблон нормально функционирует в многопотоке без прокси, но сама возможность подключения прокси реализована для желающих. Ему не нужны вспомогательные токены или логины Яндекс, просто запускаем и ждем результат. Все работает быстро без использования браузера (на Get-запросах), так что память почти не используется, основана нагрузка идет на CPU, так как происходит обработка сложных Json-ответов сервисов Яндекс. Именно под эту цель в шаблоне используется библиотека «Newtonsoft.Json».
    Можно задавать пустую фразу поиска (будет сбор без уточнения, Яндекс не все объекты выдает по такому ключу), и предел на 1 фразу у ЯндексКарт ~3000 результатов, при чем гарантировано Яндекс отдаёт только первые 500 результатов, остальные данные очень часто выдаются с ошибками, поэтому шаблон будет слать несколько повторных запросов, чтобы убедится, что достигнут предел. Так что здесь выход – или уменьшать площадь поиска, или просто использовать разнообразные фразы-ключи, под которые наиболее логично подходит список разделов Яндекс.Справочника (выдается в комплекте с файлами парсера).

    Используя приведенный выше метод получается за пару минут собрать практически все организации любого крупного города (все, кроме Москвы и Питера успевают спарситься за ~1 минуту). Например, у меня на 40 потоках такие результаты:
    1. Москва - 10 минут - 548 000 объектов
    2. Санкт-Петербург - 5 минут - 230 000 объектов
    3. Самара - 1 минута - 58 000 объектов
    4. Сочи - 1 минута - 27 000 объектов
    [​IMG]
    [​IMG]
    [​IMG]

    Видео с парсингом Самары:


    Для ознакомления выставляю тот файл с объектами Самары, что спарсило на видео. Там же и файлик Excel с импортом из этого файла (в «Excel > Данные > Из текста > Открыть»):
    Скачать файл-пример объектов Самары (13 Мбайт)


    Пока шаблон заточен под обработку в многопотоке с разными фразами только одного города за 1 запуск. Может в будущем придумаю алгоритм для одновременной обработки разных городов.
    Также, если нормально продажи пойдут и будет спрос среди покупателей, то организую возможность запуска «Проект в проекте».

    Насчет почт:
    С недавнего времени на Яндекс.Карты отключен показ email организации, но это не значит, что любителям рассылок шаблон не подойдет. Просто придется подключить мозги: в отчете нет почт, но есть главные сайты организаций, на которых в большинстве случаев выставлена та же почта, что была на Яндекс.Картах. В сети есть куча софта для парсинга, гуглите «Парсер email с сайтов», например, на той же зенки парни с Zenno.Pro шаблон-паук продают.


    Если у вас нет программы ZennoPoster для запуска данного шаблона, то можно легко (+10$ к цене) прикупить ZennoBox-версию (что такое ZennoBox), которая даст возможность запускать данный шаблон в 20 потоков, чего обычно хватает с головой. Только не забудьте указать при покупке что нужна именно ZennoBox-версия.


    Официальный топик с поддержкой запущен на Zennolab.
    Статус картинка с последней информацией, ценой и контактами моими (если картинки нет, то попробуйте в другом браузере открыть без блокировки рекламы):
    [​IMG]
     

Поделиться этой страницей

iHax Community
Рейтинг@Mail.ru Яндекс.Метрика мониторинг сайтов
Форум программного обеспечения/
Загрузка...