Дорген Indigo — многопоточный генератор дорвеев на основе парсинга выдачи

Предлагаю вашему вниманию новую разработку — дорген, который создает дорвеи на основе выдачи поисковых систем. Дорген генерит доры на компьютере и сразу же заливает их на сайт, где будет размещен дорвей. Дорген генерит доры в формате html, по этому для доров созданных на данном доргене подойдет любой хостинг. Дорген называется Indigo. На дату этого поста последняя версия дорега — 1.22 (Indigo v1.22).

Что умеет дорген Indigo

В текущей версии, генератор сайтов дорвеев умеет парсить картинки одновременно из 2-х поисковиков: с Google и с Bing. При этом еще и с Google Картинки парсится и реальное описание картинок. В итоге на каждой странице дора можно вывести 20 картинок спарсенных по кею с гугла и 20 картинок спарсенных из бинга + 20 реальных описаний (подписей под картинками) к картинкам с гула. В новых версиях, думаю, количество источников парсинга картинок будет расширено.

Кроме этого, дорген Indigo на данный момент умеет парсить текстовку сразу с трех поисковых систем: с Google, Yandex и Bing. При этом в шаблоне дора можно вывести по отдельности каждую часть спарсенного:

• 10 названий снипетов спарсенных по кею с поисковика гугл,
• 10 непосредственно снипетов с гугла,
• + на этой же странице дорвея можно вывести 10 названий снипетов и 10 снипетов спарсенных с яндекса по кею
• + тут же можно вывести еще и 10 названий снипетов и 10 снипетов спарсенных с поисковика бинг по кею.

В итоге, дорген Индиго, позволяет на каждой странице дора вывести тематические (спарсенны по кеи) следующее:

• 40 картинок (спарсенных с двух разных источников);
• 20 описаний картинок;
• 30 названий снипетов (спарсенных с 3-х разных источников);
• 30 тематических снипетов (спарсенных по кею с трех разных источников).

И эта особенность доргена Indigo является пожалуй наиболее важной, по крайне мере лично для меня. Другими словами Indigo позволяет выводить на одной странице дорвея сразу контент спрасенный с разных источников. Я давно ждал такой возможности от доргена LSD (но LSD перестал развиваться и его автор вообще пропал куда-то.). Нет такой возможности и в доргена SED и в Шторма., даже в новом доргене SeoDOR нет такой возможности. Вообще-то, я и не слышал что бы какой либо дорген такое умел делать. Все доргены, основаны на парсинге поисковой выдачи (парсится может много поисковиков), но для формирования страницы дора используют материал спарсенных с какого то одного поисковика или источника: или с гугла или с бинга или с яндекса и т. д. А вот Indigo может формировать каждую страницу дора на основе спарсенного сразу со всех поддерживаемых источников и вывести все это на странице дора.

Пример готового дора на Indigo

Что долго не ходить вокруг да около, сразу показываю какие доры создает дорген Indigo:

Пример 1 — дорвей на Индиго
Пример 2 — дорвей на Индиго
Пример 3 — дорвей на Индиго
Пример 4 — дорвей на Индиго

 

Кратко о функционале доргена Indigo

• Дорген поддерживает многопоточность.
• Дорген написан на php и работает как консольное приложение. Точнее под OS Linux дорген работает как php-скрипт, а под OS Windows — как консольное приложение (логирование хода процесса выводится в консоль).
• Для работы доргена на Windows не требуется денвера или других сторонних программ — все необходимое идет в комплекте с доргеном.
• Дорген может работать через socks5 прокси (как парсинг выдачи так и заливка на FTP). Имеется также встроенный прокси чекер.
• Дорген может генерировать листы URL (для последующего проспама дора) в формате html и в формате bb. На все доры генерируется общий лист с URL (для дальнейшей обработки в kwk).
• Все конфигурации доргена задаются в файле настроек. Важно: вэбинтерфейс отсутствует.
• Во время работы доргена создает малую нагрузку на процессор.
• В доргене имеется встроенных механизм пинга созданных дорвеев.
• Дорген позволяет использовать многоуровневые шаблоны с любым уровнем вложения папок.
• Дорген позволяет сохранять дорвеи локально на винчестер в одноименную с дорвеем папку, размещенную в папке /dor доргена.

Установка и запуск доргена Indigo

После приобретения доргена, вам необходимо распаковать его на ваш диск C. Потом скопировать папку usr из доргена в корень диска С. Далее, вам необходимо настроить сам дорген. Все настройки производятся в файле taskProjectSettings.cfg (для редактирования — открываем файл в NotePad++).

Настройки файла taskProjectSettings.cfg

В блоке #0 указываем режим генерации. То есть если генерить хотим по шаблону, то указываем dorgenWorkMode=parsCustomTemplate.

В блоке #1 — ваша ссылка слива на партнерку.

В блоке #2 указываем пинговать страницы или нет. Я указываю нет, то есть ping=0.

В блоке #3 я указываю prefixURI=translit.

В блоке #4 задаем количество страниц, создаваемых на доре. Я указываю обычно dorwayPagesCount=333|666.

В блоке #5 указываем куда генерировать дорвей — сразу заливать на FTP не сохраняя локально или же сохранять локально. Так как я делаю доры на своих доменах, то я указываю сохранять локально saveDest=local.

В блоке #6 указываем использовать ли прокси для заливки дора по FTP. Для фрих надо бы заливать через соксы, но я делаю на своих доменах по этому указываю enableProxy=no.

В блоке #7 указываем использовать ли прокси для парсинга. Тут по желанию. Я пока без прокси использую enableHttpProxy=no.

В блоке #8 указываем список шаблонов поисковых запросов. Тут править только опытным пользователям ).

В блоке #9 задаем префиксы для тайтлов дорвея, так называемые пре-тайтлы через символ |.

В блоке #10 указываем что выводить на главной, что подгружать во фрейме. Так как я не накрываю дор фреймом то не использую эту настройку.

В блоке #11 задаем шаблоны тайтлов через |. Дорген рандомно берет один из вариантов.

В блоке #12 задаем способ обработки ссылок на спаршенной странице. Я удаляю все ссылки, указываю replacePageLinkRulle=removeAll.

В блоке #13 задаются интервалы между загрузками файлов потоком. Стоит у меня по дефолту uploadFilesDellay=0-0.

В блоке #14 формат url с которых дорген парсит картинки с гугла. Тут вы можете настроить все под себя: например парсит только на немецком или только на украинском, или прусском или английском и т. д. Просто нужно вписать правильный формат ссылки. Если вписано несколько вариантов ссылок, то дорген каждый раз берет рандомно одну из них (одну строку). Как у меня стоит увидите сами после покупки, там у меня их много и нет смысла сюда все выписывать.

И т. д. В файле настроек сами все увидите и, думаю, поймете как настроить.

По мере развития доргена буду добавляться новые настройки в файл настроек.

Далее не забываем добавить ваши ключевые слова для дорвея в файл keywords.txt.

Так же не забываем настроить шаблон для дора в папке tpl. Об этом напишу отдельно.

Потом не забываем прописать данные доступа к FTP для каждого генерируемого дора в файле ftpAccounts.txt в формате:

domen.com|login|password|ftp-server|ftp-path

Ну собственно и все.

Что бы начать генерить дор запускаем файл dorgen_start.bat.
Что остановить — запускаем файл dorgen_stop.bat.

Шаблоны для дорегна Indigo

Шаблон создается как все шаблоны под доргены. Берем html файл — расставляем макросы (метки) и все. Имя файла шаблона должно быть template.html.

Один из шаблонов сделан как шаблон для демонстрации вывода меток, что бы вам было легче понятно как создавать самим шаблоны под дорген Indigo.

Макросы (Метки) в доргена Indigo

[KEYWORD] — ключевое слово страницы (совпадает с кейвордом страницы по которому осуществляется парсинг контента (картинок и снипетов)). Кейворд берется из списка кеев, выбранных случайным образом из списка в файле keywords.txt для генерации каждой страницы дора. Данная метка заменяется одним и тем же кейвордом на всей странице. Например: «скачать бесплатно реферат»

[BKEYWORD] — кейворд страницы с Большой буквы. Например: «Скачать бесплатно реферат».

[KEYWORD_TRANSLIT-0] — кейворд страницы в транслите без лишних символов (пробелы и спец символы (!»№;%:?*(){}[]’»>< и т д) заменяется на «-«). Например: «skachat-besplatno-referat».

[KEYWORD_TRANSLIT-1] — кейворд страницы в транслите со всеми символами. Например: «skachat besplatno referat».

[BKEYWORD_TRANSLIT-0] — кейворд страницы в транслите без лишних символов с большой буквы. Например: «Skachat-besplatno-referat».

[BKEYWORD_TRANSLIT-1] — кейворд страницы в транслите со всеми символами с большой буквы. Например: «Skachat besplatno referat».

[RANDKEYWORD_TRANSLIT-0]— случайный кейворд в транслите без лишних символов. Например: «rasprodazhi-v-evrope-zimoj».

[RANDKEYWORD_TRANSLIT-1]— случайный кейворд со всеми символами. Например: «abonement v solyarij kupon».

[RANDBKEYWORD_TRANSLIT-0]— случайный кейворд в транслите без лишних символов с большой буквы. Например: «Skidki-rasprodazhi-m-ulica-podbelskogo».

[RANDBKEYWORD_TRANSLIT-1]— случайный кейворд со всеми символами с большой буквы. Например: «Vidi torgovix skidok».

[RANDKEYWORD]— замещается разными (в отличае от тега [KEYWORD]) случайными кейвордами из списка отобранных случайным образом для генерации данного дорвея. Например: «оптика очки скидки».

[RANDBKEYWORD]— случайны кей с большой буквы. Например: «Акции и скидки м видео».

[RANDURL] — выводит URL случайной страницы. Например: «skachat-kursoviyu-versiya1-9-100.html».

[RANDLINK] — выводит ссылку случайно страницы с анкором.

[DESCRIPTION] — помещается в Html-загловок и заменяется случайно-выбранным сниппетом из старницы поиска спарешенной по кючевому слову страницы.

[SITE] — метка заменяется названием домена, на FTP которого генерируется дорвей. Например: «site.ru».

[MAP] — линк на xml карту сайта.

[AURL] — URL текущей страницы. Например: «skachat-besplatno-referat.html».

[RANDNICK] — случайным образом сгенерированный никнейм (латинский алфавит).

[BRANDNICK] — случайным образом сгенерированный никнейм (латинский алфавит) с большой щаглавной буквы.

[RAND_RUNAME_MALE_EN] — случайным образом выбранное русское имя (латинский алфавит).

[RAND_ENNAME_MALE_EN] — случайным образом выбранное зарубежное имя (латинский алфавит).

[RAND-x-y] — случайное число из заданного диапазона. Например если [RAND-10-20], то выведет случайное число между 10 и 20, например 17. Если [RAND-666-9999], то выведет случайное число между 666 и 9999, например 912 или 1823 и т. д.

[RANDLIST_FROM_FILE-Путь к файлу] — случайная строчка из .txt файла, указанного в макросе. Например [RANDLIST_FROM_FILE-c:\indigo_v1.2\date\anekdotu.txt] — вставить случайную строку из файла anekdotu.txt.

[RANDLIST_FROM_FILE-x-y-Путь к файлу] — указанное количество случайных строчки из .txt файла, указанного в макросе. Например [RANDLIST_FROM_FILE-3-10-c:\indigo_v1.2\date\anekdotu.txt] — вставить случайное количество строк из файла anekdotu.txt. При этом количество вставляемых строк будет в диапазоне от x до y. В данном примере в диапазоне от 3 до 10 строк — каждый раз по разному (При каждой итерации обработке данного макроса).

[{Вариант 1|Вариант 2|Вариант 3|…|Вариант N}] — вывод в любом месте разных вариантов своего текста, включая макросы. Внутренние макросы пока не поддерживаются.

[REPEAT-x-y][/REPEAT] — позволяет повторять часть кода определённое число раз. Например, [REPEAT-5-10]Привет![/REPEAT] выведет текст «Привет!» 7 раз: «Привет!Привет!Привет!Привет!Привет!Привет!Привет!».

[LINKS] — данная метка заменяется блоком ссылок на страницы второго уровня генерируемого дорвея по 4-9 ссылок на блок.

[LINKS-x-y] [A][/LINKS] — выводит заданное в указанном диапазоне количеств ссылок. Где [A] непосредственно сама ссылка. Например:
[LINKS-3-5]

<p>[A]</p>

[/LINKS]
выведет:

<p><a href=»skachat-kursoviyu.html» title=»Скачать курсовую»>Скачать курсовую</a></p>

<p><a href=»skachat-referat.html» title=»Скачать реферат»>Скачать реферат</a></p>

<p><a href=»skachat-diplom.html» title=»Скачать диплом»>Скачать диплом</a></p>

<p><a href=»skachat-knigu.html» title=»Скачать книгу»>Скачать книгу</a></p>

<p><a href=»skachat-jurnal.html» title=»Скачать журнал»>Скачать журнал</a></p>

== Старые метки. Метка из прошлых версий доргена — я ее не использую уже. ==
[SERP] — метка замещается блоком текста, состоящим из перемешанных случайным образом снипеетов и заголовков сниппетов, предварительно очищенных от html-тэгов. Метка из прошлых версий доргена — я ее не использую уже.

[IMAGE1] — метка формируется из постоянной части [IMAGEx], где на месте x вставляется порядковый номер изображения в выдаче googleimage в диапазоне от 1-20. Примеры меток [IMAGE1], [IMAGE8], …, [IMAGE20]. Метка из прошлых версий доргена — я ее не использую уже.

[SNIPPET_TITLE] — метка заменяется на тайтл сниппета, спаршенного из выдачи (шаблоны запросов задаются в файле с расширением .cfg), аналогично меткам IMAGE и VIDEO имеет цифровой индекс. Примеры меток [SNIPPET_TITLE1], [SNIPPET_TITLE8], SNIPPET_TITLE10]. Максимальный цифровой индекс определяется количеством снипентов на странице поисковой выдачи (~+/-3), в случае отсутствия снипета с таким номером — берется случайны тайтл сниппета. Метка из прошлых версий доргена — я ее не использую уже.

[SNIPPET_BODY] — аналогичная предыдущей по особенностям использования метка, для текста сниппета. Метка из прошлых версий доргена — я ее не использую уже.

== /Старые метки. Метка из прошлых версий доргена — я ее не использую уже. ==

Вместо них я использую:

[IMAGE_G-1], …, [IMAGE_G-20] — вывод полного url на спарсенную из googleimage картинку.

[IMAGE_G_SNIPP-1], …, [IMAGE_G_SNIPP-20] — вывод текста под картинкой, спарсенного вместе с картинкой из googleimage.

[IMAGE_B-1], …, [IMAGE_B-20] — вывод полного url на спарсенную из bing.

[SNIPPET_TITLE_G_1], [SNIPPET_TITLE_G_2], …, [SNIPPET_TITLE_G_10] — тайтл сниппета спарсенного по кею из Google.

[SNIPPET_BODY_G_1], [SNIPPET_BODY_G_2], …, [SNIPPET_BODY_G_10] — сам снипет спарсенный по кею из Google.

[SNIPPET_TITLE_Y_1], [SNIPPET_TITLE_Y_2], …, [SNIPPET_TITLE_Y_10] — тайтл сниппета спарсенного по кею из Яндекс.

[SNIPPET_BODY_Y_1], [SNIPPET_BODY_Y_2], …, [SNIPPET_BODY_Y_10] — сам снипет, спарсенный по кею из Яндекс.

[SNIPPET_TITLE_B_1], [SNIPPET_TITLE_B_2], …, [SNIPPET_TITLE_B_10] — тайтл снипета, спарсенного по кею из Бинга (Bing.com).

[SNIPPET_BODY_B_1], [SNIPPET_BODY_B_2], …, [SNIPPET_BODY_B_10] — сам снипет, спарсенного по кею из Бинга (Bing.com).

[VIDEO1], [VIDEO2], …, [VIDEO20] — метка замещается на хэш видео с youtube, дополняется номерами от 1-20.

.

Купить дорген Indigo

Стоимость доргена Indigo составляет $40.

Для покупки, вам необходимо связаться по ICQ 620053391

И сообщить, что вы от moneySEO и хотите приобрести дорген Indigo
.

.

Спасибо за внимание. Все вопросы прошу задавать в комментариях к этому посту.
.

.