Блог Курского бомжа

Я недавно писал что заинтересовался парсингом контента. Копипаст вроде бы нормально живет в индексе, главное это дизайн и структура самого сайта.

После продолжительных поисков наткнулся на парсер конента под названием X-Parser, который меня сразу заинтересовал. Сейчас расскажу почему… Почти во всех известных и не очень парсерах происходит граббинг контента с одного сайта, например с каталога статей, таким образом у нас будет всего несколько сайтов в виде источника, а это палевно когда половина контента с сайта появляется на другом, да и жутко неудобно…

В X-Parser же есть такая функция как парсинг контента по ключевикам! Вы вбиваете нужные ключевики по тематике вашего сайта, они ищутся в поисковике и программа сама заходит на сайты в выдаче и парсит оттуда статью, причем объем ограничен только глубиной выдачи. Вот это и правда бездонный источник конента… Эта функция незаменима для доров (либ.ру и другие крупные бибилотеки уже по 100 раз все использовали, а тут неограниченное количество контента для дорвеев) и для сателлитов.

Так как изначально я искал парсер для сателлитов, то необходимо было удобство импорта сграбленного в CMS… Сказал об этом автору, и он тут же сделал экспорт контента под формат TextKit, все для клиента как говорится, любые ваши пожелания по функционалу будут учтены. Теперь можно в 2 клика мышки загрузить весь сграбленный контент в любую CMS. Также по-моей просьбе автор сейчас работает над парсингом тематических картинок и распределением их в тексте статей, когда это будет доделано обновления естественно бесплатны.

Но это я описал всего лишь функции которые незаменимы для меня, кроме них в X-Parser еще куча функционала, настоящий комбайн, который умеет:

1. Парсить выдачу любых поисковых систем по ключевым фразам сохраняя сниппеты и ссылки.
2. Парсить контент (текстовый) с любого сайта по заданному домену.
3. Парсить контент (текстовый) по ключевым фразам из выдачи любой ПС.
4. Парсить контент (текстовый) по заданному списку URLов.
5. Парсить внутренние ссылки с любого URLа в частности или сайта в целом.
6. Парсить внешние ссылки с любого URLа в частности или сайта в целом.

Также в комплекте Прокси чекер который сам собирает проски из свободных источников, проверяет их, оставляет рабочие и самые быстрые.

Парсер может работать через прокси и в несколько потоков, что позволяет парсить около 500мб текста в сутки!

Стоимость X-Parser составляет 80$ за весь комплект. Если вы говорите что узнали о нем от меня, то для вас он будет стоить на 10$ дешевле — 70$. Также возможна продажа отдельных модулей, но выгодней конечно будет купить комбайн целиком. На отдельные модули скидка будет 10% если говорите что вы от меня.

Учитывая что парсер постоянно развивается, лучше поспешить пока цена не выросла. Контента в выдаче хватит на всех:)

Посмотрев на форумы и блоги сегодня можно увидеть как куча людей ищут факторы за которые поисковики банят, факторы за которые поисковики накладывают фильтры, факторы за которые сайты попадают под АГС, но даже знание этих факторов не всех спасает… потому что видя детали мы не видим целого.

Я думаю во внимание стоит принимать один главный принцип – естественность сайта.

Не предпринимаете никаких искуственных способов раскрутки – ваш сайт развивается естественным образом. То есть  статьи пишите и добавляете вручную, не накручиваете количество страниц дублями, статьи пишите настолько интересные что на них ссылается много людей с естественными разными анкорами, статьи такие завлекающие, что посетители облазиют весь сайт, да еще и будут часто на него возвращаться, ну и некоторые другие вещи (да и в этих которые перечислил я не факт что все правильно назвал, не претендую на истину).

А если предпринимаете искуственные методы (покупка ссылок, прогоны, автоматическое добавление контента), это сразу видно. Будет ли естественным сайт на котором в один миг появилось 100 сатетй с полотнами текста без форматирования – конечно же нет. Если на нулевой сайт вдруг появились тысячи ссылок сразу, то это тоже неестественно. Если человек заходит на сайт и через 2 секунды покидает его, даже не перейдя на другую страницу, то тоже что-то здесь не так. И если раньше сайты с полотнами неформатированного скана жили, то сегодня Яндекс уже научился такое распознавать.

Какой выход? А выход прост – имитировать естественность. Зачем выискивать на форумах кучу факторов, которые еще могут оказаться и нерабочими. Составьте абстрактную модель белого сайта и постарайтесь чтобы ваш ГС (да даже дор) соответствовал этой модели, вот и все. К примеру статьи добавляются постепенно в разное время (живой человек пишет статьи ведь не ровно в 10 часов каждый день), статьи с разным форматированием, картинками, видео,  на каждую новую статью появляются ссылки (как будто люди на неё и вправду ссылаются) и так далее.

Стараясь полностью имитировать естественное развитие белого сайта, мы получим долгую и доходную жизнь нашего ГСа.

Я рассмотрел лишь малую часть признаков естественного сайта, так что чтобы составить полную картину придется подумать самим.

По просьбам читателей пишу руководство по созданию псевдо интернет-магазина под сапу (при помощи сервиса Sayts). Он предоставляет нам базу данных товаров с картинкой и описаниями.

По личным ощущениям, да и по инфе в блогосфере и на форумах сателлиты на популярных движках типа Wordpress банятся намного чаще чем на самописных, либо редких. В чем я и сам недавно убедился… Поэтому и сателлиты лучше делать на не таких попсовых движках как WP.

Магазины у нас будут на движке Shop-Script FREE,  его установка на самом деле не очень сложная.

Так как эта версия движка бесплатная, то по умолчанию в ней зашиты 2 ссылки на оффсайт, которые я оттуда выковырял, опробовав несколько манулов, и предоставляю вам уже готовый движок без копирайтов и лишних внешних ссылок!

1. Итак, для начала мы копируем все содержимое архива на наш хостинг (либо копируем архив и разорхивируем его прямо на хостинге, я так постоянно и делаю при помощи файлового менеджера CPanel).

2. Заходим по адресу http://сайт.ru/install.php и видим настройки подключения к MySQL базе данных(сама база создается на вашем хостинге):

Адрес базы не меняется почти всегда, остальные поля заполняются, также ниже на странице вводим желаемые логин и пароль администратора магазина, снимаем галочку “Заполнить базу данных магазина демонстрационными товарами” и жмем кнопку “Установить!”.

3. Магазин устновлен! Видим такую надпись:

Теперь удаляем файл install.php на хостинге и только потом переходим на главную страницу магазина.

4. В сервисе Sayts создаем новый магазин в разделе “Магазины”, советую добавлять несколько категорий сразу, так база для магазина напарсится намного быстрее. После её создания скачиваем базу данных по ссылке “Скачать SQL дамп для Shop-Script FREE”, получаем файл “shop.sql”.

5. Заходим в phpMyAdmin, выбираем слева нашу базу, жмем “Импорт”.

6. Импортируем нашу базу в виде файла shop.sql:

Обращаю внимание на кодировку! Она должна быть cp1251, а то получатся кракозябры вместо товаров!

7. Осталось скопировать картинки из архива images.rar на хостинг в папку products_pictures. Теперь магазин наполнен товарами и полностью функционирует!

8. Для уникализации магазина я бы советовал поменять стандартный текст на страницах “Доставка и оплата” и “О магазине” (меняется в админке магазина по адресу http://сайт.ru/admin.php) а также текст на главной странице (меняется в файле languages/russian.php).

9. Для установки сапы нужно:

  9.1. Скопировать папку сапы с длинным названием к корень сайта, поставить на неё права 777.

  9.2.  В файле “templates\tmpl1\index.tpl.html” вставить в любое место(лучше ближе к началу) код:

{php} <br />define('_SAPE_USER', 'xxxxxxxxxxxxxxxxxxxx); <br />require_once($_SERVER['DOCUMENT_ROOT'].'/'._SAPE_USER.'/sape.php'); <br />$sape = new SAPE_client(); <br />{/php}

ххххххххх конечно же заменить на свой код сапы

  9.3. В месте страницы где будут выводится ссылки вставляем:

{php} echo $sape->return_links(); {/php}

Готово!

Раскупаются ссылки на таких магазинах неплохо, интересует вопрос их долгожительства, который в данный момент проверяю, самый старый магазин у меня 19 марта появился в индексе, сейчас с сапой, и в индексе держится. Если и дальше будет хорошо жить, можно будет сделать побольше таких же.

Когда у вас 3-5 сайтов, то после каждого апа выдачи или апа тиц с удовольствием заходишь на сайты, смотришь показатели, проверяешь проиндексированность поисковиками, производишь так сказать ручной мониторинг сайтов.

Но когда сайтов уже больше десятка, или даже сотня, то мало того что в них можно запутаться, а проверять показатели и проиндексированность вообще замучаешься. Для мониторинга сайтов  давно придумали специальные скрипты и сервисы, чтобы упростить задачу.

Не буду рассматривать все варианты,а расскажу чем пользуюсь для этого я.

Но прежде хочется сказать о недостатках некоторых способов мониторинга.

1. Сервисы. Это всякие панели типа маулнет тулс, cy-pr (или pr-cy я в них путаюсь))) Если делать сетки сайтов, да еще каким-нибудь фирменным способом, то не очень хочется чтобы вся эта информация была в чужих руках.
2. Отдельные скрипты. Нужно запускать их через денвер, либо заливать на сервак, плюсов у них несомненно много, но минусы таковы: хорошие скрипты панелек мониторинга сайтов платные, да и заморачиваться с денвером неохота если хочешь использовать на локальной машине.

Попробовав все эти варианты, я выбрал третий вариант — мониторинг сайтов у меня осуществляет десктопная программа  XSEOChecker от Topper Harley.

Вся информация в программе представлена в виде таблиц:

По строкам домены, по столбцам параметры сайтов. Сайты можно распределять по группам, что я собственно и делаю, это удобно. Доры в одну группу, саты сделайнные одним способом в другую, саты сделанные другим способом в третью и т.д.

Измеряемые параметры настраиваются индивидуально, в том числе и для каждой группы, и те 5 параметров что видны у меня на скрине это всего лишь мой вариант в одной из групп, на самом деле параметров намного больше и вообще они подключаются в виде плагинов, которые вы можете написать хоть сами, либо попросить дописать автора.

Вот все плагины, описывать не буду, в принципе из названий понятно, если что посмоттрите на сайте автора.

В программе сделана очень удобная подсветка, как видно на скрине если параметр увеличился, что подсвечивается зеленым, если уменьшился – красным, если не изменился — желтым. Для двух доменов не так наглядно, но когда 20-50 доменов и 7 параметров в каждом, то поверьте это очень наглядно и сразу видны все подвижки.

Более того для каждого параметра хранится статистика изменений:

Проверять домены можно как пачкой и по всем параметрам, так и отдельные домены, так и отдельные параметры сразу для всех доменов, так и вообще отдельные ячейки. Так же можно поставить расписание проверок, и программа будет висеть в трее, через нужные промеждутки времени обновляя данные.

Промежуток между проверками задается вручную, так что можно поставить 7-10 секунд и не волноваться по поводу капч.

Ну и самое главное – что программа бесплатная, за что автору большое спасибо

Таким образом, мониторинг сайтов в программе XSEOChecker очень удобен, нагляден, быстр, и никому не палятся наши данные

Я уже ни один раз выводил домены из бана яндекса, методы ни у кого не подсматривал и не спрашивал, просто действовал по логике.

1. Самый простой случай – когда вы зарегистрировали новый домен (например дроп), а он оказался в бане яндекса. Ведь до регистрации никак не проверить… Тут все просто. Яндексоиды тоже люди и понимают, что если вы зарегистрировали новый домен то понятия не имели что там было раньше. Вы – жертва обстоятельств. Этим и пользуемся: вешаем на сайт малостраничник, либо вообще одностраничник (я только одностраничниками и выводил) и пишем Платону письмо примерно такого содержания “зарегистрировал новый домен, а он в бане, что мне делать??”, обычно отвечают через пару дней–неделю с положительным ответом и домен вскоре уже в индексе. Когда я регистрировал дропнутые домены с тиц10 это было как нельзя кстати, так как попадались и в бане яндекса.

2. Выкинули уже ваш ГС. Тут сложнее, так как вроде бы и вы виноваты, домен же ваш, а значит и ГС был ваш, а значит доверия к вам нету, но все решается тем же способом. Вешаем на домен однстраничник или малостраничник, пишем Платону. Вот тут уже у меня было 50 на 50, часть сайтов без проблем разбанивают, а часть нет.

Теперь еще 2 важных момента – это что размещать на заглушках-одностраничниках и в какой форме писать платону.

На первый вопрос четкого ответа нету, все зависит от вашей логики и фантазии. Что именно размещаю там я говорить не буду, а то еще перестанет работать=) Да и пробовал я всего один способ который сразу же заработал, может быть и другие будут работать, что в голове работников яндекса одному только ему и известно. Нужно просто поразмыслить с точки зрения естественности – почему страница всего одна и почему это яндекс должен её вывести из бана. Сайт из единственной странички со статьей “выращивание морковки” вряд ли кто разбанит, так как понятно для чего эта страничка создавалась…

На второй вопрос четкий ответ дам – пишите платону оригинально. Почему-то некоторым отвечают в течение пары месяцев, мне же ни разу не задерживали ответ более недели, хоть положительный, хоть отрицательный. Просто опять же представьте себя на стороне суппорта, приходит тысячи писем и на них надо ответить, часть из них со стандартными заголовками, часть не со стандартными, но с “продвинутыми” от всяких сеошников, которые уже наверно достали суппорт. А если у вас будет заголовок от ламера, ну можно помягче скачать “от простого непродвинутого человека”, да еще и с оригинальным заголовком, то это сразу попадется в глаза и письмо будет прочитано и отчечено. Вот такая простая логика, которая пока что не подводила.

Насчет вывода этими способами из под АГС пока ничего сказать не могу, так как не пробовал=) Написал насчет АГС всего по одному сайту, ответили как всегда быстро, но суть письма была “снимите сапу”))) Щас доход с этого сайта упадет сосем, сниму сапу, напишу еще раз и узнаем выводятся ли сайты из под АГС….

АП прошел вообще ппц Судя по панике на серче у людей повылетало куча СДЛ, на у сам недосчитался нескольких страниц в индексе:

Сателлиты с Sayts вылетели которые продавали ссылки, один еще был без сапы и живой пока что, в общем все вылеты продавали ссылки, это я думаю и есть основная причина.

Сайт в самом верху вообще СДЛ, но на нем было много дублированного контента, этот критерий уже и на прошлых АГС был известен.

Короче Яндекс вообще опупел Надо с этим что-то делать…

В прошлом посте я писал о том как можно за 5$ получить 1000—2000-3000 страниц в индексе яндекса.

Вот индексация на текущий момент пары моих первых сателлитов:

Сейчас же пошагово распишу весь процесс на примере создания сателлита на WordPress (если кого интересует создание фотогаллерей или магазинов, а у них получается самое большое количество страниц в индексе, то пишите в комментарии, и я напишу руководства по их созданию).

Делаем сателлит

1. Итак, регистрируемся на Sayts. В разделе Сателлиты жмем Создать новый. Вводим название, выбераем тематику и еще там сейчас ввели удобную функцию Начальная дата постов и Конечная дата постов. Ждем пока напарсятся посты (от нескольких часов до нескольких дней, хотя писали что переехали на новые серваки, может дело будет идти быстрее) и в итоге получим такое (кликабельно):

2. Скачиваем xml файл по ссылке WordPress. Также скачиваем программку TextKit FREE. Запускаем её, импортируем скачанный xml файл через Импорт > RSS (Atom) / Wordpress.

теперь мы можем расставить даты через раздел Автодата:

Так я расставлял даты когда еще не было такой функции в самом сервисе.

3. Теперь раскидываем все посты по рубрикам! Это штука очень нужная. Во-первых для хорошей индексации Яндексом и логичности сайта (не 1000 перемешанных постов, а например 10 рубрик по 100 постов). Во-вторых, для того чтобы сапа съела как можно больше страниц (подробнее об этом ниже). Вот как это выглядит:

Если тематика сайта – фильмы, то в качестве рубрик можно брать жанры фильмов, для других тематик думаю придумаете рубрики сами.

4. Теперь экспортируем посты с выставленными датами и раскиданные по рубрикам. Для этого жмем Экспорт > WordPress, путь к картинкам я удаляю, оставляя пустую строку. Хохраняем полученный xml файл.

5. Теперь у нас есть готовые посты, разбитые по рубрикам и с проставленными датами, кажется осталось совсем немного – импортировать этот файл в Wordpress, но не тут-то было. На хостинге даже на 1000 постов не хватает оперативной памяти! А если делаем сайт на 3000 или 5000 постов, то тем более ничего не получится. Сейчас напишу как решается эта проблема.

6. Устанавливаем Denwer, ставим на него Wordpress (инструкций как это сделать в интернете полно) либо используем любой уже ненужный блог на WP на денвере. Заходим на http://localhost/tools/phpmyadmin/ и выбираем нашу базу данных блога в меню слева.

7. Жмем значок корзины (то есть очищаем записи) напротив 4-х следующих таблиц:

8. Заходим в админку блога в Инструменты > Импорт > Wordpress, выбираем наш xml файл, который получили в программе TextKit, ждем пока не появится:

9. Опять заходим на http://localhost/tools/phpmyadmin/ , выбираем нашу базу данных и жмем Экспорт. Далее в списке таблиц снимаем выделение со всех и выделяем только 4 штуки:

И ставим сжатие gzip:

Сохраняем файл дампа *****.sql.gz

10. Заходим в phpmyadmin на вашем хостинге (где собственно и расположен сам сателлит). Жмем значок корзины (то есть очищаем записи) напротив 4-х следующих таблиц:

Выбираем нужную базу данных и жмем Импорт. Выбираем файл *****.sql.gz и импортируем его.

Заходим на блог и радуемся!

Как уберечь сателлит от АГС??

Одним из основных факторов попадания под АГС является дублированный контент. Значит надо от него сразу же избавиться. Устанавливаем плагин All in One SEO Plugin и ставим галочки напротив:

Напротив категорий тоже можно поставить, но я делаю другим методом. Ставлю еще один плагин под названием Evermore, который автоматом расставляет теги more в постах и получается что в разделах тех же категорий мы видим от поста либо только заголовок с картинкой, либо 1-2 предложения. Что думаю вряд ли сойдет за дублированный контент, это же не копии целых постов, зато сохраняет отличную перелинковку.

Еще советы чтобы не попать под фильтр или АГС:

• желательны домены с выдержкой, например я пару месяцев назад делал несколько сателлитов, заполнил несколькими новостями с рерайтом и забросил, сейчас же повесил на них сателлиты от Sayts и пока живут хорошо.
• перед добавлением в сапу тоже желательно подождать, если сайту суждено вылететь, то если вы сразу добавите его в сапу, все равно много не отожмете… а с хоть какой-то выдержкой у него будет больше шансов выжить в яндексе.
• убрать дублированнй контент, ну об этом уже сказал.

Добавление в сапу.

Хотелось бы еще сказать про добавление в сапу.

Как известно робот сапы берет с главной страницы сайта 500 ссылок, переходит по ним, и с этих страниц переходит максимум по 150 ссылкам.

И так как мы добавлили Рубрики на сателлит (штук 8-12 думаю оптимально, можно больше), то засунуть много страниц в сапу очень просто! Заходим в Настройки > Чтение и в параметре На страницах блога отображать не более ставим штук 100-150. Но это нужно делать всего лишь на пару часов! Перед добавлением в сапу сделали, после индексации в сапе поставили обратно. А то яндексу может не понравиться. Получается что робот сапы переходит в рубрики, а оттуда он увидит каждый пост.

Сейчас идет сапомарафон и несколько сателлитов для него я попробовал сделать через cервис автоматического создания сайтов Sayts.ru. Всего за 5$ мы получаем 1000 страничный сателлит.

Контент предоставляется награбленный, обрабатывается он каким либо образом или нет не знаю. Но все прекрасно знают что и копипаст сейчас живет прекрасно в индексе, взять те же варезники, сотни сайтов копируют друг у друга одинаковые новости и все счастливы.

Посмотрим примеры, которые предлагает сам сервис (зеленым – количество страниц в яндексе):

1. Пример Варезника на тему Фильмы на 1000 страниц. 9 страниц
2. Пример Фотогалереи автомобильной тематики на 1000 картинок. 3608 страниц
3. Пример Магазина с категории "DVD плееры и рекордеры" на 1000 товаров. 2206 страниц
4. Пример Форума категории Телевидение на 1000 постов. 181 страница

Как видно варезник съел АГС, потому что сделан он вообще тяп ляп… Форумы тоже индексируются фигово это всем известно. А вот 3608 или 2206 страниц в индексе за 5$ это очень даже неплохо! Конечно гарантий долгой жизни нам никто не дает, но даже эти сайты, которые уже давно лежат в паблике находятся в индексе.

Лично я делаю через этот сервис сателлиты на Wordpress, вот индексация одного из сайтов на 1000 страниц:

В сапу еще не добавлял, но такой нулевик без проблем может дорости до 20-30 рублей в сутки! Что окупит затраты меньше чем за неделю.

Сервис добывает контент, то есть это инструмент, а вот как им распорядиться и сколько на нем можно зарабатывать зависит только от вас.

Например скачать контент из раздела сателлиты можно для любой CMS:

Импортировать RSS вообще можно куда угодно.

Пошаговое руководство по изготовлению сателлита на Wordpress на несколько тысяч страниц с помощью Sayts, а также советы как не попасть под АГС напишу на днях! Так что подписывайтесь и следите за обновлениями!

А пока можете Зарегистрироваться в сервисе и посмотреть что да как и попробовать сделать пару сайтиков.

Как проверить В основной или сомнительной базе SAPE находится Ваш сайт? Я уже писал. Теперь расскажу о том как попасть в основную базу.

Последние несколько дней ставил эксперимент, связанный с этим. У меня есть один типа-варезник на DLE. Я добавлял его в сапу и удалял после модерации раз 5

Какие получились результаты?

1. Если сайт выглядит как ГС, то попасть в основную базу очень сложно… Но возможно! Из всех раз, которые я добавлял сайт, он попал в основную базу всего один раз. Модераторы тоже люди и их много, поэтому можно брать “на удачу”.

2.  Способ намного лучше – это придать легким движением руки сайту вид СДЛа. Для этого нужно всего-навсего взять ровненький шаблон, без всякого вылезающего дерьма. И если есть необходимость изменить шапку. У меня, например, в шапке был адрес какого-то левого сайта, наверное с того, откуда делали рип шаблона. Я поменял его на свой в фотошопе по быстрому. Еще был косяк в комментариях в шаблоне, так я вообще комменты отключил, неохота было возиться… Итог – ГС с первого раза в основной базе!

Скорость раскупки ссылок для сайта в основной базе существенно выше, чем в сомнительной. Хотя и сайты в сомнительной раскупаются потихоньку, хоть и не так быстро…

А тем временем Кемеровский раскрывает фишки: Сказ о том, как я заработал больше 5000$ на дейтинг-траффике.

C 1 марта запускается новый сапомарафон, или легкоатлетический забег саперов v.2

В прошлый забег я не попал, так как только начинал и был полным нубом. Сейчас хоть в сапе у меня и копейки, это как раз и будет мотивация увеличить доход до нормальных размеров.

Конечно же делать сателлиты сейчас намного сложнее, в связи с алгоритмами яндекса АГС, но зато бездумно пихать скан в wordpress и грести на этом бабло не получится, придется хоть немного пошевелить мозгами.

Условия марафона такие:

• ваш доход в сапе менее 400 рублей (можно завести новый акк специально для марафона)
• нужно зарегистрироваться в topsape
• для подтверждения участия и получения подробностей смотрите на официальную страничку объявления марафона

Для победы необходимо увеличить свой суточный доход на 1500р. То есть на старте все равны! Имеете вы доход 1 рубль или 399 в сутки – не важно. Учитываться будет только разница.

Текущий состав участников можно посмотреть тут: topsape.ru/marafon

Но я думаю их будет намного больше, так как страница обновляется вручную.

В течение марафона буду рассказывать как делаю сателлиты я, и какой из этого результат.

Так что всем участвовать!!!

UPD: Поставил в сайдбар индикатор участника марафона, думаю стоит поставить такой всем, как это сделать читайте у Сумасшедшего Русского.