Чистка базы allsubmitter от мертвых ссылок

Пошаговое руководство как вычистить вашу базу allsubmitter’a от мертвых каталогов. Под мертвым я понимаю такой каталог, у которого даже нет главной страницы.

  1. сохранить свой блек лист в файл, чтоб не попортить
  2. экспортировать твою базу в txt
  3. полученный список скормить http://mosk.pijj.ru/get_urls.php (многие базы содержат всякий текстовой мусор)
  4. полученный список прогнать через http://mosk.pijj.ru/get_domains.php (получишь только доменный имена)
  5. сохранить в txt файл и импортировать в сабмиттер в отдельную категорию сняв все галочки в окошке импорта
  6. выделить все в этой категории и жмякнуть ссылочку “определить параметры сайта” количество потоков >40 (при 100 засирает два мегабита на так) и оставив только галочку “ответ сервера”
  7. ждем окончание работы
  8. сортируем результат по колонке “ответ сервера”
  9. все что отличается от 200 удаляем в блек лист
  10. чистим и удаляем эту нашу тестовую категорию (больше не понадобится) и
  11. жмякаем по ссылке “чистка каталогов” и из нашей базы удаляется все что есть в блек листе (т.е. наши не отвечающие сайты)
  12. восстанавливаем блек лист

Скачать скрипты get_domains.php, get_urls.php

P.S. пофиксил мелкий баг

comments | published опубликовано: Jun 10, 04:47 PM

#1 · Lesso
Aug 9, 01:07 PM

Ну и как Submitter? Нормальный результат даёт? Какую версию используешь?

#2 · jabacrack (Author Comment)
Aug 11, 09:49 AM

последнюю, я ж лицензионный пользователь ;)
а субмиттер хорош, иногда в нем даже вводят полезные фишки.

#3 · Арина Ильченко
Nov 8, 11:23 AM

При прогоне всегда обращаюсь к спецам, пусть они с этими проблемами и разбираются.

#4 · WebTik
Jan 21, 05:10 PM

А спецы обращаются всегда к таким скриптам и аналогичным прогам, чтобы прогон был хорошим))

#5 · Grin
Feb 1, 01:13 AM

“все что отличается от 200 удаляем в блек лист”

Извините, подскажите пожалуйста, а если например там есть такие числа: 499, 403, 500 и т.д., то их также необходимо удалять?

#6 · jabacrack (Author Comment)
Feb 2, 09:31 AM

to Grin

Да, такую ересь тоже удалять, потому что, чаще всего, там этой страницы нет, но сервер вместо нормального кода ошибки возвращает какие-то странные (ну нет такой ошибки 499 или 1001)

#7 · Дмитрий
Feb 12, 11:40 PM

Странно, сайт http://mosk.pijj.ru/get_urls.php в дауне.

#8 · jabacrack (Author Comment)
Feb 13, 09:44 AM

да вам просто показалось, Дмитрий.

#9 · sobaker
Sep 3, 01:56 PM

Мудрёно как то. Проще нельзя было реализовать это .

#10 · сергей
Sep 24, 12:36 PM

Народ а десктопную прогу кто то видел?

#11 · RussianGirls
Oct 5, 07:51 PM

сохранить в txt файл и экспортировать в сабмиттер в отдельную категорию сняв все галочки в окошке экспорта

не ЭКспортировать, а ИМПОРТИРОВАТЬ? пофикси плиз а так четко!:)

Перед отправлением необходим предпросмотр текста

  Помощь по Textile