Визуальный SEO против Screaming Frog face-off - английская версия!

«Кричащая лягушка» всегда была моим любимым инструментом для проведения SEO-аудита и получения быстрого обзора веб-сайта. Однако инструмент не идеален: он имеет ограничения в зависимости от машины, на которой он работает. К счастью, в настольной нише SEO-пауков есть альтернативы; Visual SEO Studio - один из самых выдающихся конкурентов, который я ценю больше каждый день. Федерико Сассо ,

В некоторых аспектах Visual SEO (несмотря на то, что я сейчас нахожусь в бета-версии) более эффективен, чем Screaming Frog. В этой статье вы найдете стенограмму видео-интервью с разработчиком, где мы обсудили плюсы и минусы как инструментов, так и их основные конструктивные отличия.

В конце вы найдете углубленное поле, чтобы уточнить некоторые аспекты и различия.

G: Сегодня я хотел бы задать Федерико Сассо, разработчику Visual SEO, несколько вопросов, чтобы понять основные различия между двумя наиболее распространенными клиентскими веб-сканерами на рынке, Визуальное SEO а также Кричащая лягушка , Прежде всего: привет, Федерико, спасибо за сотрудничество, ты хочешь представиться?

F: Привет, Джованни, спасибо за приглашение, высоко ценю. Я разработчик, это мой опыт. Впервые я обратился к SEO, когда работал в компании, в которой работал, и быстро увлекся. Сегодня я в основном известен как автор этого сканера, SEO-паука, работающего на настольных ПК. Я недавно основал компанию, а теперь я предприниматель.

G: Прекрасно, и мы, итальянцы, гордимся тем, что вы распространяли - бесплатно до сих пор - этот инструмент, который многие из нас используют. Когда вы начали разрабатывать Visual SEO? Сколько лет существует это программное обеспечение?

F: слишком много лет! Я имею в виду: первые строки кода, я думаю, я написал их в 2010 году, но это было далеко от того, чем сегодня является продукт, это был скорее прототип поискового робота для поисковой системы; потом я постепенно понял, что мог бы создать и распространить продукт, который многие люди могли бы использовать, если бы я сделал его сканером для настольных компьютеров. Не то, чтобы я работал над этим с 2010 года непрерывно, я работал над этим с 2011 года; наверняка с 2012 года я занимался этим все свое свободное время: выходные, ночи, праздники.

G: есть много работы за этим! Цель этого интервью состоит в том, чтобы понять основные отличия от сканера, который мы можем определить наиболее распространенным на сегодняшний день: Screaming Frog и ваш, который, как мы надеемся, может получить хорошую долю рынка. Я не разработчик, поэтому я мог сделать несколько ошибок, но ... Я знаю, что Screaming Frog разработан на Java; На каком языке и платформе разрабатывается Visual SEO?

F: Screaming Frog разработан на Java, языке, созданном Sun Microsystems; это язык высокого уровня, работающий не непосредственно на физическом процессоре хост-машины, а поверх так называемой виртуальной машины Java. Этот подход принес много преимуществ в современных архитектурах программного обеспечения.
Visual SEO вместо этого разрабатывается в C # /. NET, и среда, очень похожая на Java, явно вдохновлена ​​Java: здесь виртуальная машина называется .net runtime, это похоже на наличие виртуального процессора. Java и C # - два чрезвычайно похожих языка, и не случайно. Изначально Microsoft распространяла свою собственную версию Java, затем произошла законная ссора, и, поскольку она больше не могла распространять как «Java» язык, в который она внесла слишком много изменений, Microsoft сказала: «Хорошо, чем я буду делай мой собственный язык », и, по правде говоря, он проделал действительно хорошую работу. Несмотря на все недоброжелатели MS, часто по уважительным причинам, это сделало очень хорошую работу. Ему было легче создать лучший продукт, потому что он мог копировать из опыта Java.

G: Я интенсивно использую как вашу, так и Screaming Frog, и, как, вероятно, хорошо известно нашей аудитории, при запуске их на клиентских компьютерах, их способность сканировать большее количество URL-адресов в основном зависит от оперативной памяти, установленной на ПК пользователя. В чем разница между двумя языками в том, как они используют оперативную память и процессор компьютера, или они эквивалентны с точки зрения использования ресурсов?

F: нет большой разницы с точки зрения платформы. С точки зрения потребления памяти важнее архитектурные аспекты. Одним из них является архитектура машины, на которой установлена ​​так называемая разрядность машины. Я имею в виду, 32 ли или 64-битные, потому что если у нас 32-битный компьютер - я говорю о Windows, но должен быть одинаковым для Mac - Windows не может выделить процесс, на котором работает программное обеспечение, более чем на 2 ГБ объем памяти. Независимо от того, установлено ли у вас 20, 24, 48: если ОС 32-разрядная, она не может дать вашей программе более 2 ГБ. И если 2 ГБ - это общая физическая память ОЗУ, есть другие программы, конкурирующие за ресурсы памяти, и ясно, что я могу сканировать меньше, так как размер сканирования увеличивается, продукт будет потреблять больше памяти.

G: действительно, именно поэтому я настроил Windows 10 x64 с 32 ГБ ОЗУ именно для того, чтобы запускать такое программное обеспечение!

F: есть и другие аспекты, которые необходимо учитывать. Дело не только в архитектуре процессора (и в поддержке ОС), но и во многом зависит от внутренней архитектуры самого программного продукта. Я ничего не знаю о том, как Screaming Frog создается внутри, я не могу этого знать. Я знаю - если я правильно помню - что Screaming Frog хранит в памяти во время сканирования весь график внутренних ссылок. Это затраты для них с точки зрения занимаемой памяти, и ее приращение не является линейным, оно может расти экспоненциально по мере увеличения сканирования, многое зависит от того, как выполняется сайт и его внутренние ссылки. Увеличение потребления памяти Visual SEO Studio сегодня линейно, но это архитектурный выбор. Например, до 7-8 месяцев назад Visual SEO потреблял огромное количество памяти, потому что в процессе сканирования он сохранял в памяти все HTML-содержимое просканированных страниц, а не только метаданные. Конечно, он сохранил его в памяти, но сжал, было множество методов, используемых для снижения потребления, тем не менее, у нас было много пользователей, испытывающих сбои, потому что они исчерпали доступную память. У нас есть аварийный сервер, мы получаем подробную информацию о сбое, сообщающую об определенном пользователе - это просто серийный код, мы ничего не знаем об их реальных идентификаторах, если они не сказали нам - произошел сбой, потому что у него / нее не хватило памяти. Если пользователь предоставил адрес электронной почты, мне посчастливилось хотя бы ответить и объяснить проблему, иначе я ничего не мог сделать. Затем мы разобрали и переделали основную архитектуру; Поскольку Visual SEO Studio постоянно экономит на диске во время сканирования, нам не нужно было хранить все в памяти. Мы сделали это быстрее, когда создавали отчеты, но придумали умное решение, позволяющее не наказываться в производительности, и у нас не было таких сбоев в течение примерно 8 месяцев. Это случилось только один раз пару недель назад; пользователь из Турции, с которым я смог связаться, оставив мне свой адрес электронной почты. Он сказал мне, что у него 32-битный компьютер, всего 2 ГБ ОЗУ и 10 одновременно работающих программ ... но он смог сканировать около 145 000 URL-адресов.

G: что немало!

О: Я знаю людей, которые смогли с помощью Screaming Frog сканировать более миллиона URL-адресов, используя виртуальные машины в облаке. После изменения архитектуры, которую мы тоже протестировали с облаком, и с первой попытки мы смогли сканировать 400 000 URL без проблем, мы остановились только потому, что посетили весь протестированный сайт. Но затем появились другие узкие места, потому что одна вещь представляет в пользовательском интерфейсе 10-100 тысяч URL-адресов, 400 тысяч - другая вещь. Были части, некоторые взгляды в нашем продукте, которые были слабее. Возьмем, к примеру, представление дерева каталогов: некоторые сайты имеют довольно плоскую структуру, а другие имеют много вложенных каталогов, настолько, что в некоторых случаях у вас было сотни и сотни узлов, и загрузка их в пользовательский интерфейс занимала слишком много времени, поэтому мы решили установить лимит на данный момент. Сегодня мы позволяем вам сканировать только до 150 000 страниц, но под капотом движок позволил бы гораздо больше, если бы не пользовательский интерфейс. Мы в конечном счете потеряем предел все же.

G: Сколько оперативной памяти, чтобы достичь этой цифры?

F: 150.000? Ничего особенного, даже с 2 ГБ.

G: Тогда это очень эффективно, потому что с Screaming Frog очень трудно получить 100 000 URL, если у вас не менее 16 ГБ.

F: имейте в виду, турецкий парень достиг 145.000 с только 2 ГБ общей памяти, так что ...

G: Таким образом, в отношении объема памяти Visual SEO кажется более эффективным, чем Screaming Frog, в том числе и потому, что если я правильно понял, что вы сказали, Screaming Frog во время сканирования сайта хранит все в ОЗУ, в то время как ваш пишет в базу данных, поэтому может выгружать ОЗУ и загружать меньше и продолжай работать.

F: Да, потому что Screaming Frog позволяет сохранять работу только в конце сканирования, я полагаю. Я не пользователь Screaming Frog, я не платная версия. Я даже не думаю, что он установлен.

G: Об этом я и спросил Screaming Frog, насколько я знаю, что он не использует базу данных при запуске, это не так, как если бы она сохранялась в реальном времени на БД, и в ОЗУ был входящий и исходящий поток данных Это больше похоже на то, как если бы оперативная память была похожа на заполнение корзины по капле, до тех пор, пока вам не придется экономить время. Часто единственным решением с Screaming Frog является сегментирование сканирования больших сайтов: вы сохраняете первый раздел, а затем переходите ко второму и т. Д., В то время как для вашего он кажется более эффективным. Я мог бы попытаться проверить это на большом сайте и посмотреть, что произойдет.

F: дай мне знать! На самом деле, я не уверен, почему Screaming Frog требовалось так много памяти, потому что я не думаю, что они содержали весь HTML, я имею в виду только метаданные, максимум H1, не так много.

G: Я сделаю тест и посмотрю! Что касается функций, то какие функции, по вашему мнению, делают Visual SEO другим, более новым, лучшим ... какие особенности вам нравятся больше всего?

F: Я не собираюсь говорить плохо о Screaming Frog, потому что это очень хороший продукт. Раньше я любил это, пока год назад, тогда, начиная с версии 4, они сделали отличные вещи, которые я должен сказать, вещи, над которыми мы тоже начали работать, но никогда не выпускали, они застыли в ветках разработки из-за нехватки времени. Например, у них есть интеграция с Google Analytics, интеграция с поисковыми данными консоли поиска, у них есть «пользовательское извлечение» - то, что нам было предложено сделать по крайней мере два года назад, и до сих пор не доставлено, потому что на данный момент у нас ограниченные ресурсы. До недавнего времени мы были проектом свободного времени, теперь мы разработчик, работающий полный рабочий день, и я, и сотрудник, так что это нелегко, но мы организовываемся. Я всегда старался максимально отличить Screaming Frog. Начнем с того, что мы родились разными, потому что мы оба начали работать над продуктом, когда другой не существовал для публики, поэтому есть два совершенно разных видения. Screaming Frog всегда предлагался как швейцарский армейский нож, большой вид таблицы, я экспортирую данные в Excel, импортирую их обратно, промываю и повторяю с последующей обработкой… даже если у меня сложилось впечатление, что они пытаются это изменить. Visual SEO всегда старался держать пользователей в продукте, давать им ответы, данные и представления и избегать их прохождения через внешнее программное обеспечение, такое как Excel. Не у всех есть лицензия на Excel, конечно, есть альтернативы с открытым исходным кодом, но вы понимаете. У меня также случается визуальное мышление, поэтому я отдаю приоритет древовидным представлениям. Опора, которую ценят наши пользователи, - это «Вид сканирования», он на первый взгляд ясно показывает структуру ссылок и пути сканирования, выбранные пауком поисковой системы.

G: Вы имеете в виду вид, показывающий разделы сайта, то есть папки, их размер и подпапки, а также файлы, которые они содержат?

F: это «индексный вид», но есть и тот, который вы обычно видите во время исследования сайта, визуально отображая «пути сканирования», это очень ценится. На мой взгляд, Visual SEO также гораздо более эффективен в плане запросов данных. Большая разница, противоположный выбор дизайна, между Visual SEO и Screaming Frog заключается в том, что Screaming Frog решила обработать все в «время сканирования»; если пользователь хочет установить фильтры, он может сделать это только перед сканированием, верно? Это вы Screaming Frog продвинутый пользователь.

G: Да, сначала вы устанавливаете свои фильтры и правила, а затем запускаете сканирование.

О: Если ты понял, что что-то забыл, или осознал, что совершил ошибку, черт, что ты делаешь?

G: Вы делаете это снова и снова!

F: для небольших сайтов это не большая проблема, сканер довольно эффективен; для очень больших сайтов, ну, после трех дней сканирования это может стать большой проблемой. Мы сделали противоположный выбор: мы загружаем весь HTML-контент страницы, сохраняем его в локальной базе данных, а затем можем проверять его столько, сколько захотим. Вы не обязаны снова сканировать тот же контент. Преимущество Screaming Frog, которое многие ценят, заключается в том, что вы можете «увидеть» что-то уже во время исследования, мы покажем вам что-то вроде названий, описаний… что-то, что вы уже можете видеть, но не такие вещи, как процентное распределение, общая глубина ссылки, эти вещи Screaming Frogs на правой панели, те, которые мы не показываем вам сразу, только потом. Это различие, которое вы можете почувствовать очень скоро, есть плюсы и минусы.

G: скорее всего Screaming Frog использует этот подход именно потому, что он больше зависит от памяти, но, будучи вашим более эффективным, он может действовать по-другому. Выбрав надлежащие фильтры в Screaming Frog, вы фактически сможете уменьшить большую часть рабочей нагрузки, количество сканируемых страниц, что, очевидно, зависит от типа фильтра, но в целом вы можете ограничить работу и лучше использовать память. , Поскольку ваш инструмент не подвержен подобным проблемам, он может работать по-другому и быть более эффективным.

F: Я подозреваю, что это был обязательный выбор для них, потому что их бесплатная версия не позволяет сохранить вашу работу, поэтому, если бы они имели постоянство в реальном времени, они потеряли бы предел для бесплатной версии, я подозреваю.

G: и это ваше наблюдение подводит меня к последнему вопросу. Ваш инструмент до сих пор был бесплатным, вы очень щедры. Когда придет платная версия и с какой платой может быть годовая плата? А как насчет цены?

Ф: Я предпочитаю не указывать цену прямо сейчас, потому что она не изогнута в камне, но она будет примерно сопоставима с ее конкурентами, я могу сказать.

G: Когда продукт завершит бета-фазу? Когда выйдет версия 1.0?

О: Я могу рассказать вам о планах: мы планируем выпустить версию 1.0 в конце января 2016 года, и версия 1.0 будет выпущена: у бесплатной версии, которая, вероятно, называется Community Edition, будут некоторые ограничения. Версия без ограничений - «Профессиональная бета» - будет бесплатной в течение нескольких месяцев. Будет только запрашивать регистрацию, чтобы разблокировать функции, и будет улучшенная версия сегодняшнего продукта. Платная версия запланирована на конец марта.

G: Очень хорошо, поэтому в 2016 году Visual SEO будет рассматриваться как коммерческий продукт, и это было давно, потому что вы заслуживаете его после всей работы, которую вы посвятили этому!

F: Я думаю, что это своего рода пластинка, более трех лет Beta.

G: Будучи один, действительно много чего ты сделал, поздравляю!

Большое спасибо, Федерико, у меня больше нет вопросов. Вы очень хорошо раскрыли концепции вашего инструмента, и я желаю вам всего наилучшего в коммерческом запуске продукта. Конечно, я куплю лицензию!

Скачать Visual SEO Studio

Подробнее о потреблении памяти и контроле

С помощью Screaming Frog вы можете установить предел, надеюсь, вы правильно его установите (я думаю, вы даже можете установить предел, превышающий реальную физическую память); Я надеюсь, что не ошибаюсь, я полагаю, что если Screaming Frog поймет, что вы заканчиваете установленную квоту, это прервет сканирование для сохранения данных. Затем вы вынуждены найти файл конфигурации, изменить его вручную (насколько я понимаю из того, что я прочитал на их веб-сайте, эксперт по Screaming Frog - это вы, Джованни), затем снова запустите программное обеспечение и перезагрузите данные, чтобы продолжить сканирование ( положительным моментом здесь является то, что они позволяют вам - если я правильно понимаю - возобновить процесс сканирования между одним запуском и другим, в настоящее время мы не разрешаем это, поскольку мы не сохраняем очередь URL-адресов, пока исследовал).

В Visual SEO Studio все проще для пользователя: программное обеспечение не накладывает априорные ограничения на использование ОЗУ: во время процесса сканирования существуют «контрольные точки памяти», которые периодически отслеживают и оценивают потребление памяти, а также перед доступной ОЗУ. заканчивается, программное обеспечение останавливает процесс сканирования (и заканчивает сохранение данных). Продолжение не имеет никакого смысла, поскольку используемая память была выделена операционной системой, маловероятно, что пользователь остановится, откроет ПК и добавит физическую оперативную память!

Случаи, подобные турецкому пользователю, у которого произошел сбой из-за истощения памяти, очень маловероятны: контрольные точки памяти работают, пользователь испытал сбой только потому, что другие программы пили из того же сегмента без возможности Visual SEO Studio узнать ,

Решение, принятое для Visual SEO Studio, также позволит без изменений планировать сканирование: нет риска, что пользователю будет показано диалоговое окно в середине ночного сканирования, чтобы попросить увеличить объем оперативной памяти.

Пользователи Screaming Frog также должны позаботиться об установке правильной битовой (32 или 64-битной) версии среды выполнения Java. Программы, написанные на .Net, не имеют этой проблемы, потому что .Net runtime уже установлен с операционной системой, в большинстве случаев вам нужно беспокоиться о правильном выпуске. Корректная версия релиза .net для Visual SEO Studio не представляет большой проблемы с течением времени: она запрашивает .net 4.x, который в настоящее время является минимумом, установленным также на старых компьютерах (и может быть установлен даже на Windows XP SP3); когда установленная среда выполнения становится более поздней, Visual SEO запускает самую последнюю найденную среду выполнения.

О необходимости сканировать так много URL

Как я уже сказал, в ближайшем будущем мы хотим потерять ограничение в 150 тыс. URL. Это интересная проблема в нескольких аспектах: технический и коммерческий.

Сегодняшний лимит существует, потому что, если бы его не было, некоторые пользователи сканировали бы, скажем, полмиллиона URL-адресов, а затем жаловались бы на то, что программное обеспечение слишком медленное для некоторых разработок (некоторые пользовательские фильтры или ближайший «Рекомендации по повышению производительности» «Сделать очень интенсивный осмотр, и на больших площадках они занимают некоторое время). Поэтому сейчас мы предпочитаем, чтобы нас воспринимали как «меньше URL», но можно было использовать (не то, чтобы 150K были маленькими, наоборот).

Человеческий разум не видит большой разницы между большими числами. Для нашего мозга разница между 10.000 и 15.000 одинакова между 1ML и 1.5ML, но производительность машины в первом случае практически не различима, а во втором они могут существенно различаться.

Чтобы разблокировать лимит без потери репутации, мы должны перестроить некоторые компоненты пользовательского интерфейса: сначала нужно отобразить древовидные представления, но любой компонент через некоторое время может показать свои ограничения, даже табличное представление становится очень медленным, когда вы загружаете в него URL-адреса 1ML. Есть решение для всего, но вы должны перестроить детали, которые сейчас работают нормально, с вполне приличным 150K, и их замена будет стоить времени разработки, сегодня для нас очень скудно (срок Pro Proid установлен на конец марта / начало Апрель очень напряженный, мы должны внедрить систему оплаты и выставления счетов, все это является важным приоритетом для нашего экономического выживания).

Как я уже говорил, есть и другие аспекты:

150K не мало, но сколько сайтов в процентах имеют больше URL?

Я на самом деле не знаю ответа - я бы хотел, чтобы - но 150K уже более чем приемлемый предел даже для большинства пользователей Pro (а также в Visual SEO Studio вы можете сегментировать ограничение сканирования для одной или нескольких подпапок, даже в этом случае теоретический риск - как в случае с Screaming Frog - пропустить некоторые URL-адреса в зависимости от того, как распределяются внутренние ссылки).

Правда, сайты электронной коммерции могут легко перерасти этот предел, и многие пользователи Visual SEO управляют сайтами электронной коммерции, даже если они обычно не огромные (обычно я ничего не знаю о пользователях, если они не связываются со мной, но некоторые из них сделай это).

Дело в том, что более 90% проблем на сайте обычно находится в макете, вы исправляете их там, вы исправляете их везде. И чтобы найти проблемы в макете, вам не нужно сканировать миллион URL-адресов.

Часто SEO-разработчики хотят полностью сканировать сайт, чтобы составить цитату; Менеджеры по электронной коммерции хотят ползать полностью, потому что им часто не хватает глубоких навыков SEO, у них много дубликатов из-за проблем канонизации, проблем с обходом бюджета, обычно вызванных «многогранной навигацией», но даже там для того, чтобы получить общее количество, достаточно мало Количество URL на порядок ниже.

Имеет ли коммерческий / стратегический смысл разрешать ползать намного больше? Раньше я думал, что да, но я подозреваю, что сегодня мы уже покрываем потребности большей части наших потенциальных пользователей. Конечно, мы могли бы сделать это, но это 80legs и DeepCrawl, которые воспринимаются как подходящий инструмент для больших сканирований, мы рискуем преследовать неправильный приоритет в неподходящее время. С точки зрения бизнеса, вероятно, было бы более целесообразно создавать веб-сервисы (с другим брендом), конкурировать с такими сервисами и предлагать пользователям 10-кратную плату за лицензию на программное обеспечение для настольных ПК.

Сказав это, мы, безусловно, хотим в будущем поднять планку выше сегодняшнего лимита 150K; может быть не слишком много, но 500K / 1ML я предполагаю, что это достижимо (с более низким значением намного легче).

О скорости сканирования

Больше различий между Screaming Frog и Visual SEO Studio

Для Screaming Frog скорость ползания является приоритетом, который беспокоит остальных. Да, он не такой быстрый, как старый Xenu, но программная архитектура многопоточная, это означает, что он может выполнять более параллельные HTTP-запросы. Вы даже можете совершить DOS-атаку с помощью программного обеспечения, такого как Screaming Frog (конечно, не самый лучший инструмент для этой задачи).

Visual SEO Studio делает противоположный выбор: его паук адаптивен, он никогда не заставляет пропускную способность веб-сервера превышать то, что считается его пределом. Я делаю это, используя однопотоковую очередь, она делает только запрос в данный момент и никогда не запускает следующий до завершения предыдущего. Это также гарантирует порядок исследования и реконструирует пути сканирования в соответствии с алгоритмом «сначала шириной», повторяющим повторяющимся образом поведение поискового бота (это приближение: исследование Googlebot приближается только к ширине в первую очередь). в случае отсутствия внешних сигналов приоритет оценивается PageRank, а порядок не является точным, поскольку конвейер асинхронный). «Кричащая лягушка» не пытается эмулировать поведение поискового бота, ее не волнует порядок исследования, пути обхода и прибыльные руки. Visual SEO Studio делает это по собственному выбору: реконструирует повторяемые пути сканирования и адаптируется к пропускной способности веб-сервера.

На самом деле Visual SEO Studio может попытаться продвинуться немного дальше, потому что веб-серверы предназначены для «масштабирования» и управления одновременными вызовами; в частности, если бы сканер был единственным пользователем, веб-сервер не пострадал бы, если бы Visual SEO Studio продвигался немного сильнее. Мы могли бы изменить наш механизм, чтобы распараллеливать некоторые запросы (некоторые конкретные группы), сохраняя при этом возможность сохранять порядок исследования и восстанавливать пути сканирования; ценой чуть более высокой внутренней сложности мы получили бы некоторый прирост производительности (я не могу оценить, сколько сейчас). Это все еще будет медленнее в среднем, но не намного. На будущее мы сделаем это; Сегодня пользователи не жалуются на скорость (как только они это сделали, но затем мы внесли некоторые изменения и значительно повысили эффективность сканирования).

Здесь также мы видим разные варианты:

• Screaming Frog приоритет ползет быстро, кто заботится о здоровье веб-сервера
• Для Visual SEO Studio приоритет не состоит в том, чтобы изменить эффективность веб-сервера.

(Примечание редактора: Screaming Frog позволяет установить скорость сканирования: по умолчанию он выполняет 5 одновременных вызовов, но пользователь может повысить или понизить ограничение, используя параметр «скорость» в меню конфигурации паука).

Анекдот:

Как только пользователь связался со мной, сказав: «Посмотрите, с помощью Screaming Frog я могу сканировать этот сайт с x URL-адресами в секунду, но после y сервер обычно падает, и мне приходится перезапускать его. С вашим гусеничным механизмом он никогда не падает, но занимает больше времени, как я могу ускорить его? »

Конечно, мой ответ был: «он не падает, потому что паук не пытается выдвинуть больше, чем веб-сервер может обработать!». HTTP-запросы не могут бить сильнее, только чаще!

Подумайте об интернет-сайте электронной коммерции клиента, даже если я его не рухну, с пауком, ползающим на полной скорости в течение двух дней, все замедляется, коэффициент конверсии снижается, и транзакции оплачиваются бипедами, а не ботами. ,

На мой взгляд, эта особенность Visual SEO - адаптация к ритму сервера без дальнейшей форсировки - имеет неприятные последствия, так как потенциальные пользователи сначала видят в этом слабость.

Правда, в среднем это медленнее, но не так сильно. На местном тестовом сайте я однажды пропускал 200 страниц в секунду! Хорошо, маленький сайт, локальный, очень легкий, но когда веб-сервер продолжает реагировать, сканер имеет хорошие характеристики. Худший случай для Visual SEO Studio - это когда время ожидания одной страницы падает, а средняя скорость падает; немного распараллеливания помешало бы этому. Мы сделаем это однажды.

Чрезмерная нагрузка на сервер вызвана не только чрезмерной частотой сканирования как таковой, поскольку веб-сервер хорошо построен и масштабирован, но и увеличенным выделением памяти на сервере, вызванным более частыми HTTP-вызовами. Проблема в том, что обычно боты не принимают куки-файлы сеанса, и каждый их HTTP-запрос подразумевает создание нового сеанса на стороне сервера.

Однажды системный администратор Unix объяснил мне, что каждый новый сеанс на Apache стоит в среднем 7 МБ; предположим, что это правда (данные немного оспариваются): представьте себе Screaming Frog, которая при каждом HTTP-вызове вызывает новый сеанс на сервере, предположим, что они выполняли только 5 запросов в секунду, имея время ожидания сеанса сервера 20 '= 1200 ”, это будет означать, что после 20' ползания, каждый момент у нас будет 1200x5x7MB = 41 ГБ. Это означало бы, что на веб-сервере выделено более 40 ГБ ОЗУ только потому, что ваш сайт сканирует сканер, и, возможно, вы даже не авторизовали его.

Примечание. По этой причине сканер Visual SEO Studio по умолчанию принимает сеансовые файлы cookie, даже если он разрешает их отключение, поскольку в некоторых случаях серверы ведут себя по-разному.

7 МБ - это минимальная сумма, выделенная Apache (я считаю, Nginx быть более эффективным), но если у парня, который создал программу, работающую на веб-сервере (будь то CMS, веб-приложение, магазин и т. д.), была блестящая идея выделять больше для каждого нового сеанса (клянусь, я это видел) , проблема возрастает еще больше!

Другие отличия: подмена и REP

Еще одна отличительная черта Visual SEO Studio - более строгое соблюдение протокола исключения роботов.

Например, Visual SEO Studio учитывает задержку сканирования максимум до 2 секунд; да, это позволяет вам игнорировать его, но только для тех сайтов, которые пользователь продемонстрировал для администрирования (список «Администрируемые сайты»).

Также изменение пользовательского агента разрешено только для администрируемых сайтов. То же самое для игнорирования файла robots.txt: он разрешен только для администрируемых сайтов.

В основе такого выбора лежат несколько причин:

Этично: мы потребляем чужие ресурсы, ничего не возвращая (в случае сайта конкурента или потенциального клиента).

Кричащая лягушка не рассматривает проблему, она просто говорит «ваша ответственность» и позволяет вам делать все что угодно. Для нас важна этика, и, кроме того, если кто-то расстраивается и отправляет адвокатов, попробуйте объяснить это судье; мы хотим держаться подальше от юридических вопросов ... см. следующий пункт

Законно: во всем мире уже есть предложения, не так уж много, связанные с миром сканеров. Мое мнение, они станут более частыми. Мы не можем рисковать своим будущим дорогостоящими и длительными битвами в судах. Решение, позволяющее всем, кто демонстрирует владение / администрирование веб-сервера, является самым безопасным; к сожалению, многие пользователи не имеют четкого представления о преимуществах включения их сайтов в список «Администрируемые сайты», поэтому, если у них их нет и задан параметр задержки сканирования, они считают, что инструмент работает очень медленно, даже если он может сканировать быстрее ,

Бизнес: выбрав не разрешать подмену user-agent (примечание редактора: смена user-agent) для сайтов, которые мы не контролируем, не придерживаясь каких-либо других аспектов REP (например, в обход директив robots.txt для сайтов, которые мы не делаем admin), если не делать все наши выборы бесполезными, через некоторое время это создаст плохую репутацию среди системных администраторов. Они будут пытаться заблокировать «Pigafetta» (так называется пользовательский агент Visual SEO Studio), что повредит нашим будущим продажам.

Такие сервисы, как Majestic, aHrefs и т. Д.… Все уважают REP (Moz фактически играл хитро в первые дни, когда это был SEOMoz), если бы они этого не делали, их IP блокировали бы чаще (Majestic распределял сканеры, не вызывая с фиксированного IP, тем не менее они кажутся самыми строгими из всех. Screaming Frog не заботится о проблеме, потому что их пользователи всегда могут подделать пользовательский агент, а кто заботится обо всем остальном. Это выбор (см. Предыдущие пункты).

Еще один анекдот:

Сегодня в Visual SEO Studio задержка сканирования для сайтов без администрирования выполняется до 2 секунд, но когда-то она была до 10 ”, а также была ошибка, приводившая к тому, что в некоторых случаях добавление не применялось. Однажды я получил сообщение от пользователя, отправленное с использованием самого программного обеспечения (меню «Справка», опция «отправить автору сообщение»); когда это происходит, я получаю электронное письмо, и если пользователь вводит адрес электронной почты, я могу понять, кто он, и ответить. Пользователь был довольно известным SEO из-за рубежа; В прошлом мы обменивались несколькими вежливыми сообщениями, но он не знал, что я был за Visual SEO. Вместо этого он отправил сообщение, полное ненависти, потому что сканер работал слишком медленно. Он никогда не отвечал на мою просьбу о подробностях, я понятия не имею, наткнулся ли он на ошибку или встретил 10-дюймовую задержку сканирования, единственное, что я обнаружил, было в реальной жизни, что он ……. Даже если это было худшее программное обеспечение, он не платил ни копейки за него. Он никогда не отвечал мне.

О версиях для своих операционных систем

Как вы хорошо знаете, сегодня Visual SEO доступен только для Windows, в то время как Screaming Frog имеет версии для Windows, Mac и Linux. Хотелось бы, чтобы у меня был евро за каждый раз, когда меня спрашивали, есть ли версия для Mac. Дело не только в том, что доля рынка достигла меньшего ... Например, AS (примечание редактора: известный международный SEO), когда я встретил ее, с удовольствием бы попробовал, но она пользователь Mac! Возможность упущена!

Программы, написанные на Java, гораздо более переносимы: среда исполнения Java с годами распространяются на все платформы. Внешний вид может быть ужасным, но портирование более простое и требует гораздо меньших затрат на разработку.

.net был рожден, максимально копируя Java, и сделан на основе среды выполнения - виртуального процессора - точно так же, как Java, но Microsoft годами не вкладывала средства в его перенос на другие операционные системы. Некоторые пытались, самая успешная попытка называется Mono, версия .net, работающая на Linux и Mac. Уже около года Microsoft сама инвестирует в перенос платформы на другие архитектуры (отчасти я верю в партнерство с Mono).

Это означает, что портирование Visual SEO на Mac возможно с некоторыми жертвами.

Мы всегда тщательно выбирали компоненты, которые не будут препятствовать портированию (наиболее заметным исключением является часть скриншотов, основанная на встроенной версии IE, но мы все равно хотим ее изменить). Порт Моно все еще находится на очень ранней стадии, мы робко пробовали некоторые части, и нам пришлось откладывать на потом, чтобы следовать другим приоритетам. В течение следующих месяцев мы попробуем еще раз, с помощью внешнего ресурса.

Я понятия не имею, насколько версия Mac расширит наш охват для потенциальных клиентов. Некоторые настаивают на том, что в мире SEO / веб-маркетинга доля Mac составляет более 50%. Я никогда не находил достоверную статистику по нише. В соответствии с этот источник для настольных систем Windows доминирует с львиной долей, а Mac - менее 10%. Знание статистики по нише поможет лучше оценить, сколько стоит бюджет на портирование (я мог бы попросить Андреа Перничи проверить аналитику Forum GT). Портирование на Mono позволило бы иметь версию для Mac и Linux; искренне в данный момент я больше интересуюсь версией для Mac, хотя версия для Linux, по крайней мере в начале, была бы более тяжелым бременем для обслуживания, чтобы иметь только несколько пользователей.

Похожие

Комментарии