Casperjs / PhantomJs против Selenium

Мы используем Selenium для автоматизации нашего UIтестирования. В последнее время мы видели, как большинство наших пользователей используют Chrome. Итак, мы хотели знать - плюсы и минусы использования PhantomJS против Selenium:

• Есть ли какое-то реальное преимущество с точки зрения производительности, например, времени, затраченного на выполнение тестовых случаев?
• Когда следует отдавать предпочтение PhantomJS над Selenium?

Они атакуют разные проблемы. Поскольку PhantomJS отлично работает в командной строке, он подходит в качестве первого уровня тестирования дыма, будь то в рамках процесса разработки и / или на сервере непрерывной интеграции. Selenium ориентирован на несколько браузеров, поэтому очень полезно обеспечить согласованность между браузерами и проводить обширные испытания в разных операционных системах.

Если ваше веб-приложение должно работать в различных веб-браузерах, запуск тестирования пользовательского интерфейса только с PhantomJS не даст наибольшего покрытия тестированием. Тем не менее, совершенно нормально запустить PhantomJS и выполнить некоторые базовые проверки работоспособности, прежде чем проводить углубленные тесты. Представьте себе безумие тестирования финансового приложения, в котором экран входа в систему непреднамеренно сломан и не функционирует!

Обратите внимание, что грань между ними немного размыта из-за недавней поддержки WebDriver в последней версии PhantomJS. Теперь можно быстро запустить тесты сначала с помощью PhantomJS, а затем (при условии, что не возникло серьезных ошибок) продолжать тщательно выполнять те же тесты в установке Selenium.

Благодаря недавней интеграции с WebDriver (как заметил Ария), теперь вы можете использовать Selenium для управления PhantomJS.

Это очень сильно.

Вы можете запускать набор полностью автоматизированных тестов Selenium (используя PhantomJS в качестве реализации WebDriver) через CI на автономном Unix-сервере при каждой регистрации. Затем, если вы хотите проверить совместимость браузера, вы можете запустить свои тесты локально, изменив базовую реализацию WebDriver на Chrome, Firefox и т. Д.

В настоящее время я пишу фреймворк для веб-извлечения. У меня есть 524 теста, которые получают данные с 250 веб-сайтов, используя XPath. Изначально в фреймворке использовался анализатор HTML, HTMLCleaner, но в настоящее время я изучаю использование Selenium, потому что мне нужна поддержка Javascript. Я провел тесты с драйверами HtmlUnit, Chrome, Firefox и PhantomJS . Вот сравнение времени и количества неудач для каждого подхода:

                    Failures    Time (secs) 
HtmlCleaner         0           82  
HtmlUnit            169         102 
Google Chrome       38          562 
Firefox             46          1159    
PhantomJS           40          575

Некоторые комментарии:

• В некоторых случаях «сбои» могут вообще не быть сбоями, возможно, что экстракторы дают сбой, потому что Javascript переписывает DOM. Я нахожусь в процессе анализа неудач, чтобы найти причину.

• Тем не менее, HtmlUnit является самым быстрым драйвером Selenium, но он также ненадежен. Эта ненадежность касается не только Javascript, существуют проблемы с обработкой «грязного, грязного, реального» HTML, потому что что-то не работает в алгоритме балансировки тегов. По этому поводу возникло несколько проблем, но они не были исправлены - см. HTML-UNIT 1423 и HTML-UNIT 1046 .

• Firefox - самый медленный драйвер Selenium, хотя я отключаю загрузку изображений и таблицы стилей. Это связано с тем, что он загружается и инициализируется медленнее, что делает его значительно медленнее, чем в Chrome, и каждый раз при сбое извлечения мне нужно перезагружать драйвер (в тестах я создаю пул из 5 драйверов, чтобы уменьшить задержки при извлечении URL для всех веб-драйверы Selenium).

• PhantomJS достигает лучшей точности, чем Firefox, немного ниже, чем Chrome, но примерно в два раза быстрее, чем Firefox. Более того, я могу запустить его на своем компьютере разработчика, он не «захватит мою машину», запустив несколько браузеров, чтобы я мог приступить к работе.

Я очень рекомендую PhantomJS.

Используя мощь Selenium и PhantomJS PhantomJS обладает возможностями автономного браузера, поэтому полезно использовать его в качестве одного из браузеров с селеном (в дополнение к традиционным браузерам, таким как IE, Chrome и т. Д.). Преимущества этого подхода:

1. Может использоваться для выполнения Sanity для веб-приложений в CI (даже если на компьютерах агентов нет IE или chrome), тесты будут работать эффективно.
2. Некоторые команды разработчиков используют этот подход, чтобы получить быстрые результаты и потребляют меньше времени и ресурсов.
3. Самая большая особенность фантомного JS - это захват экрана, выполнение параллельных тестов с использованием многопоточности, что значительно сократит ваше время выполнения.

проблемы, с которыми я столкнулся при использовании PhantomJS:

Мое приложение было ценовым веб-приложением:

1. В какой-то момент локаторы, которые нормально работали в браузере chrome, не работают в phantomJS.
2. Иногда при выполнении двойного щелчка или контекстного щелчка по селену я должен поставить дополнительную проверку для проверки операций, потому что сначала он не щелкает.
3. Постоянство кэша и файлов cookie. После этого выйдите из системы, а затем войдите в систему, данные останутся в кеше. | Поэтому мы проводим тест на хром.
4. Одной из самых важных проблем, которые я нашел, была проблема с загрузкой файлов. Мы не можем загрузить файл в браузер phantomJs в нашем приложении. Мы пробовали много вещей javascriptexcutor, jqueries, но ни одна из них не работала вообще. Поэтому мы также проводим этот тест на Chrome. Примечание. Мы широко использовали функции javascript в нашей среде для взаимодействия с веб-элементом для PhantomJS. Одна вещь уверена, что время выполнения в PhantomJS очень меньше. Таким образом, зависит от приоритета клиента, хочет ли он функциональность / производительность, а затем идти с ним. Если вы хотите протестировать сценарий от начала до конца, перейдите на Chrome.