Заменит ли ИИ человека в ближайшем будущем: опыт инженера-тестировщика Игоря Волынца
18.12.2024 в 12:36, Blizko.by
Эксперт из Беларуси в сфере проверки качества программного обеспечения рассказал, почему ИИ в тестировании нужно использовать с осторожностью, и какие задачи человек решает лучше нейросетей.
Завершился международный онлайн-фестиваль Hack&Grow Fest, собравший более 450 разработчиков и IT-специалистов из 20 стран. Он продолжался почти две недели. За это время участники провели встречи с экспертами мировых IT-гигантов, пообщались с лидерами отрасли и обсудили наиболее эффективные способы применение искусственного интеллекта. Несмотря на впечатляющие достижения нейросетей, они по-прежнему не могут полностью заменить человека. Специалисты продолжают сталкиваться с необходимостью проверять результаты работы ИИ и исправлять его ошибки. В числе первых, кто обратил внимание профессионального сообщества на проблемы в работе искусственного интеллекта один из спикеров этой конференции и член жюри хакатона Hack&Grow Fest Игорь Волынец, руководитель команды тестировщиков в компании Usetech. Эксперт из Минска уже несколько лет использует нейросети в своих проекта и отмечает, что ошибки ИИ бывают критическими вплоть до полного выведения программы из строя. Однако отлаженный контроль за работой нейросетей, говорит Волынец, позволяет избежать подобных ситуаций. В его работе ИИ успешно выполняет большую часть рутинных задач, что помогает компании сохранять лидерские позиции на рынке.
Что не так с автоматизацией тестирования?
За последние два года нейросети “взорвали” практически все области жизни, и, конечно, IT-индустрию. На прошедшем онлайн-фестивале Hack&Grow Fest, в котором участвовали специалисты по проверки качества программного обеспечения из более чем 20 стран, включая США и Великобританию, эксперты пришли к выводу, что хотя ИИ стал незаменимым инструментом и в разработке, и в тестировании, все же проблемы с ним есть. Игорь Волынец входил в состав жюри хакатона при фестивале и наряду с техническими специалистами из мировых техногигантов Google, Nvidia, Yandex и других оценивал работы конкурсантов, связанные с использованием ИИ. Большой опыт применения нейросетей для автоматизации процессов тестирования ПО позволил Игорю заметить и обратить внимание коллег на тот факт, что ИИ может допускать ошибки, способные привести к критическим дисфункциям ПО. Не менее важная проблема, по мнению эксперта, заключается в том, что нейросеть все еще не способна полноценно понимать логику продукта.
«Даже когда ИИ был настроен и обучен, он продолжал совершать ошибки в оценке значимости того или иного параметра, что в конечном итоге приводило к поломке всего ПО. Мы можем научить ИИ решать определенные задачи и оценивать составляющие, но даже этого не хватит, чтобы он предлагал тесты в концепции всего продукта. Поэтому в таких случаях необходимо вручную корректировать тесты и проверять их правильность», — говорит QA-эксперт.
ИИ он использует как помощника в выполнении практически в 90% рутинных задач: нейросети самостоятельно обновляют тесты даже при изменении структуры страницы, а также автоматически проверяют их работоспособность. И хотя они значительно сокращают время, нужное на рутинные задачи, задачи, требующие стратегического подхода, машинному разуму не под силу.
Как сделать ИИ эффективным?
Хотя ИИ еще допускает критические ошибки в тестировании и требует доработки, правильная настройка этого инструмента на определенные области продукта все же поможет сэкономить ресурсы команды. В компании Usetech, которая занимается разработкой полного цикла сложного программного обеспечения для компаний из разных сфер, Волынец отвечает за качество и скорость поставок выпуска итогового продукта. Если грамотно определить область задач, объясняет эксперт, это позволит использовать ИИ, не сталкиваясь с большим количеством ошибок на этапе продакшена. Для решения этой задачи он разработал методики для отслеживания изменений в определенных страницах и функциональных блоках, в которых основную часть работы выполняет ИИ.
«Мы используем ИИ для анализа пользовательского поведения и создания на основе этих данных новых тестов. Это помогает нам лучше понимать, как продукт используется в реальных условиях, и адаптировать тесты под реальные сценарии использования», — рассказывает Игорь Волынец.
Кроме того, отмечает эксперт, современные технологии можно использовать для поддержки уже существующих тестов. Например, ИИ может автоматически обновлять их в зависимости от изменения в продукте, а эксперту остается изредка следить, чтобы эти изменения не нарушали логику работы приложения. В компании Игорь Волынец интегрировал ИИ таким образом, что нейросеть сама справляется с обновлениями продукта, что позволяет компании не нанимать дополнительных сотрудников и экономить значительный объем финансов.
«Точно оценить, сколько финансов позволяет сэкономить ИИ, сложно, так как для разных проектов суммы будут различаться. Например, если проект приостановлен или заморожен, и по нему уже ведутся тесты, экономия может составить десятки тысяч долларов в течение года или двух, — объясняет эксперт по качеству ПО. — А для актуального проекта, где разрабатываются новые функции и привлекаются специалисты, использование ИИ может сэкономить уже сотни тысяч долларов».
Командная работа
Хотя ИИ дает множество преимуществ, прежде всего он остается инструментом, который работает на основе предложенных данных. Игорь Волынец отмечает: если ИИ обучается на ограниченном наборе данных, то он может не справится с тестированием новых или необычных сценариев. С этими проблемами эксперт сталкивался не один раз.
«Хотя ИИ помогает в автоматизации, именно человек принимает ключевые решения, обеспечивающие успешное тестирование. Для трудоемких проектов ИИ может предложить несколько вариантов решения проблемы, но выбрать наиболее подходящее решение должен человек, исходя из контекста и специфики проекта», — подчеркивает руководитель отдела тестирования.
По словам эксперта, хотя внедрение ИИ требует небольших инвестиций по сравнением с обучением команды, чтобы ИИ мог эффективно работать, его необходимо обучать на данных, которые представляют реальную картину использования продукта. Это требует от команды тестировщиков не только знаний в области ИИ, но и понимания того, как пользователи взаимодействуют с продуктом. Поэтому как руководитель отдела тестирования в крупной компании Игорь Волынец проводил для своих сотрудников тренинги, где обучал коллег принципам работы с программами, на основе которых функционируют ИИ. Его практическими наработками пользуются и коллеги из других компаний — Игорь охотно делится опытом.
«Я убежден, что секретность и "закрытость" вредят прогрессу. Только открытый обмен идеями, лучшими практиками и решениями может по-настоящему ускорить развитие технологий, включая ИИ в тестировании ПО. Поэтому я всегда стараюсь помочь коллегам, независимо от того, в какой компании они работают. В конечном счете, это идет на пользу всем нам», — говорит эксперт.
Хоть в будущем ИИ станет еще более мощным инструментом в арсенале специалистов по тестированию, сейчас его использование требует тщательного контроля и настройки. По мнению Игоря Волынца, человек всё еще остается центральной фигурой в процессе тестирования. Только он способен обеспечить правильное функционирование ИИ и принимать решения, которые гарантируют высокое качество продукта.