Методологии тестирования ПО. Какую выбрать? — XB Software

Поиск Лекций


Теории психологического тестирования

В настоящее время можно говорить о двух теориях тестирования. Одна – классическая, другая – современная, опирается на теорию измерений. Рассмотрим вкратце каждую из них.

Классическая теория погрешности измерений.Она полностью заимствована из физики. Считается, что тест такой же измерительный прибор, как вольтметр, термометр и т. д., и результаты, которые он показывает, зависят от величины свойства испытуемого, а также от самой процедуры измерения. Любое свойство личности имеет истинный показатель, а показания по тесту отклоняются от истинного на величину случайной погрешности. На показания теста влияет и систематическая погрешность, но она сводится к прибавлению константы к истинной величине параметра, что для интервальной шкалы значения не имеет.

Если тест проводить много раз, то среднее будет характеристической истинной величиной параметра. Отсюда вводится понятие тестовой надежности: чем теснее коррелируют результаты начального и повторного проведения теста, тем он надежнее.

Так, определяемая надежность теста связана с однородностью, которая выражается в корреляциях между заданиями. Надежность возрастает с увеличением одномерности теста и числа его заданий, причем довольно быстро. Стандартная надежность 0,02 соответствует тесту длинной в 10 заданий, а при 30 заданиях она равна 0,007.

Для определения надежности методом расщепления используется формула Спирмена – Брауна.

В принципе классическая теория теста касается лишь проблемы надежности. Вся она базируется на том, что результаты выполнения разных заданий можно суммировать с учетом весовых коэффициентов. Так получается сырой балл.

По поводу того, откуда возникают ответы, в классической теории не говорится ни слова.

Несмотря на то, что проблеме валидности в классической теории теста уделяется много внимания, теоретически она никак не решается. Приоритет отдан надежности, что и выражено в правиле: валидность теста не может быть больше его надежности.

С теоретической точки зрения единственным способом установления внутренней валидности теста и отдельных заданий является метод факторного анализа. Он позволяет:

· выделять латентные свойства и вычислять значение факторных нагрузок коэффициенты детерминации тех или иных поведенческих признаков;

· определять меру влияния каждого латентного свойства на результаты тестирования.

Теория измерений (IRT).

Главное отличие теории измерений (IRT) от классической теории теста в том, что в ней не ставятся и не решаются фундаментальные проблемы эмпирической валидности и надежности теста: задача априорно соотносится лишь с одним свойством, т. е. тест заранее считается валидным. Вся процедура сводится к получению оценок параметров трудности задания и к измерению способностей испытуемых.

В классической теории теста индивидуальный балл считается некоторым постоянным значением. В IRT латентный параметр трактуется как непрерывная переменная. Кроме свойства и силы пункта в аналитическую модель IRT могут включаться и другие переменные.

Все варианты IRT классифицируются по числу используемых переменных. Наиболее известны однопараметрическая модель Раша, двухпараметрическая модель Бирнбаума и трехпараметрическая модель Бирнбаума.

В однопараметрической модели Раша предполагается, что ответ испытуемого обусловлен только индивидуальной величиной измеряемого свойства и силой тестового задания.

Единицей измерения способности является логит, которая позволяет измерить и силу пункта, и величину свойства. Рекомендуется рассматривать лишь интервалы -3 до+3 как для трудности, так и для способности.

Второй этап шкалирования испытуемых и заданий сводится к тому, что шкалы преобразуются в единую путем уничтожения влияния трудности задания на результат индивидов. И наоборот, элиминируется влияние индивидуальных способностей на решение заданий различной трудности. Эти эмпирические оценки используются в качестве окончательных характеристик измеряемого свойства и самого измерительного инструмента.

Если перед исследователем стоит задача конструирования теста, то он приступает к получению характеристических кривых заданий теста. Характеристические кривые могут накладываться одна на другую. В этом случае избыточное задание выбраковывается. На определенных участках оси способность характеристические кривые заданий могут вовсе отсутствовать. Тогда разработчик теста должен добавить задания недостающей трудности, чтобы равномерно заполнить ими весь интервал шкалы логитов от -6 до +6. Заданий средней трудности должно быть больше, чем на краях распределения, чтобы тест обладал необходимой дифференцирующей силой.

Вся процедура эмпирической проверки теста повторяется несколько раз, пока разработчик не останется доволен результатом работы. Естественно, чем больше заданий, различающихся по уровню трудности, предложил разработчик для первичного варианта теста, тем меньше итераций он будет проводить.

Главным недостатком модели Раша теоретики считают пренебрежение крутизной характеристических кривых: крутизна полагается их одинакова.

Задания с более крутыми характеристическими кривыми позволяют лучше различать испытуемых, чем задания с более пологими кривыми.

Параметр, определяющий крутизну характеристических кривых заданий, называют дифференцирующей силой задания. Он используется в двухпараметрической модели Бирнбаума. По ней крутизна кривой в точке перегиба изменяется от минус бесконечности до плюс бесконечности. Если значение крутизны близки к 0, то испытуемые, различающиеся по уровню выраженности свойства, равновероятно дают ключевой ответ на это задание теста. При выполнении такого задания у испытуемых не обнаруживается различий.

Парадоксальный вариант получаем при значении крутизны меньше нуля 0. В этом случае более способные испытуемые отвечают правильно с меньшей вероятностью, а менее способные с большей. Опытные психодиагносты знают, что такие случаи встречаются очень часто.

Все психологические тесты можно разделить в зависимости от формального типа ответов на открытые и закрытые. В тестах с открытым ответом, к которым относятся тест Векслера или методика дополнения предложений, испытуемый сам порождает ответ. Тесты с закрытыми заданиями содержат варианты ответов. Испытуемый может выбрать один или несколько вариантов из предлагаемого множества.

В тестах способностей предусмотрено несколько вариантов неправильного решения и один правильный. Испытуемый может применить стратегию угадывания.

Результаты эмпирических исследований показали, что относительные частоты решения закрытых заданий отклоняется от теоретически предсказанных вероятностей двухпараметрической модели Бирнбаума. Чем ниже уровень способностей, тем чаще он прибегает к стратегии угадывания. Аналогично, чем труднее задание, тем больше вероятность того, что испытуемый будет пытаться угадать правильный ответ, а не решить задачу.

Бирнбаум предложил трехпараметрическую модель, которая позволила бы учесть влияние угадывания на результат выполнения теста. Но модель Бирнбаума не объясняет парадоксального, но встречающегося в практике тестирования феномена: испытуемый может реже выбирать правильный ответ, чем неправильный. Таким образом, частота решения некоторых заданий может не соответствовать предсказаниям модели.

Главный же недостаток использования модели IRT – игнорирование проблемы валидности. В психологической практике не наблюдается случаев, когда ответы на задания теста были бы обусловлены лишь одним фактором. Даже для тестирования общего интеллекта модели IRT неприменимы. Рекомендуется их использовать для коротких тестов с валидными заданиями.

 

©2015-2018 poisk-ru.ru
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Нарушение авторских прав и Нарушение персональных данных


Книга распространяется под лицензией «Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International».

Содержимое периодически обновляется и дорабатывается. Если вы хотите поделиться этой книгой, пожалуйста, делитесь ссылкой на самую актуальную версию, доступную здесь: http://svyatoslav.biz/software_testing_book_download/.

В основу книги положен десятилетний опыт проведения тренингов для тестировщиков, позволивший обобщить типичные для многих начинающих специалистов вопросы, проблемы и сложности. Эта книга будет полезна как тем, кто только начинает заниматься тестированием программного обеспечения, так и опытным специалистам — для систематизации уже имеющихся знаний и организации обучения в своей команде.

Задать вопросы, сообщить о найденных ошибках или поделиться впечатлениями от прочитанного можно по адресу stb@svyatoslav.biz.

P.S. Бумажная версия не планируется к свободному распространению. Она выдаётся участникам тренингов EPAM «Software Testing Introduction» и «Test Automation» (см. http://training.by).

Если вы еще не зарегистрированы, вы можете пройти по ссылке и завести собственную учетную запись в системе.

Без регистрации, прохождение тестов недоступно!

1. Выбор теста

В разделе «Тесты» опубликованы все доступные тесты на сайте. При необходимости воспользуйтесь поиском — введите текст в поле ввода и нажмите кнопку Найти.

В описании тестов указано: название теста, описание, режим прохождения, количество вопросов и время экзамена при выборе режима «Экзамен«.

Чтобы выбрать тест для прохождения, необходимо нажать на название теста (1) либо на ссылку Пройти тест (3).

Если вы хотите просмотреть все вопросы, без прохождения тестирования — нажмите на ссылку Вопросы (2). Все вопросы, которые открыты для просмотра без прохождения теста, опубликованы с вариантами ответов (правильные варианты отмечены).

2. Настройка режима теста. Запуск теста

Перед началом тестирования необходимо выбрать режим обучения:

  • обучение — процесс подготовки к экзамену;
  • экзамен — прохождение теста с ограниченным временем на выполнение (оценка знаний).

В режиме Обучение доступны дополнительные опции:

  • возможность выбора одного, нескольких или сразу всех разделов для прохождения обучения — разделы (4);
  • возможность настройки вывода правильных ответов и комментариев, как перед выбором варианта ответа, так и после — дополнительные опции (5).

После выбора теста, режима обучения, выполнения предварительных настроек — можно начинать тестирование.

Нажмите на кнопку Начать обучение (6).

В случае, если у вас не получается запустить Обучение или Экзамен, возможно вам понадобится включить файлы cookie в вашем браузере: инструкция здесь.

После включения файлов cookie, необходимо перезапустить браузер!

В некоторых случаях, необходимо добавить сайт в надежные узлы.

Возможно у вас установлена программа, которая блокирует сайт.

Это может быть блокировщик рекламы, или что-то подобное. Попробуйте добавить наш сайт в список исключений.

Обязательно добавьте сайт в список доверенных сайтов в браузере.

Добавить в доверенные:

Свойства обозревателя (можно зайти из панели управления в старых версиях Windows или в Windows 10 из параметров Сети и интернет) — вкладка Безопасность.

Пункт — Надежные сайты — кнопка Сайты — введите testsonline.ru — Добавить — Закрыть — Ок.

Перезапустить браузер.

Также можно настроить отдельно для сайта прием cookies:

Свойства обозревателя (можно зайти из панели управления в старых версиях Windows или в Windows 10 из параметров Сети и интернет) — вкладка Конфиденциальность.

кнопка Сайты — ввести testsonline.ru — разрешить! — Ок — Ок.

Если у Вас остались вопросы пишите нам на странице «Контакты«, мы будем рады ответить Вам!

Про Тестинг — Тестирование Программного Обеспечения

ПроТестинг – это сайт, посвященный тестированию программного обеспечения. Здесь вы найдете много полезной информации о проведении тестов, работе тестировщиков, тестеров и инженеров по обеспечению качества, а так же многое другое, связанное с разработкой программ.

Почему «Про Тестинг»?

Тестинг от английского слова Testing, что в переводе означает тестирование. То есть в русскоязычном чтении название сайта — «Про Тестирование» либо второй вариант — «Профессиональное Тестирование«.

Наша миссия

Мы пришли сюда, чтобы рассказать вам, что мы знаем, можем и умеем. Область нашей деятельности — Обеспечение качества и тестирование программного обеспечения.

  • Мы знаем, что процесс обеспечения качества охватывает абсолютно все звенья цепи, участвующие в разработке программного обеспечения. Мы знаем, какие рекомендации по обеспечению качества дать начинающим этот тернистый путь, а так же тем, кто уже набил не одну шишку на нем. Грамотно написанные шаблоны и инструкции, использование стандартов и процессов, а также проведенный анализ выполненных проектов — это верный путь к повышению качества…
  • Мы знаем немало о документации и артефактах в тестировании:
  • Мы знаем разные виды тестирования и уровни тестирования, а также фазы разработки ПО, где их можно, а главное нужно применять.
  • Мы знаем немало о такой непростой вещи, как тест дизайн, которая поможет вам оптимизировать количество тест кейсов для увеличения тестового покрытия необходимой функции.
  • Мы знаем как нужно автоматизировать процесс функционального и нагрузочного тестирования. У нас есть методики, статьи и практические советы по автоматизации тестирования, следование которым убережет Вас от многих ошибок, сократит время внедрения, увеличит надежность во время эксплуатации, а следовательно сэкономит вам деньги.

Вам нужна помощь?

Если вам нужна помощь, то вы пришли туда, где вам помогут. Наши специалисты окажут следующие услуги по тестированию и обеспечению качества:

  1. Рецензия и подготовка документации для тестирования
  2. Тестирование программного обеспечения
  3. Консультации по вопросам тестирования и обеспечения качества программного обеспечения
  4. Помощь в прохождении и проведении интервью (Виртуальное интервью)

Просто свяжитесь с нами по интересующим Вас вопросам на странице: Вопросы, пожелания и заявки

Наши планы

В ближайшем будущем вашему вниманию будут предоставлены Статьи специалистов, Тренинги, Онлайн консультации по тестированию ПО и обеспечению качества. Также Вам будут предложены готовые программные продукты, каркасы (frameworks) и java библиотеки, использование которых заметно упростит процесс тестирования и избавит вас от ряда проблем, с которыми сталкивалось большинство команд тестирования:

  • запуск тестов и подготовка результатов в формате XML/HTML (пилотная версия уже доступна JTR — Java Test Runner)
  • Фреймворк для автоматизации тестирования (пилотная версия уже доступна ATFwk)
  • автоматическая генерация тест кейсов
  • генерация данных, соответствующих вашим требованиям

и многое другое.

ProTesting.RU

 

Артистка балета по образованию Полина Фоминцева решила сменить сферу деятельности по совету брата-программиста. Начала изучать JavaScript, но потом решила попробовать себя в тестировании.

Пришла на курсы в Spalah и уже на первом занятии поняла — готова заниматься этим по восемь часов в день пять дней в неделю. Полина рассказала, как ей удалось устроиться тестировщицей еще во время курсов и как балерине работается в IT. 

Досье

Возраст: 21 год.
Образование
: Харьковская государственная академия культуры, факультет хореографического искусства, курсы тестировщиков в Spalah IT-School.
Увлечения
: танцы, активный отдых, рисование. 

О первой работе

Я раньше танцевала в балете, преподавала в балетной школе. Много работала за границей: в Германии, Китае. Во время работы по одному из контрактов получила травму и больше танцевать не смогла. Когда вернулась в Украину, поняла, что вообще устала от преподавания. 

Здесь начала свой небольшой бизнес по производству постельного белья. Оказалось, что с нуля это делать весьма непросто. И все-таки кризис в стране: иногда продажи идут отлично, а иногда застой. Но мне нравится, я до сих пор этим тоже занимаюсь и не собираюсь бросать.

О выборе IT 

Мой брат — разработчик в одной из IT-компаний Харькова, пишет на JavaScript. Когда я вернулась в Украину, он посоветовал и мне начать учить код. Сначала учила HTML. Сейчас, например, могу сверстать сайт-визитку. Но JavaScript мне давался очень сложно. Быстро поняла, что это не для слабаков 🙂 

Потом брат предложил попробовать себя sales менеджером, но для меня работа с клиентами очень стрессовая. Я всегда переживаю за качество, понравится или не понравится. И если есть какие-то претензии, то принимают их близко к сердцу. 

А еще я хотела выбрать специализацию, с которой можно было бы уехать. У меня много друзей-разработчиков за границей, и они советовали тестирование. Мол, хорошему программисту и тестировщику с опытом там довольно просто найти работу. 

Об учебе

Я решила пойти на курсы, чтобы понять, мое это или нет.

Другие школы, кроме Spalah, даже не рассматривала. До курсов часто ходила в образовательный хаб в Харькове на мероприятия, наслаждалась атмосферой. К тому же это рядом с домом, что очень удобно, когда у тебя трехлетний ребенок. 

Мне очень понравилось буквально с первого занятия. Возможно и потому, что по складу характера я всегда придираюсь к мелочам. Информация давалась легко, и хотелось получить по максимуму. Наверное, я надоела преподавателю 🙂 Постоянно спрашивала : «А какое будет домашнее задание?», «А что еще тестировщику нужно знать?». Он даже признался, что такой активной студентки у него еще не было. Нравилось, что можно было закидывать его любыми вопросами и что он такой терпеливый.

У нас очень дружная группа получилась. К сожалению, я на выпускной не попала. Но мы так сдружились, что и сейчас иногда собираемся. 

Также еще во время курсов я решила подготовиться к ISTQB сертификации. Если учить чуть больше, чем по программе, то ее реально сдать после. Понравилось, что в пособии по подготовке нет четких определений, которые ты должен знать назубок и механически повторять, там материал нужно именно понять. Это помогло мне систематизировать знания.


Первое занятие группы QA тестирования, в которой училась Полина

О поиске работы

У меня изначально не было цели найти себе работу, где буду получать 300 долларов на старте, или стать тестировщиком. Я просто хотела понять, понравится ли мне эта профессия, смогу ли я этим заниматься по восемь часов в день пять дней в неделю и еще после работы читать книги, чтобы дальше в ней развиваться. Оказалось, понравится.  

За месяц до окончания курсов я начала рассылать резюме, чтобы понять, что спрашивают на собеседовании. Просто искала вакансии, которые более-менее подходили. Понятно, что всюду хотят с опытом работы. Но если я понимала, что по знаниям могу пройти, то отправляла резюме. За это же никто в нос бить не будет.

Так я отправила резюме в три компании. Повезло, во все и на интервью пригласили. В одной из них я как-то легко ответила на все вопросы, потом выслала техзадание, и буквально через полчаса после этого мне ответили, что берут на работу. Еще через неделю я уже вышла.

После этого я, конечно, ходила на курсы, но домашние задания уже не делала. Тяжеловато было все успевать. Сказала преподавателю, что обойдусь без диплома с пятью звездочками.

О новой работе

Уже два месяца работаю в IT DEV GROUP. В коллективе все молодые, общительные и очень помогают. Поначалу им было немножко смешно, когда узнавали, что до этого я была балериной. Мол, это же совершенно разные отрасли. А я тогда отшучивалась, что вот они и увидели тестировщика-балерину.  

На новом месте освоилась недели через три. Работать над проектами стало легко и приятно, потому что начали с коллегами хорошо понимать друг друга. 

Еще мне нравится, что компания не очень большая. Начинающему проще, когда разработчик сидит почти напротив. В любой момент можно напрямую задавать ему вопросы, уточнять что-то. И у нас такая фишка: требуют, чтобы тестировщики очень хорошо разбирались в проекте, смотрели на него в целом.

О планах

Еще во время курсов я поняла, что мне нужно профильное высшее образование, и захотела поступить на заочное. Но решила, что пока не буду успевать. В планах — пойти через год-два. 

Теперь смотрю в сторону автоматизации. Пока учу сама, лид помогает. А уже через два месяца собираюсь на курсы по Python в Spalah.

Мне кажется, в сфере IT без саморазвития никуда. Постоянно нужно узнавать что-то новое. И если люди загораются этим, то у них все получается. Главное — не бояться попробовать, сделать первый шаг. В моем случае это оказались курсы. Потому что никогда не знаешь, что тебе может понравится и в чем ещё у тебя обнаружатся способности.

Читайте также: 
Студентка Spalah, которой предложили работу веб-дизайнером еще во время обучения
Студенты Spalah: «продажники», которые создали IT-компанию
Студент Spalah, который нашел работу в IT за 2 недели

Добавить комментарий

Закрыть меню