Теория AI-тестирования · ISTQB CT-AI

AI ломается не так, как обычный софт.

Поэтому и тестируется иначе - и здесь ты разбираешься в теории: как эти системы на самом деле дают сбой - плохие данные на входе, поведение, которое тихо плывёт уже в проде, - и как это тестировать. Знание - вот ради чего всё. Сертификат ISTQB CT-AI - бонус: освоишь это как следует - сдашь экзамен без зубрёжки или вовсе пропустишь его, навык остаётся с тобой в любом случае.

Начать курс 12 лекций бесплатно
Как это устроено

Ближе к игре, чем к учебнику.

Пятнадцать минут в день, и вопросы намеренно бьют по больному.

1
Шаг 1 · Учись

Смотри лекцию

Одна идея, пять-пятнадцать минут, объяснённая так, как рассказывают коллеге за обедом. Диплом по ML не предполагается.

2
Шаг 2 · Практика

Ответь на пару вопросов

Сразу после, пока ещё свежо в голове. Ошибёшься - и тебе объяснят почему, а не просто "не, попробуй ещё".

3
Шаг 3 · Спроси Кая

Твой AI-ментор, 24/7

Завис в 23:00 на том, что вообще значит "fairness" для твоей модели? Спроси Кая в Telegram. Он ответит в любой час.

★
Бонус · Экзамен

Сдай сертификат, если хочешь

Есть полный пробный экзамен, чтобы прогнать себя. Настоящий ISTQB записываешь сам - корочка приятный бонус сверху того, что ты реально в теме.

Программа

Восемь недель.

Тринадцать модулей: вступление, одиннадцать по официальному силлабусу ISTQB CT-AI и финальная аттестация. Начинаем с того, что эти системы вообще такое и где они ломаются, потом переходим к тому, как это тестировать. Одна лекция в день; пробный экзамен в конце идёт по-настоящему на время.

Полный силлабус →
  • M-00ВведениеНачни отсюда
  • M-01Введение в тестирование AIОсновы
  • M-02Атрибуты качества для AI-системISO 25059
  • M-03Machine learning - обзорЧитаем model card
  • M-04Machine learning - данныеLeakage, сплиты
  • M-05Метрики функционального качества MLConfusion matrix
  • M-06Neural networks и тестированиеAdversarial
  • M-07Тестирование AI-систем - обзорСтратегия
  • M-08Тестирование AI-специфичных атрибутов качестваBias, drift
  • M-09Методы и техники тестирования AIMetamorphic, A/B
  • M-10Тестовые окружения для AI-системДанные, изоляция
  • M-11Использование AI для тестированияИнструменты
  • M-12Финальная аттестацияПробный экзамен
Твой AI-ментор

Знакомься, Кай.

Не чат-бот сбоку. Ментор, который помнит тебя, отвечает голосом и пишет первым.

Настоящий вопрос, настоящий ответ
Ты

объясни metamorphic testing в 3 строках, просто

Кай

Не всегда знаешь точный правильный ответ, но знаешь, как он должен меняться. Поверни фото - хороший image classifier всё равно скажет "кошка": метка та же, вход новый. Не сказал - ты нашёл баг, и "эталонный" ответ для этого не понадобился. Разбираем в Module 9.

  • Он держит нить. Прошёл лекцию 23 в понедельник? В четверг подхватит там, где ты остановился - прогресс, баллы за квизы и слабые места идут с тобой в каждом разговоре, без повторных объяснений.
  • Он говорит. Спроси голосом - голос на входе, голос на выходе, его собственным, в любой час.
  • Он пишет первым. Стрик вот-вот сорвётся? Он напомнит до того, как он оборвётся, а не после.
Страница «Что Кай помнит»: каждая запись, которую Кай хранит о студенте, и любую можно удалить
Что Кай помнит - и любое можно удалить. Ничего скрытого.
Послушай его · 15 сек
€
Цены · просто

Две двери.

- Бесплатно попробовать

Первые двенадцать.

бесплатно
Без карты · без регистрации
  • ◆Первые 12 лекций, целиком
  • ◆Вопросы на практику к каждой
  • ◆3 вопроса в день Каю, AI-ментору
  • ◆Кусочек пробного экзамена
Начать бесплатно
Если не зашло · ноль затрат
Фокус-группа · публичные посты

Что тестировщики написали публично.

Сорок шесть QA-специалистов прошли бесплатный Модуль 1 до запуска. Вот те, кто написал об этом в LinkedIn - имена ведут на оригинальный пост.

Maxim Stelmakh, LinkedIn post about CT-AI course

Maxim Stelmakh

QA · Преподаватель CS

LinkedIn
 Kateryna Karpenko, LinkedIn post about CT-AI course

Kateryna Karpenko

Manual QA · Health-приложения

LinkedIn
 Yevheniia Nikiforova, LinkedIn post about CT-AI course

Yevheniia Nikiforova

QA Engineer

LinkedIn
 Olena Kharkova, LinkedIn post about CT-AI course

Olena Kharkova

Manual QA

LinkedIn
 Oksana Gryshyna, LinkedIn post about CT-AI course

Oksana Gryshyna

QA · Сертифицирована ISTQB

LinkedIn
 Anna Stanishevska, LinkedIn post about CT-AI course

Anna Stanishevska

ISTQB · Manual QA

LinkedIn
Anastasia, course author
Кто ведёт

Анастасия, QA уже 12 лет.

Я QA-лид, а не AI-исследователь. Мне в руки сунули "эту новую штуку с AI", и пришлось разбираться, как её тестировать.

Двенадцать лет в QA, ISTQB Foundation с 2018-го, сейчас работаю бок о бок ещё с двумя десятками тестировщиков. Когда AI свалился ко мне на стол, я начала собирать тот курс, который мечтала бы получить сама. Ушло два года и около €35,000.

Здесь сначала теория: что эти системы вообще такое и что значат слова вроде fairness и drift, когда штука учится сама по себе. Сертификат CT-AI идёт сверху, на случай если он тебе нужен. Но именно теория - та часть, из-за которой на AI-стендапе люди замолкают и реально начинают тебя слушать.

- АнастасияАвтор курса · QA Tech Lead · ISTQB