Теория тестирования AI · ISTQB CT-AI

AI ломается не как обычный софт.

А значит, и тестировать его - другая работа. Шестьдесят три коротких лекции о том, как эти системы реально идут не туда - плохие данные на входе, поведение, которое тихо уплывает (drift), когда модель уже в проде, - и что с этим делать. Сертификат ISTQB CT-AI идёт в комплекте, если тебе нужна корочка.

63
Лекции по одной в день · 5-15 мин
300+
Вопросов на практику
13
Модулей · 8 недель
24/7
AI-ментор · Telegram
Как это устроено

Ближе к игре, чем к учебнику.

Пятнадцать минут в день, и вопросы намеренно бьют по больному.

1
Шаг 1 · Учись

Смотри лекцию

Одна идея, пять-пятнадцать минут, объяснённая так, как ты бы рассказал её коллеге за обедом. Диплом по ML не предполагается.

2
Шаг 2 · Практика

Ответь на пару вопросов

Сразу после, пока ещё свежо в голове. Ошибёшься - и тебе объяснят почему, а не просто "не, попробуй ещё".

3
Шаг 3 · Спроси Кая

Твой AI-ментор, 24/7

Завис в 23:00 на том, что вообще значит "fairness" для твоей модели? Спроси Кая в Telegram. Он ответит в любой час.

Бонус · Экзамен

Сдай сертификат, если хочешь

Есть полный пробный экзамен, чтобы прогнать себя. Настоящий ISTQB записываешь сам - корочка приятный бонус сверху того, что ты реально в теме.

Программа

Восемь недель.

Тринадцать модулей: вступление, одиннадцать по официальному силлабусу ISTQB CT-AI и финальная аттестация. Начинаем с того, что эти системы вообще такое и где они ломаются, потом переходим к тому, как это тестировать. Одна лекция в день; пробный экзамен в конце идёт по-настоящему на время.

Полный силлабус →
  • M-00ВведениеНачни отсюда
  • M-01Введение в тестирование AIОсновы
  • M-02Атрибуты качества для AI-системISO 25059
  • M-03Machine learning - обзорЧитаем model card
  • M-04Machine learning - данныеLeakage, сплиты
  • M-05Метрики функционального качества MLConfusion matrix
  • M-06Neural networks и тестированиеAdversarial
  • M-07Тестирование AI-систем - обзорСтратегия
  • M-08Тестирование AI-специфичных атрибутов качестваBias, drift
  • M-09Методы и техники тестирования AIMetamorphic, A/B
  • M-10Тестовые окружения для AI-системДанные, изоляция
  • M-11Использование AI для тестированияИнструменты
  • M-12Финальная аттестацияПробный экзамен
Цены · просто

Две двери.

- Бесплатно попробовать

Первые двенадцать.

бесплатно
Без карты · без регистрации
  • Первые 12 лекций, целиком
  • Вопросы на практику к каждой
  • Сессия с Каем, AI-ментором
  • Кусочек пробного экзамена
Начать бесплатно
Если не зашло · ноль затрат
Фокус-группа · публичные посты

Что тестировщики написали публично.

Сорок шесть QA-специалистов прошли бесплатный Модуль 1 до запуска. Вот те, кто написал об этом в LinkedIn - имена ведут на оригинальный пост.

Anastasia, course author
Кто ведёт

Анастасия, QA уже 12 лет.

Я QA-лид, а не AI-исследователь. Мне в руки сунули "эту новую штуку с AI", и пришлось разбираться, как её тестировать.

Двенадцать лет в QA, ISTQB Foundation с 2018-го, сейчас работаю бок о бок ещё с двумя десятками тестировщиков. Когда AI свалился ко мне на стол, я начала собирать тот курс, который мечтала бы получить сама. Ушло два года и около €35,000.

Здесь сначала теория: что эти системы вообще такое и что значат слова вроде fairness и drift, когда штука учится сама по себе. Сертификат CT-AI идёт сверху, на случай если он тебе нужен. Но именно теория - та часть, из-за которой на AI-стендапе люди замолкают и реально начинают тебя слушать.

- АнастасияАвтор курса · QA Tech Lead · ISTQB