Теорія AI-тестування · ISTQB CT-AI

AI ламається не так, як звичайний софт.

Тому й тестується інакше - і тут ти розбираєшся в теорії: як ці системи насправді дають збій - погані дані на вході, поведінка, що тихо пливе вже в проді, - і як це тестувати. Знання - ось заради чого все. Сертифікат ISTQB CT-AI - бонус: опануєш це як слід - складеш іспит без зубріння або взагалі пропустиш його, навичка лишається з тобою в будь-якому разі.

Як це працює

Ближче до гри, ніж до підручника.

П'ятнадцять хвилин на день, і питання навмисно стають злими.

1
Крок 1 · Вчись

Дивись лекцію

Одна ідея, від п'яти до п'ятнадцяти хвилин, пояснена так, як пояснюють колезі за обідом. Диплом з ML не потрібен.

2
Крок 2 · Практика

Відповідай на кілька питань

Одразу після, поки ще свіже. Помилишся - воно скаже чому, а не просто "ні, спробуй ще".

3
Крок 3 · Спитай Кая

Твій AI-ментор, 24/7

Застряг об 11-й вечора на тому, що таке "fairness" для твоєї моделі? Спитай Кая в Telegram. Він відповість, у будь-яку годину.

Бонус · Іспит

Склади сертифікацію, якщо хочеш

Є повний пробний іспит, щоб на ньому ганяти. Справжній ISTQB ти записуєш сам - папір це приємний бонус поверх того, що ти реально все знаєш.

Програма

Вісім тижнів.

Тринадцять модулів: вступ, одинадцять, що йдуть за офіційним силабусом ISTQB CT-AI, і фінальна перевірка. Починається з того, чим ці системи насправді є і де вони ламаються, далі переходить до того, як ти це тестуєш. Одна лекція на день; пробний іспит наприкінці йде в реальних умовах на час.

Повний силабус →
  • M-00ВступПочни тут
  • M-01Вступ до тестування AIОснови
  • M-02Характеристики якості AI-системISO 25059
  • M-03Machine learning - оглядЧитай model card
  • M-04Machine learning - даніLeakage, splits
  • M-05Метрики функціональної якості MLConfusion matrix
  • M-06Neural networks і тестуванняAdversarial
  • M-07Тестування AI-систем - оглядСтратегія
  • M-08Тестування AI-специфічних характеристик якостіBias, drift
  • M-09Методи й техніки тестування AIMetamorphic, A/B
  • M-10Тестові середовища для AI-системДані, ізоляція
  • M-11Використання AI для тестуванняТулінг
  • M-12Фінальна перевіркаПробний іспит
Твій AI-ментор

Знайомся, Кай.

Не чат-бот збоку. Ментор, який пам'ятає тебе, відповідає голосом і пише першим.

Справжнє запитання, справжня відповідь
Ти

поясни metamorphic testing у 3 рядках, просто

Кай

Не завжди знаєш точну правильну відповідь, але знаєш, як вона має змінюватися. Поверни фото - хороший image classifier все одно скаже "кіт": мітка та сама, вхід новий. Не сказав - ти знайшов баг, і "еталонна" відповідь для цього не знадобилася. Розбираємо в Module 9.

  • Він тримає нитку. Пройшов лекцію 23 у понеділок? У четвер підхопить там, де ти зупинився - прогрес, бали за квізи і слабкі місця йдуть з тобою в кожній розмові, без повторних пояснень.
  • Він говорить. Запитай голосом - голос на вході, голос на виході, його власним, будь-якої години.
  • Він пише першим. Стрік ось-ось обірветься? Він нагадає до того, як він урветься, а не після.
Сторінка «Що Кай пам'ятає»: кожен запис, який Кай зберігає про студента, і будь-який можна видалити
Що Кай пам'ятає - і будь-що можна видалити. Нічого прихованого.
Послухай його · 15 сек
Ціна · просто

Двоє дверей.

- Безкоштовна проба

Перші дванадцять.

free
Без картки · без реєстрації
  • Перші 12 лекцій, від і до
  • Практичні питання до кожної
  • 3 запитання на день Каю, AI-ментору
  • Спроба пробного іспиту
Почати безкоштовно
Якщо не зайшло · ні копійки
Фокус-група · публічні пости

Що тестувальники написали публічно.

Сорок шість QA-людей пройшли безкоштовний Модуль 1 перед запуском. Це ті, хто написав про це в LinkedIn - імена ведуть на оригінальний пост.

Anastasia, course author
Хто навчає

Анастасія, QA вже 12 років.

Я QA-лід, а не AI-дослідниця. Мені вручили "ту нову штуку з AI", і я мусила розібратися, як її тестувати.

Дванадцять років у QA, ISTQB Foundation з 2018-го, а зараз я працюю поруч з десь двадцятьма іншими тестувальниками. Коли AI впав мені на стіл, я почала будувати той курс, який хотіла б отримати від когось сама. Це зайняло два роки і приблизно €35,000.

Тут спершу теорія: чим ці системи насправді є, і що слова на кшталт fairness і drift починають означати, коли штука вчиться сама по собі. Сертифікат CT-AI сидить зверху, для тих моментів, коли він тобі потрібен. Саме теорія - та частина, через яку люди на AI-standup замовкають і реально починають тебе слухати.

- АнастасіяАвторка курсу · QA Tech Lead · ISTQB