저는 QA 리드이지 AI 연구자가 아닙니다. 누군가 저에게 새로운 AI를 건네며 테스트하라고 했고, 그 방법을 제가 직접 알아내야 했습니다.
저는 테스팅 경력 12년, 2018년부터 ISTQB Foundation입니다. 요즘은 바르샤바에서 제 분야의 다른 테스터 약 스무 명과 나란히 일합니다. 이 강의는 AI 테스팅을 제가 필요한 방식으로 설명해 줄 사람이 아무도 없다는 걸 깨닫고 나서 직접 만든 것입니다.
5년, 8년, 10년 경력을 가진 사람들이 갑자기 다시 주니어가 된 듯한 기분을 느꼈습니다. 스프린트 리뷰에서 explainability나 model drift 이야기가 나올 때마다 우리는 고개를 끄덕이고는 집에 가서 두 시간씩 그것을 읽었습니다. 그래도 여전히 제대로 이해하지 못했습니다.
온라인의 모든 글은 제가 이미 안다고 전제하거나, 결국 혼자서 알아낼 거라고 가정했습니다. 그렇게 3년이면 충분히 길었습니다.
그래서 저는 백 개가 넘는 자료를 직접 훑었고, 그 답들을 한곳에 모았습니다. 46명의 QA 동료가 무료 첫 모듈을 거치며 여전히 흐릿한 부분이 어디인지 알려 주었습니다.
남은 것이 이 강의입니다. AI 테스팅에 관한 모든 것이 아니라, 이것이 제 책상에 떨어졌을 때 누군가 건네줬다면 그 3년을 아껴 줬을 바로 그 강의들의 묶음입니다.
AI 테스팅의 어려운 아이디어 대부분은, 제대로 된 것을 찾아보면 이미 영화 속에 대응하는 장면이 있습니다. 제가 그것에 기대는 이유는 당신의 뇌가 이미 그 이야기를 붙잡고 있기 때문입니다. 저는 그저 기술적인 부분을, 목요일까지도 잊지 않을 무언가에 붙여 줄 뿐입니다.
모두가 아무것도 바뀌지 않았다고 우기는 사이, 첫날과 다르게 서서히 행동을 멈추는 시스템.
진짜 사례를 잡아내는 것과 무고한 쪽을 잘못 표시하는 것 사이의 거래. 그 trade-off를 불편할 만큼 구체적으로.
자율 시스템을 위한 테스트 명세의 최초 시도, 그리고 그것이 조용히 실패하는 온갖 방식.
이것은 장식이 아닙니다. 비유는 어떤 문제에 막혔을 때 머릿속에서 되감을 장면을 줍니다. 그게 비결의 전부입니다. 어떻게 가르치는가는 무엇이 담겼는가만큼 중요합니다.
만드는 데 2년과 약 €35,000이 들었습니다. 그 대부분은 빨리 내놓기보다 설명을 제대로 다듬는 데 들어갔습니다.
이 강의는 이론으로 문을 엽니다: 이런 시스템이 실제로 무엇인지, 그리고 fairness나 drift 같은 단어가 그것이 스스로 학습하기 시작하면 무엇을 뜻하게 되는지. ISTQB CT-AI 자격은 그 위에 얹힙니다, 원할 때를 위해. 시험은 ISTQB에서 별도로 예약하고 결제하며, 응시료는 ISTQB가 정하고 지역마다 다릅니다 - 제 일은 당신이 들어가서 합격할 수 있도록 만드는 것입니다.
AI standup에서 사람들이 멈춰 서서 당신 말을 진짜로 듣게 만드는 건 바로 이 이론입니다. 종이는 좋은 것입니다. 하지만 자신이 무슨 말을 하는지 아는 것이 핵심입니다.
저는 일부러 짧게 만들었습니다. 하루 한 강의, 5분에서 15분, 군더더기 없이. 만약 제가 이것을 정직하게 가르칠 수 없게 되는 날이 오면, 저는 가르치는 일을 멈출 것입니다.