신호로 보는 AI
목차 › 제5장 반복하면 배운다
되풀이해서 배우기
수천 번 고치면 엉터리가 정답에 가까워진다
3D로 보기100번 되풀이하면
그림을 넣고, 틀린 만큼 고치고, 다시 넣는다. 이것을 100번 되풀이한다. 그동안 그림 3,200장을 본다. 선의 색이 바뀌고, 정답률이 빠르게 올라간다.
이 때의 AI의 답: 3 (63%) · 정답 3에 준 퍼센트 63% · 정답
왜?처음에는 많이 틀리니까 한 번 고칠 때마다 많이 좋아진다. 그래서 처음 몇십 번 사이에 가장 크게 바뀐다.
더 알기아래 막대를 손으로 끌어 보자. 학습 횟수에 따라 AI가 바뀌는 모습을 앞뒤로 볼 수 있다.
이 장면을 3D로 보기 →3,000번까지
3,000번까지 계속한다. 그림 96,000장을 본 셈이다(같은 그림을 여러 번 보기도 한다). 정답률은 점점 천천히 오르지만, 정답에 주는 퍼센트는 더 확실해진다.
이 때의 AI의 답: 3 (100%) · 정답 3에 준 퍼센트 100% · 정답
왜?정답률은 배울 때 쓰지 않은 그림 297장으로 잰다. 외운 그림이 아니라 처음 보는 그림을 맞혀야 진짜 배운 것이기 때문이다.
더 알기너무 오래 배우면 배운 그림만 잘 맞히고 새 그림은 오히려 못 맞히기도 한다. 시험 문제만 외운 학생과 비슷하다. 이것을 과적합이라고 부른다.
이 장면을 3D로 보기 →더 읽기
Wikipedia: Stochastic gradient descent · Wikipedia: Overfitting
시리즈의 다른 작품
손글씨 숫자 그림 1,797장(가로세로 8칸, scikit-learn 내장 데이터)으로 작은 AI(신경망, 64→16→16→10)를 실제로 학습시킨 값입니다. 정답률은 배울 때 쓰지 않은 그림 297장으로 쟀습니다. 공부용 작은 모형이며, 실제 AI 서비스는 배운 숫자가 수십억 개 이상입니다.