신호로 보는 AI
목차 › 제2장 곱하고 더하고 거른다
작은 값 끄기
더한 값이 0보다 작으면 0으로 — 꺼진 구슬
3D로 보기학습 0회 · 정답률 6.1%
작은 값은 꺼 버린다
가운데 두 층의 구슬은 더한 값이 0보다 작으면 0으로 바꾼다. 그래서 어떤 구슬은 빛나고, 어떤 구슬은 꺼진 채로 남는다. 꺼진 구슬은 다음 층에 아무것도 보내지 않는다.
왜?"이 모양이 있다, 없다"를 가르는 스위치 같은 역할이다. 중간에 이런 스위치가 있어야 층을 여러 개 쌓았을 때 더 복잡한 모양을 구별할 수 있다.
더 알기이 방식을 ReLU라고 부른다. 계산이 아주 간단해서 요즘 AI에서 가장 많이 쓰는 방식 중 하나다.
이 장면을 3D로 보기 →더 읽기
Wikipedia: Rectifier (neural networks)
시리즈의 다른 작품
손글씨 숫자 그림 1,797장(가로세로 8칸, scikit-learn 내장 데이터)으로 작은 AI(신경망, 64→16→16→10)를 실제로 학습시킨 값입니다. 정답률은 배울 때 쓰지 않은 그림 297장으로 쟀습니다. 공부용 작은 모형이며, 실제 AI 서비스는 배운 숫자가 수십억 개 이상입니다.