신호로 보는 AI
목차 › 제6장 같은 원리가 커지면
말도 값으로
문장을 조각내고, 조각마다 값을 붙인다
3D로 보기학습 3,000회 · 정답률 96%
말도 값으로 바꾼다
대화하는 AI도 값으로만 계산한다. 문장을 단어나 단어 조각으로 자르고, 조각마다 값 수백~수천 개를 붙인다. 그림을 64칸의 값으로 바꾼 것과 같은 첫걸음이다.
왜?뜻이 비슷한 말은 비슷한 값을 갖도록 배운다. 그래서 처음 보는 문장도 비슷한 말을 실마리로 다룰 수 있다.
더 알기단어 조각을 토큰, 조각에 붙는 값 묶음을 임베딩이라고 부른다. 이 값들도 처음엔 아무렇게나 시작해서 학습으로 정해진다.
이 장면을 3D로 보기 →더 읽기
Wikipedia: Large language model
시리즈의 다른 작품
손글씨 숫자 그림 1,797장(가로세로 8칸, scikit-learn 내장 데이터)으로 작은 AI(신경망, 64→16→16→10)를 실제로 학습시킨 값입니다. 정답률은 배울 때 쓰지 않은 그림 297장으로 쟀습니다. 공부용 작은 모형이며, 실제 AI 서비스는 배운 숫자가 수십억 개 이상입니다.