신호로 보는 AI
목차 › 제6장 같은 원리가 커지면
다음 단어 맞히기
숫자 0~9 대신 다음에 올 단어를 고른다
3D로 보기학습 3,000회 · 정답률 96%
다음 단어를 맞힌다
이 AI는 숫자 0~9 중 하나를 골랐다. 대화하는 AI는 "다음에 올 단어"를 고른다. 단어 조각 수만 개마다 퍼센트를 매기고, 하나를 골라 문장 끝에 붙인다. 이것을 계속 되풀이하며 글을 쓴다.
왜?다음 단어를 잘 맞히려면 문법도, 사실도, 말투도 알아야 한다. 그래서 "다음 단어 맞히기"만 연습해도 여러 능력이 함께 생긴다.
더 알기배우는 방법도 같다. 답을 내고, 실제로 다음에 온 단어와 비교해 틀린 정도를 재고, 거꾸로 계산해 점수를 조금 고친다. 그림 대신 아주 많은 글로 할 뿐이다.
이 장면을 3D로 보기 →더 읽기
Wikipedia: Large language model
시리즈의 다른 작품
손글씨 숫자 그림 1,797장(가로세로 8칸, scikit-learn 내장 데이터)으로 작은 AI(신경망, 64→16→16→10)를 실제로 학습시킨 값입니다. 정답률은 배울 때 쓰지 않은 그림 297장으로 쟀습니다. 공부용 작은 모형이며, 실제 AI 서비스는 배운 숫자가 수십억 개 이상입니다.