크기가 다를 뿐

크기가 다를 뿐

이 AI가 배운 값(점수)은 1,482개다. 2020년에 나온 GPT-3는 약 1,750억 개였다. 약 1억 배다. 층도 훨씬 많고, 문장 속 단어들이 서로를 참고하게 하는 장치도 들어 있다.

왜?점수를 곱하고 더하기, 작은 값 끄기, 퍼센트로 답하기, 틀린 만큼 거꾸로 고치기. 이 작품에서 본 원리는 그대로다. 크기가 커지면서 할 수 있는 일이 크게 늘었다.

더 알기단어들이 서로를 참고하게 하는 장치를 어텐션이라고 부른다. 대화 서비스는 이렇게 배운 AI를 사람이 고른 좋은 답변과 평가로 한 번 더 다듬어 만든다. 이것도 결국 점수를 고치는 학습이다.