ChatGPT에 질문을 입력하면 잠시 후 자연스러운 문장으로 답변이 돌아온다. 겉으로 보면 GPT가 질문을 읽고 머릿속에서 답을 완성한 뒤 전달하는 것처럼 보인다. 하지만 생성형 언어 모델의 실제 동작은 이와 다르다.GPT 계열의 생성형 언어 모델은 입력을 토큰으로 변환하고, 앞에 놓인 토큰을 바탕으로 다음에 올 토큰의 확률을 계산한다. 선택한 토큰을 입력 뒤에 붙인 다음 같은 과정을 반복하면서 답변을 만든다.이 글의 범위이 글은 공개된 Transformer 및 GPT 논문을 바탕으로 GPT 계열 생성형 언어 모델의 일반적인 추론 과정을 설명한다. 공개된 초기 GPT는 Decoder-only Transformer를 사용했지만, GPT-5.6을 포함한 현재 상용 모델의 정확한 레이어 구성, 파라미터 수, ..