어텐션(Attention)
각 출력 토큰에 대해 입력의 어느 부분이 중요한지 가중치를 두는 메커니즘입니다.
문장 속 “it”이 무엇을 가리키는지 풀 때, 어텐션은 모델이 올바른 명사에 집중하게 해 줍니다. 트랜스포머가 장거리 문맥에 강한 이유가 바로 셀프 어텐션입니다.
관련 리소스
포옹하기 페이스 트랜스포머 튜토리얼
NLP와 컴퓨터 비전의 업계 표준 라이브러리 Hugging Face Transformers 공식 튜토리얼입니다. 텍스트 분류·토큰화·번역·이미지 세분화 등을 다루며 PyTorch와 TensorFlow 백엔드용 코드 예제를 제공합니다. 사전 학습 모델을 활용하거나 커스텀 데이터셋에서 파인튜닝하여 프로덕션에 활용하려는 실무자를 대상으로 합니다.
PyTorch 딥러닝 프레임워크
PyTorch는 Meta에서 개발한 선도적 오픈소스 딥러닝 프레임워크로, 동적 계산 그래프와 Python 친화적 인터페이스로 유명합니다. 최첨단 AI 연구부터 프로덕션 배포까지 지원하며, GPU와 TPU에서 모델을 훈련·디버깅·확장할 수 있는 풍부한 도구 생태계를 갖추고 있습니다.