트랜스포머
셀프 어텐션으로 모든 토큰을 병렬 처리하는, 현대 LLM의 기반 신경망 아키텍처입니다.
2017년 논문 “Attention Is All You Need”에서 등장해 순환 신경망을 밀어내고 초대규모 학습을 가능하게 했습니다. 오늘날 유명한 LLM은 사실상 전부 트랜스포머의 변형입니다.
관련 리소스
포옹하기 페이스 트랜스포머 튜토리얼
NLP와 컴퓨터 비전의 업계 표준 라이브러리 Hugging Face Transformers 공식 튜토리얼입니다. 텍스트 분류·토큰화·번역·이미지 세분화 등을 다루며 PyTorch와 TensorFlow 백엔드용 코드 예제를 제공합니다. 사전 학습 모델을 활용하거나 커스텀 데이터셋에서 파인튜닝하여 프로덕션에 활용하려는 실무자를 대상으로 합니다.
PyTorch 딥러닝 프레임워크
PyTorch는 Meta에서 개발한 선도적 오픈소스 딥러닝 프레임워크로, 동적 계산 그래프와 Python 친화적 인터페이스로 유명합니다. 최첨단 AI 연구부터 프로덕션 배포까지 지원하며, GPU와 TPU에서 모델을 훈련·디버깅·확장할 수 있는 풍부한 도구 생태계를 갖추고 있습니다.