토크나이저
원문을 모델이 처리할 토큰으로 나누고 다시 텍스트로 되돌리는 구성 요소입니다.
요즘 토크나이저는 대부분 BPE 같은 서브워드 방식을 씁니다. 희귀한 단어는 여러 토큰으로 쪼개지고 흔한 단어는 통째로 남죠. 같은 의미라도 언어마다 토큰 수가 달라지는 이유입니다.
관련 리소스
포옹하기 페이스 트랜스포머 튜토리얼
NLP와 컴퓨터 비전의 업계 표준 라이브러리 Hugging Face Transformers 공식 튜토리얼입니다. 텍스트 분류·토큰화·번역·이미지 세분화 등을 다루며 PyTorch와 TensorFlow 백엔드용 코드 예제를 제공합니다. 사전 학습 모델을 활용하거나 커스텀 데이터셋에서 파인튜닝하여 프로덕션에 활용하려는 실무자를 대상으로 합니다.
완전한 OpenAI API 가이드
OpenAI API 생태계를 위한 종합 단계별 가이드로, GPT·DALL·E·Whisper 모델을 심층 다룹니다. 계정 설정과 인증부터 첫 API 호출, 프롬프트 설계 패턴, 비용 최적화 전략까지 체계적으로 안내하며 OpenAI 플랫폼 입문 개발자에게 적합합니다.