Computer Science/ML, DL
-
CS : Deep Learning (1/2)Computer Science/ML, DL 2021. 4. 6. 11:26
** 순서는 무의미합니다. attention mask 학습 시간의 효율을 위해, 패딩된 부분을 attention 구조에 통과시키지 않도록 함 값이 있다면 1, 패딩 부분이라면 0 0 부분은 bert 모델에서 attention을 수행하지 않게 된다. embedding 자연어 처리에서 특징을 추출하기 위해 수치화, 벡터화 해주는 과정 tokenizing 자연어 처리에서 텍스트의 전처리 과정에서 사용됨 일상 언어를 컴퓨터가 이해할 수 있도록 '의미 있는 가장 작은 단위(토큰)'로 나누는 과정 padding 텍스트에 대해 embedding 처리 후, 텍스트의 길이를 max_len으로 동일하게 변환 빈 공간에 대해 0으로 채우는 작업 padding을 하지 않으면, 가장자리에 대한 정보가 유실될 수 있기 때문에, ..