Computer Science/ML, DL
-
CS : Deep Learning (2/2)Computer Science/ML, DL 2021. 4. 10. 17:35
** 순서는 무의미합니다. 이전 글 : kxmjhwn.tistory.com/263 Knowledge : Deep Learning (1/2) ** 순서는 무의미합니다. attention mask 학습 시간의 효율을 위해, 패딩된 부분을 attention 구조에 통과시키지 않도록 함 값이 있다면 1, 패딩 부분이라면 0 0 부분은 bert 모델에서 attention을 수 kxmjhwn.tistory.com deep-learning 머신 러닝의 한 분야 이름에서 알 수 있듯, 딥, 즉 여러 개의 층(layer)에서 점진적으로 학습하는 것 overfitting 1. 학습 데이터에 너무 최적화를 해서, 오히려 실제 데이터와 차이가 많이 발생 딥 러닝은 학습 데이터가 많을 수록 더 정교한 모델을 만들 수 있지만, ..
-
CS : BERT (2/2)Computer Science/ML, DL 2021. 4. 9. 22:32
이전 글 : kxmjhwn.tistory.com/270?category=1196626 Knowledge : BERT (1/2) NLP NLP = Natural Language Processing 자연어(=우리가 일상적으로 사용하는 말)의 의미를 분석하여 컴퓨터가 처리할 수 있도록 처리하는 것을 말한다. Transformer 1. Transformer는 Self-Attention이라는 기법.. kxmjhwn.tistory.com Example 다음 프로젝트에서 사용한 기술을 예로 하여 설명한다. URL : kxmjhwn.tistory.com/239?category=1121129 [공모전] 119 신고 도움 서비스, 119NER 00:00 오프닝 영상 00:26 서비스 정의 및 필요성 01:35 시스템 구성..
-
CS : YOLO v5Computer Science/ML, DL 2021. 4. 9. 17:18
YOLO : You Only Look Once 1. 이미지 전체를 단 한번만 본다. YOLO의 등장 이전의 모델 중 대표적으로 R-CNN 모델의 경우, 이미지에서 일정한 규칙으로 이미지를 여러장 쪼개서 CNN 모델을 통과시킨다. 때문에, 한 장의 이미지에서 객체 탐지를 수행해도 실제로는 수 천장의 이미지를 모델에 통과시킨다. 반면, YOLO는 이미지 전체를 말 그대로 한 번만 본다. 2. 통합된 모델을 사용한다. 다른 객체 탐지 모델들은 다양한 전처리 모델과 인공 신경망을 결합하여 사용한다. 반면, YOLO는 단 하나의 인공 신경망을 사용하여 처리한다. 3. 실시간 객체 탐지 모델이다. 높은 성능으로 객체를 탐지하는 모델은 아니지만, 실시간으로 여러장의 이미지를 탐지할 수 있다. Faster R-CNN보..
-
CS : BERT (1/2)Computer Science/ML, DL 2021. 4. 7. 10:18
NLP NLP = Natural Language Processing 자연어(=우리가 일상적으로 사용하는 말)의 의미를 분석하여 컴퓨터가 처리할 수 있도록 처리하는 것을 말한다. Transformer 1. Transformer는 Self-Attention이라는 기법을 활용한 모델이다. Self-Attention 기법은 기존의 RNN, CNN 계열의 신경망 구조의 문제점을 극복하고자 만들어진 기법이다. 2. 기존 기법의 문제점 CNN : 설정한 윈도우를 기준으로, 그 안의 언어에 대해 학습하는데, 윈도우 밖의 언어에 대해서는 파악이 어렵다는 문제가 있다. RNN : 연쇄적인 특징을 이용하지만, 뒤로 갈수록 의미가 반영되기 어렵다는 문제가 있다. RN : 자기 자신을 제외한 모든 단어를 한 번에 처리하지만, ..