1. 신경망 제작
1.1. 1. 전처리
1.1.1. - 데이터 정규화(min-max 등) - 학습/검증 데이터 분류(data split) - Batch 구성설정 - 인코딩(Word2Vec 등)
1.2. 2. Layers
1.2.1. - Flatten - Dense(Fully Connected) - Activation(sigmoid, ReLU, Softmax) - BatchNorm - DropOut - Convolution - Pooling
1.3. 3. 가중치 초기화
1.3.1. - Random(Default) - Xavier (GlorotNormal) - He(HeNormal)
1.4. 4. 가중치 학습
1.4.1. - SGD - Adam, AdamW - Momentum - LearningRate - Weight Decay, Weight Constraint
1.5. 5. 학습관련
1.5.1. - Epoch - Iteration - EarlyStop - LearningRateDecay - BatchSize
2. CNN
2.1. 구조
2.1.1. Feature extraction
2.1.1.1. input data의 고유한 특징 추출 및 수집
2.1.1.2. layer
2.1.1.2.1. convolution
2.1.1.2.2. pooling
2.1.1.3. 주요 용어
2.1.1.3.1. convolution, 합성곱
2.1.1.3.2. channel, 채널
2.1.1.3.3. filter, 필터
2.1.1.3.4. kernel, 커널
2.1.1.3.5. stride, 스트라이드
2.1.1.3.6. padding, 패딩
2.1.1.3.7. feature map, 피처맵
2.1.1.3.8. activation map, 액티베이션맵
2.1.1.3.9. pooling layer, 풀링 레이어
2.1.1.4. 출력 데이터 계산
2.1.1.4.1. n_out = [ (n_in + 2p -k) / s ] + 1
2.1.2. Flatten
2.1.2.1. 이미지 -> 데이터 배열
2.1.3. Classification
2.1.3.1. 찾아진 특징들로 class 고르기
2.1.3.2. Fully Connected Layer
2.2. 특징
2.2.1. 각 입출력 데이터의 형상유지 (공간정보 유지)
2.2.1.1. 인접 이미지와의 특징 효과적으로 인식
2.2.2. 복수의 필터로 이미지의 특징 추출 및 학습
2.2.3. 추출된 이미지 특징 수집 및 강화 (pooling layer)
2.2.4. 공유 파라미터(filter) -> 적은 학습 파라미터 수
2.3. 전이학습 (Transfer Learning)
2.3.1. 재사용
2.3.2. 동결(freeze)
2.3.3. Resnet50
2.4. 이미지 분할 (Image Segmentation)
2.4.1. 객체 인식 (Object Recognition)
2.4.2. FCN (Fully Convolution Layer)
2.4.2.1. Contracting Path
2.4.2.2. Expanding Path
2.4.2.2.1. Up-convolution = Transpose convolution
2.5. 데이터 증강 (Data Augmentation)
2.5.1. Keras 전처리 레이어
2.5.2. tf.image
2.6. AutoEncoder
2.6.1. Stacked AE
2.6.2. Encoder + Decoder
2.6.3. 용도
2.6.3.1. 노이즈 제거
2.6.3.2. 이상값 탐지
2.6.3.3. 특성 추출
2.6.4. GAN
3. 가중치
3.1. 수동 설정
3.1.1. 퍼셉트론(Perceptron)
3.1.1.1. 논리게이트
3.1.1.1.1. AND GATE
3.1.1.1.2. NAND GATE
3.1.1.1.3. OR GATE
3.1.1.1.4. XOR GATE
3.2. 자동 학습
3.2.1. df
3.2.1.1. 기본 구조
3.2.1.1.1. 뉴런(Neuron) / 노드(Node)
3.2.1.1.2. 은닉층(Hidden layer)
3.2.1.1.3. 출력층(Output layer)
3.2.1.2. 입력층(Input layer)
3.2.1.3. 표현 학습 (Representation Learning)
3.2.1.4. 동작 원리
3.2.1.4.1. 1. 데이터 전처리 및 입력
3.2.1.5. 신경망 구현 프레임워크
3.2.1.5.1. Tensorflow, Keras
3.2.1.6. 하이퍼파라미터 튜닝
3.2.1.6.1. 모델 성능 개선
3.2.1.6.2. 신경망
3.2.1.6.3. 실험 추적 시스템
3.2.1.7. 전파
3.2.1.7.1. 순전파(Forward Propagation)
3.2.1.7.2. 역전파(Back Propagation)
4. NLP
4.1. 용어
4.1.1. Corpus(말뭉치)
4.1.2. Collection(컬렉션)
4.1.3. Sentence(문장)
4.1.4. Document(문서)
4.1.5. Token(토큰)
4.1.6. Vocabulary(어휘집합)
4.2. NLP로 할 수 있는 일
4.2.1. 자연어 이해
4.2.1.1. 분류
4.2.1.2. 자연어 추론
4.2.1.3. 기계 독해, 질의 응답
4.2.1.4. 품사 태깅, 개체명 인식
4.2.2. 자연어 생성
4.2.2.1. 텍스트 생성
4.2.3. NLU & NLG
4.2.3.1. 기계 번역
4.2.3.2. 요약
4.2.3.3. 챗봇
4.2.4. 기타
4.2.4.1. TTS (Text to Speech)
4.2.4.2. SST (Speech to Text)
4.2.4.3. Image Captioning
4.3. 텍스트 전처리
4.3.1. 토큰화(Tokenization)
4.3.1.1. 대소문자 통일
4.3.1.2. 정규 표현식
4.3.2. 불용어(Stop words) 처리
4.3.3. 통계적 트리밍
4.3.4. 정규화
4.3.4.1. 어간 추출(Stemming)
4.3.4.2. 표제어 추출(Lemmatization)
4.4. 벡터화
4.4.1. 등장 횟수 기반의 표현 (Count-based Representation)
4.4.1.1. Bag-of-Words(BOW)
4.4.1.1.1. 문서-단어 행렬(Document-Term Matrix, DTM)
4.4.1.1.2. TF (Term Frequency)
4.4.1.1.3. TF-IDF (Term Frequency Inverse Document Frequency)
4.4.2. 분포 기반의 표현 (Distributed Representation)
4.4.2.1. 단어의 분산 표현
4.4.2.1.1. 원-핫 인코딩(One-hot Encoding)
4.4.2.1.2. 임베딩(Embedding)