본문 바로가기

Deep Learning16

[DIVE INTO DEEP LEARNING] 5.5. Generalization in Deep Learning 딥러닝 이론은 유망한 연구 분야를 제시하고 흥미로운 결과들을 쏟아냈지만 (i) 신경망을 최적화할 수 있는 이유와 (ii) 경사 하강으로 학습한 모델이 고차원적인 작업에서도 일반화를 잘 수행하는 방법 모두에 대한 포괄적인 설명과는 거리가 멀어 보입니다. 그러나 실제로 (i)은 거의 문제가 되지 않으며, 따라서 일반화를 이해하는 것이 훨씬 더 큰 문제입니다. 반면에, 일관된 과학 이론의 안락함이 없더라도 실무자들은 실제로 잘 일반화되는 모델을 생성하는 데 도움이 될 수 있는 다양한 기법을 개발해 왔습니다. 딥러닝의 일반화라는 방대한 주제를 간결하게 요약하는 것은 불가능하고 전반적인 연구 현황을 파악하는 것도 쉽지 않지만, 이 섹션에서는 연구와 실무의 현황에 대한 대략적인 개요를 제시하고자 합니다. 5.5.1.. 2023. 12. 29.
[DIVE INTO DEEP LEARNING] 2.3 Linear Algebra_matrices, tensors 2.3.3. Matrices Just as scalars are 0th-order tensors and vectors are 1st-order tensors, matrices are 2nd-order tensors. We denote matrices by bold capital letters (e.g.,𝐗, 𝐘, and 𝒁), and represent them in code by tensors with two axes. The expression 𝐀 ∈ ℝᵐˣⁿ indicates that a matrix 𝐀 contains 𝒎 × 𝒏 real-valued scalars, arranged as 𝒎 rows and 𝒏 columns. When 𝒎=𝒏, we say that a matrix is square... 2023. 12. 22.
[DIVE INTO DEEP LEARNING] 2.3 Linear Algebra_scalars, vectors 2.3.1 Scalars Most everyday mathematics consists of manipulating numbers one at a time. Formally, we call these values scalars. For example, the temperature in Palo Alto is a balmy 72 degrees Fahrenheit. If you wanted to convert the temperature to Celsius you would evaluate the expression 𝒄 =5/9(𝒇−32), setting 𝒇 to 72. In this equation, the values 5,9, and 32 are constant scalars. The variables .. 2023. 12. 20.
[DIVE INTO DEEP LEARNING] 4.1 Softmax Regression 23.12.19 Keep Editing ... 4.1.1 Classification We have two obvious choices. Perhaps the most natural impulse would be to choose 𝑦∈{1,2,3}, where the integers represent {dog,cat,chicken} respectively. This is a great way of storing such information on a computer. If the categories had some natural ordering among them, say if we were trying to predict {baby,toddler,adolescent,young adult,adult,ger.. 2023. 12. 20.
[DL] Transformer Transformer Model : A transformer model is a neural network that learns context and thus meaning by tracking relationships in sequential data like the words in this sentence. A transformer is a deep learning model that adopts the mechanism of self-attention, differentially weighting the significance of each part of the input data. It is used primarily in the fields of natural language processing.. 2023. 3. 3.
[DL] 감성분석 감성분석 입력된 자연어 안의 주관적 의견, 감정 등을 찾아내는 문제 이중 문장의 긍정/부정 등을 구분하는 경우가 많다. data를 불러오고 label위치를 찾고, label 정보를 모은다. 간단한 cleaning을 진행하였다. 하나의 문장이 몇개의 단어로 이루어져있는지 살펴보았다. 대부분의 문장이 40개의 단어 이하로 이루어져 있다. 25개를 기준으로 자른다. 25개의 단어 이하로 이루어진 문장이라면, pad_sequences를 사용해 알아서 채워주도록 만들어준다. 25개 이하의 문장은 0을 채워준다. Embedding을 사용하면 자연어 처리임을 알아서 습득한다. Dense를 2개로 잡은건, 선택의 문제이다. 긍정/부정을 0과 1로 구분하여 본다면 sigmoid로 activation을 지정해서 하나만 빼.. 2023. 2. 21.
[DL] RNN , LSTM simple RNN. 순환신경망 활성화 신호가 입력에서 출력으로 한 방향으로 흐르는 피드포워드 신경망이다 layer들이 서로 정보를 전달하는 구조이다. 순환신경망은 뒤쪽에서 연결하는 순환 연결이 있다. 순서가 있는 데이터를 입력으로 받고, 변화하는 입력에 대한 출력을 얻는다. 순환 뉴런의 출력은 이전 시간의 모든 입력에 대한 함수이므로 이를 메모리 형태라고 말할 수 있다. 타임스템에 걸쳐서 어떤 상태를 보존하는 신경망의 구성 요소를 메모리셀이라고 한다. 입력 자체가 순서대로 들어올 수 있도록 받고, 받은 입력을 가지고 목적에 맞춰 출력한다. - Sequence-to-sequence형태 : 여러 x가 input으로 들어가고 y가 그 수에 맞게 출력된다. 보통은 주식가격과 같은 시계열데이터 예측에 사용한다... 2023. 2. 21.
[DL] YOLO 사용법 1. labelImg.py 실행 terminal에서 python labelImg.py로 실행하면 하단의 창이 뜬다. 2. Open -> Save Open dir로 사진이미지가 들어있는 폴더를 열어준 뒤, 라벨링 데이터를 저장할 폴더를 지정한다. Pascal VOC 아이콘을 눌러서 YOLO로 설정하고, Create rect box로 라벨링할 물건의 영역과 class name을 지정한 뒤 save 해준다. 3. Colab !make를 실행하면 주르르륵 하고 출력값이 나온다. back-up 파일에 생성된 weights를 저장하고 끝마친다. 2023. 2. 21.
[DL] YOLO 많은 것들이 나왔지만, 등장하자마자 주목받은 것은 YOLO와 SSD이다. 2-stage Detector : 사진에 내가 인지해야 할 사물이 있는 영역을 찾는다. (region proposal) 그 다음, 그 영역에 뭐가 있는지 분류한다. (classification) 즉, 딥러닝이 2번 돌아야 한다. 1-stage Detector : feature map 찾아서, 한번만 돈다. 하나의 이미지를 여러개의 그리드로 분리한 뒤, 각 그리드를 detection 시킨다. YOLO - You Only Look Once ! YOLO 초기에 앵커박스(anchor box)를 생성하여 Bounding box를 예측한다.(회귀문제) 초기 앵커박스 생성시 해당 박스의 신뢰도(confidence)를 찾는다. 해당 그리드에 물체.. 2023. 2. 19.

티스토리툴바