Rst

VAE 이해 및 pytorch 구현

0. 도움이 된 자료들 논문 youtube 강의 블로그 1. 개요 Diffusion model에 대해 찾아보니 VAE(Variational Auto Encoder)와 관련된 개념이 많아 공부하게 되었다. 일단 전체적인 구조를 보면 다음과 같다. VAE는 개념상으로 Encoder 와 Decoder 로 이루어져있는데, 입력 데이터 $x_i$에 대해 각각의 역할을 다음으로 정리해 볼 수 있다. Encoder 입력 $x_i$를 통해 확률공간$q_{\phi}(z_i \mid x_i)$을 만든다. 이 확률공간은 latent space로 사용되며 가우시안 분포의 형태를 가진다. 가우시안 분포를 만들기 위해... Read more

ASP: Attentive Statistics Pooling

The ASP is a pooling method commonly used in fields like speaker recognition and speaker verification. I will summary of the mechanism and show the example code of pytorch in this post. 1. Pooling method Using deep neural network for speaker verification, there are features at different level for an utterance. Pooling methods are used to aggr... Read more

K means Clustering 개념과 R로 구현

1. 군집분석 및 K-means algorithm의 대략적 개념 군집 분석이란? 군집 분석은 데이터들을 군집화하여 데이터의 특징을 탐색하는 데이터 분석 기법이다. n개의 데이터 간의 유사성을 측정하고, 서로 유사한 데이터끼리 묶어나가는 과정을 거친다. 즉 군집내 유사성을 높이고, 군집간 유사성을 낮추는 방식으로 군집화를 하는것이 목적이다. k means algorithm unsupervised learning(unlabeld data)의 대표적 예시인 알고리즘이다. 작동 방식은 다음과 같다. 분류할 군집의 수 K를 정한다. K개의 중심점을 정한다. 이는 각 군집의 중심이 된다. 이를 기준으로 각 데... Read more

R 언어 데이터관련 기초

1. 기본 데이터 유형 수치 정수형 실수형 논리형 TRUE, FALSE, T, F, 1, 0 복소수형 3 + 2i 문자형 "abc" 2. 기본 연산 기본연산자 ^, ** 거듭제곱 : 연속된 데이터 정의 ex) 1:10연산은 1부터 10까지를 생성한다. +, -, *, / 사칙연산 <, >, <=, =>... Read more

Concepts of Depth-wise separable convolution

I read “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications” by Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam to understand Depth-wise separable convolution, and i’m going to organize key concepts about that. Purpose Standard Convolutio... Read more