AI/ML
-
프랑스로 교환학생을 가서 AI 석사 수업들을 들었다. 주로 2학년 수업들이라서 이해하기 쉽지 않았는데 그 중 하나가 Knowledge Representation & Reasoning 이었다. 수업 마지막에 모로코에서 온 친구와 함께 발표를 진행했는데 그 주제가 Bayesian Filtering for Location Estimation이다. Bayesian Filtering for Location Estimation Context Pervasice Computing Ubiqutious computin이라고도 부른다. 여러 요소들과 효과적으로 소통하고 수행하는 것이며 네트워크로 연결되어 어디서든 접근 가능하다 Any device, Any time, Any place in Any data format acr..
Particle & Kalman 필터로 사람의 위치 파악하기 | Bayesian Filtering for Location Estimation프랑스로 교환학생을 가서 AI 석사 수업들을 들었다. 주로 2학년 수업들이라서 이해하기 쉽지 않았는데 그 중 하나가 Knowledge Representation & Reasoning 이었다. 수업 마지막에 모로코에서 온 친구와 함께 발표를 진행했는데 그 주제가 Bayesian Filtering for Location Estimation이다. Bayesian Filtering for Location Estimation Context Pervasice Computing Ubiqutious computin이라고도 부른다. 여러 요소들과 효과적으로 소통하고 수행하는 것이며 네트워크로 연결되어 어디서든 접근 가능하다 Any device, Any time, Any place in Any data format acr..
2024.01.12 -
SVM 전반적인 설명 svm : support Vector Machine 고차원 데이터의 분류문제에 좋은 성능 트레이드오프(generalization ability, training data) 관계에서 generalization ability 증가시키는 방향 Statistical learning theory에 근거 SVM 상황 -> 이진분류문제의 예시이다. 이처럼 hyper plane, decision boundary를 찾는 것이 목표이다! 그런데 이렇게 클래스를 구별할 수 있는 경계들이 너무 많다... 그러면 기준을 세워볼까...? svm 기준 | Margin 바로 Margin! 마진을 최대화할 수 있는 hyperplane을 찾자 → generalization error를 최소화 Margin : 각 클..
SVM 복잡한 수식 쉽게 이해하기!SVM 전반적인 설명 svm : support Vector Machine 고차원 데이터의 분류문제에 좋은 성능 트레이드오프(generalization ability, training data) 관계에서 generalization ability 증가시키는 방향 Statistical learning theory에 근거 SVM 상황 -> 이진분류문제의 예시이다. 이처럼 hyper plane, decision boundary를 찾는 것이 목표이다! 그런데 이렇게 클래스를 구별할 수 있는 경계들이 너무 많다... 그러면 기준을 세워볼까...? svm 기준 | Margin 바로 Margin! 마진을 최대화할 수 있는 hyperplane을 찾자 → generalization error를 최소화 Margin : 각 클..
2023.12.24 -
RNN Basic 시퀀스 데이터 먼저 시퀀스 데이터란 소리, 문자열, 주가 등의 데이터처럼 나열된 데이터를 말한다. 이벤트의 순서가 중요하다는 특징이 있다. 독립동등분포가정을 잘 위배하기 때문에 순서를 바꾸거나 과거정보에 손실이 발생하면 데이터의 확률분포도 바뀐다. 조건부 확률을 이용해 앞으로 발생할 데이터의 확률분포 다룬다. *** 과거의 모든 정보를 가지고 예측할 필요 없다. AR(τ) : 고정된 길이만큼의 시퀀스만 사용하는 경우를 표시한다. W(2),W_X(1),W_H(1)은 시간 t에 따라 변하지 않는다. t에 따라 변하는 것은 잠재변수, 입력, 데이터이다. BPTT RNN의 역전파 방법이다. 잠재변수의 연결 그래프에 따라 순차적으로 계산한다. ( 현재에서 과거까지 ) ∏부분은 시퀀스 길이가 ..
RNN에 대해 알아보기RNN Basic 시퀀스 데이터 먼저 시퀀스 데이터란 소리, 문자열, 주가 등의 데이터처럼 나열된 데이터를 말한다. 이벤트의 순서가 중요하다는 특징이 있다. 독립동등분포가정을 잘 위배하기 때문에 순서를 바꾸거나 과거정보에 손실이 발생하면 데이터의 확률분포도 바뀐다. 조건부 확률을 이용해 앞으로 발생할 데이터의 확률분포 다룬다. *** 과거의 모든 정보를 가지고 예측할 필요 없다. AR(τ) : 고정된 길이만큼의 시퀀스만 사용하는 경우를 표시한다. W(2),W_X(1),W_H(1)은 시간 t에 따라 변하지 않는다. t에 따라 변하는 것은 잠재변수, 입력, 데이터이다. BPTT RNN의 역전파 방법이다. 잠재변수의 연결 그래프에 따라 순차적으로 계산한다. ( 현재에서 과거까지 ) ∏부분은 시퀀스 길이가 ..
2023.12.24 -
CNN Basic Convolution 연산 신호(signal)를 커널을 이용해 국소적으로 증표 또는 감소시켜서 정보를 추출, 필터링하는 것 CNN에서 사용하는 연산은 계속 convolution이라고 불러왔지만 정확히는 cross-correlation이다. *** 위치(i,j)에 따라 커널이 바뀌지 않는다. 각 원소 성분곱으로 위의 결과는 19이다. 결과는 입력 크기 - 커널 크기 + 1 이다. 여러개의 2차원은 3차원으로 보고 Tensor라고 부른다. 채널이 여러 개인 2차원은 convolutions은 채널 개수만큼 커널을 만들고 각각의 2차원 입력에 적용한 후 더하면서 수행한다. Back propagation 포워딩 반대로 미분을 이용하여 가중치를 업데이트 시켜주는 과정이다. 으로 forwarding..
CNN에 대해 알아보기CNN Basic Convolution 연산 신호(signal)를 커널을 이용해 국소적으로 증표 또는 감소시켜서 정보를 추출, 필터링하는 것 CNN에서 사용하는 연산은 계속 convolution이라고 불러왔지만 정확히는 cross-correlation이다. *** 위치(i,j)에 따라 커널이 바뀌지 않는다. 각 원소 성분곱으로 위의 결과는 19이다. 결과는 입력 크기 - 커널 크기 + 1 이다. 여러개의 2차원은 3차원으로 보고 Tensor라고 부른다. 채널이 여러 개인 2차원은 convolutions은 채널 개수만큼 커널을 만들고 각각의 2차원 입력에 적용한 후 더하면서 수행한다. Back propagation 포워딩 반대로 미분을 이용하여 가중치를 업데이트 시켜주는 과정이다. 으로 forwarding..
2023.12.24 -
베이즈 통계학 먼저 조건부 확률부터 살펴보면 P(A∩B)=P(B)P(A∣B) 베이즈 정리는 조건부확률을 이용하여 정보를 갱신하는 방법을 알려준다. 사전확률 - 데이터 분석 전, 모수나 가설 등 사전에 설정하는 확률분포 Evidence - 데이터 자체의 분포 사전확률을 베이즈 정리를 이용하여 업데이트한다. 새로운 데이터가 들어오면 이전 사후확률을 사전확률에 넣어 사후확률을 갱신할 수 있다. 조심! - 조건부 확률로 함부로 인과관계 추론하면 안된다. 인과관계 데이터 분포의 강건한 예측모형을 만들 때 필요하다. 중첩요인의 효과 제거하고 원인에 해당하는 변수만의 인과관계를 계산한다. 가짜연관성 없애기 위해
베이즈 통계학 알아보기베이즈 통계학 먼저 조건부 확률부터 살펴보면 P(A∩B)=P(B)P(A∣B) 베이즈 정리는 조건부확률을 이용하여 정보를 갱신하는 방법을 알려준다. 사전확률 - 데이터 분석 전, 모수나 가설 등 사전에 설정하는 확률분포 Evidence - 데이터 자체의 분포 사전확률을 베이즈 정리를 이용하여 업데이트한다. 새로운 데이터가 들어오면 이전 사후확률을 사전확률에 넣어 사후확률을 갱신할 수 있다. 조심! - 조건부 확률로 함부로 인과관계 추론하면 안된다. 인과관계 데이터 분포의 강건한 예측모형을 만들 때 필요하다. 중첩요인의 효과 제거하고 원인에 해당하는 변수만의 인과관계를 계산한다. 가짜연관성 없애기 위해
2023.12.24 -
통계학 기본개념 모수 우선 통계적 모델링 은 적절한 가정 위에서 확률분포를 추정하는 것이다. 유한한 개수의 데이터만 관찰하기 때문에 근사적으로 확률분포를 추정한다. 모수는 확률분포의 특성들이다. 모수적 방법론 : 데이터가 특정 확률분포를 따른다고 선험적으로 가정한 후, 그 분포를 결정하는 모수 추정 방법 비모수 방법론 : 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌는 방법론 ( 기계학습의 대다수 방법론이 여기에 속함 ), 모수를 쓰지 않는 것은 아니다. 확률분포 가정하는 방법 우선 히스토그램 모양 관찰 데이터가 2개 값만 가지는 경우 → 베르누이분포 데이터가 n개의 이산적인 값 → 카테고리분포 데이터가 [0,1]사이 값 → 베타분포 데이터가 0 이상의 값 → ..
통계학 기본개념 정리통계학 기본개념 모수 우선 통계적 모델링 은 적절한 가정 위에서 확률분포를 추정하는 것이다. 유한한 개수의 데이터만 관찰하기 때문에 근사적으로 확률분포를 추정한다. 모수는 확률분포의 특성들이다. 모수적 방법론 : 데이터가 특정 확률분포를 따른다고 선험적으로 가정한 후, 그 분포를 결정하는 모수 추정 방법 비모수 방법론 : 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌는 방법론 ( 기계학습의 대다수 방법론이 여기에 속함 ), 모수를 쓰지 않는 것은 아니다. 확률분포 가정하는 방법 우선 히스토그램 모양 관찰 데이터가 2개 값만 가지는 경우 → 베르누이분포 데이터가 n개의 이산적인 값 → 카테고리분포 데이터가 [0,1]사이 값 → 베타분포 데이터가 0 이상의 값 → ..
2023.12.24 -
확률론 기본개념 회귀에서는 L2 norm으로 예측오차의 분산을 가장 최소화하는 방향으로 학습한다. 분류에서는 교차 엔트로피로 모델예측의 불확실성을 최소화하는 방향으로 학습한다. 확률변수 종류 데이터 공간 확률분포 D에 따라 확률변수를 이산형과 연속형으로 구분한다. 1) 이산확률변수 확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해 모델링한다. 확률질량함수를 나타내며 식은 아래와 같다. 2) 연속확률변수 데이터 공간에 정의된 확률변수의 밀도 위에서의 적분을 통해 모델링한다. 주의!) 밀도를 확률로 해석하면 안된다. 확률분포 결합분포 P(x,y)는 D를 모델링한다. 주변확률분포 y가 아닌 x에 따른 확률분포로 y에 대한 정보를 주지 않는다. 결합분포 P(x,y)에서 유도 가능하다. 조건부확률분..
확률론 기본개념 정리확률론 기본개념 회귀에서는 L2 norm으로 예측오차의 분산을 가장 최소화하는 방향으로 학습한다. 분류에서는 교차 엔트로피로 모델예측의 불확실성을 최소화하는 방향으로 학습한다. 확률변수 종류 데이터 공간 확률분포 D에 따라 확률변수를 이산형과 연속형으로 구분한다. 1) 이산확률변수 확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해 모델링한다. 확률질량함수를 나타내며 식은 아래와 같다. 2) 연속확률변수 데이터 공간에 정의된 확률변수의 밀도 위에서의 적분을 통해 모델링한다. 주의!) 밀도를 확률로 해석하면 안된다. 확률분포 결합분포 P(x,y)는 D를 모델링한다. 주변확률분포 y가 아닌 x에 따른 확률분포로 y에 대한 정보를 주지 않는다. 결합분포 P(x,y)에서 유도 가능하다. 조건부확률분..
2023.12.24 -
소프트맥스 연산 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산이다. R^p에 있는 벡터를 확률 벡터로 변환해준다. 아래의 파이썬 코드로 구현할 수 있다. def softmax(vec): denumerator = np.exp(vec - np.max(vec, axis=-1, keepdims=True)) numerator = np.sum(denumerator, axis=-1, keepdims=True) val = denumerator / numerator return val ⇒ exp연산이기때문에 오버플로우 발생할 수 있다. 그래서 vec에서 max를 빼준다. max를 빼준다고 하도 결과는 변하지 않는다. 추론 → 원핫벡터(소프트맥스 사용 x) 학습 → 소프트맥스 활성함수 비선형함수로 아래 함수들이 자..
소프트맥스, 활성함수, 역전파에 대해 알아보기소프트맥스 연산 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산이다. R^p에 있는 벡터를 확률 벡터로 변환해준다. 아래의 파이썬 코드로 구현할 수 있다. def softmax(vec): denumerator = np.exp(vec - np.max(vec, axis=-1, keepdims=True)) numerator = np.sum(denumerator, axis=-1, keepdims=True) val = denumerator / numerator return val ⇒ exp연산이기때문에 오버플로우 발생할 수 있다. 그래서 vec에서 max를 빼준다. max를 빼준다고 하도 결과는 변하지 않는다. 추론 → 원핫벡터(소프트맥스 사용 x) 학습 → 소프트맥스 활성함수 비선형함수로 아래 함수들이 자..
2023.12.24