CStory

프랑스로 교환학생을 가서 AI 석사 수업들을 들었다. 주로 2학년 수업들이라서 이해하기 쉽지 않았는데 그 중 하나가 Knowledge Representation & Reasoning 이었다. 수업 마지막에 모로코에서 온 친구와 함께 발표를 진행했는데 그 주제가 Bayesian Filtering for Location Estimation이다. Bayesian Filtering for Location Estimation Context Pervasice Computing Ubiqutious computin이라고도 부른다. 여러 요소들과 효과적으로 소통하고 수행하는 것이며 네트워크로 연결되어 어디서든 접근 가능하다 Any device, Any time, Any place in Any data format acr..

SVM 전반적인 설명 svm : support Vector Machine 고차원 데이터의 분류문제에 좋은 성능 트레이드오프(generalization ability, training data) 관계에서 generalization ability 증가시키는 방향 Statistical learning theory에 근거 SVM 상황 -> 이진분류문제의 예시이다. 이처럼 hyper plane, decision boundary를 찾는 것이 목표이다! 그런데 이렇게 클래스를 구별할 수 있는 경계들이 너무 많다... 그러면 기준을 세워볼까...? svm 기준 | Margin 바로 Margin! 마진을 최대화할 수 있는 hyperplane을 찾자 → generalization error를 최소화 Margin : 각 클..

RNN Basic 시퀀스 데이터 먼저 시퀀스 데이터란 소리, 문자열, 주가 등의 데이터처럼 나열된 데이터를 말한다. 이벤트의 순서가 중요하다는 특징이 있다. 독립동등분포가정을 잘 위배하기 때문에 순서를 바꾸거나 과거정보에 손실이 발생하면 데이터의 확률분포도 바뀐다. 조건부 확률을 이용해 앞으로 발생할 데이터의 확률분포 다룬다. *** 과거의 모든 정보를 가지고 예측할 필요 없다. AR(τ) : 고정된 길이만큼의 시퀀스만 사용하는 경우를 표시한다. W(2),W_X(1)​,W_H(1)​은 시간 t에 따라 변하지 않는다. t에 따라 변하는 것은 잠재변수, 입력, 데이터이다. BPTT RNN의 역전파 방법이다. 잠재변수의 연결 그래프에 따라 순차적으로 계산한다. ( 현재에서 과거까지 ) ∏부분은 시퀀스 길이가 ..

CNN Basic Convolution 연산 신호(signal)를 커널을 이용해 국소적으로 증표 또는 감소시켜서 정보를 추출, 필터링하는 것 CNN에서 사용하는 연산은 계속 convolution이라고 불러왔지만 정확히는 cross-correlation이다. *** 위치(i,j)에 따라 커널이 바뀌지 않는다. 각 원소 성분곱으로 위의 결과는 19이다. 결과는 입력 크기 - 커널 크기 + 1 이다. 여러개의 2차원은 3차원으로 보고 Tensor라고 부른다. 채널이 여러 개인 2차원은 convolutions은 채널 개수만큼 커널을 만들고 각각의 2차원 입력에 적용한 후 더하면서 수행한다. Back propagation 포워딩 반대로 미분을 이용하여 가중치를 업데이트 시켜주는 과정이다. 으로 forwarding..

베이즈 통계학 먼저 조건부 확률부터 살펴보면 P(A∩B)=P(B)P(A∣B) 베이즈 정리는 조건부확률을 이용하여 정보를 갱신하는 방법을 알려준다. 사전확률 - 데이터 분석 전, 모수나 가설 등 사전에 설정하는 확률분포 Evidence - 데이터 자체의 분포 사전확률을 베이즈 정리를 이용하여 업데이트한다. 새로운 데이터가 들어오면 이전 사후확률을 사전확률에 넣어 사후확률을 갱신할 수 있다. 조심! - 조건부 확률로 함부로 인과관계 추론하면 안된다. 인과관계 데이터 분포의 강건한 예측모형을 만들 때 필요하다. 중첩요인의 효과 제거하고 원인에 해당하는 변수만의 인과관계를 계산한다. 가짜연관성 없애기 위해

통계학 기본개념 모수 우선 통계적 모델링 은 적절한 가정 위에서 확률분포를 추정하는 것이다. 유한한 개수의 데이터만 관찰하기 때문에 근사적으로 확률분포를 추정한다. 모수는 확률분포의 특성들이다. 모수적 방법론 : 데이터가 특정 확률분포를 따른다고 선험적으로 가정한 후, 그 분포를 결정하는 모수 추정 방법 비모수 방법론 : 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌는 방법론 ( 기계학습의 대다수 방법론이 여기에 속함 ), 모수를 쓰지 않는 것은 아니다. 확률분포 가정하는 방법 우선 히스토그램 모양 관찰 데이터가 2개 값만 가지는 경우 → 베르누이분포 데이터가 n개의 이산적인 값 → 카테고리분포 데이터가 [0,1]사이 값 → 베타분포 데이터가 0 이상의 값 → ..

확률론 기본개념 회귀에서는 L2 norm으로 예측오차의 분산을 가장 최소화하는 방향으로 학습한다. 분류에서는 교차 엔트로피로 모델예측의 불확실성을 최소화하는 방향으로 학습한다. 확률변수 종류 데이터 공간 확률분포 D에 따라 확률변수를 이산형과 연속형으로 구분한다. 1) 이산확률변수 확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해 모델링한다. 확률질량함수를 나타내며 식은 아래와 같다. 2) 연속확률변수 데이터 공간에 정의된 확률변수의 밀도 위에서의 적분을 통해 모델링한다. 주의!) 밀도를 확률로 해석하면 안된다. 확률분포 결합분포 P(x,y)는 D를 모델링한다. 주변확률분포 y가 아닌 x에 따른 확률분포로 y에 대한 정보를 주지 않는다. 결합분포 P(x,y)에서 유도 가능하다. 조건부확률분..

소프트맥스 연산 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산이다. R^p에 있는 벡터를 확률 벡터로 변환해준다. 아래의 파이썬 코드로 구현할 수 있다. def softmax(vec): denumerator = np.exp(vec - np.max(vec, axis=-1, keepdims=True)) numerator = np.sum(denumerator, axis=-1, keepdims=True) val = denumerator / numerator return val ⇒ exp연산이기때문에 오버플로우 발생할 수 있다. 그래서 vec에서 max를 빼준다. max를 빼준다고 하도 결과는 변하지 않는다. 추론 → 원핫벡터(소프트맥스 사용 x) 학습 → 소프트맥스 활성함수 비선형함수로 아래 함수들이 자..

행렬 벡터를 원소로 가지는 2차원 배열 코드(넘파이) 에서는 행벡터 기준으로 한다. 덧셈, 뺄셈, 성분곱 모두 벡터와 같다. 행렬의 곱셈 코드 → @ 연산 (X@Y) XY → X의 열과 y의 행이 같아야 한다. 행렬 내적 np.inner → X의 행의 개수와 Y의 행의 개수가 같아야 한다. XY^T=(∑_k ​x_ik ​* y_jk​) 수학에선 tr(XYT), np.inner는 i번째 행벡터와 j번째 행벡터 사이 내적이 계산됨으로 다르다!! 행렬곱 의미 벡터를 다른 차원의 공간으로 보내준다. X_m​에 A를 곱하여 Z_n​을 계산하는 것은 m차원의 공간에서 A를 이용하여 n차원의 공간으로 보내는 것 여기서 A는 연산자로 이해한다. → 패턴 추출, 데이터 압축 가능 모든 선형변환(linear transfo..

벡터 숫자의 배열(리스트) n차원 공간에서의 한 점 원점으로부터 상대적 위치 종류 1) 열벡터 - 세로로 긴 형태 2) 행벡터 - 자로로 긴 형태 스칼라곱 - αX 주어진 벡터 길이 변환 αX=[αx1​​αx2​​⋯αxd​​] 성분곱(Hadamard product) - 같은 크기의 벡터끼리 곱 연산 벡터의 덧셈, 뺄셈 뺄셈은 덧셈의 반대방향 이동 다른 벡터로부터 상대적 위치이동 벡터의 노름(norm) 원점으로부터의 거리 기계학습 목적에 따라 다르게 사용 중요!! - 임의의 차원 d에 대해 성립 (1차원, 2차원.. 아님) 1) L1 norm 변화량의 절대값 합 기하학적 성질 - 마름모꼴 예) Robust 학습, Lasso 회귀 abs_result = np.abs(x) np.sum(abs_result) 2..