CStory

베이즈 통계학 먼저 조건부 확률부터 살펴보면 P(A∩B)=P(B)P(A∣B) 베이즈 정리는 조건부확률을 이용하여 정보를 갱신하는 방법을 알려준다. 사전확률 - 데이터 분석 전, 모수나 가설 등 사전에 설정하는 확률분포 Evidence - 데이터 자체의 분포 사전확률을 베이즈 정리를 이용하여 업데이트한다. 새로운 데이터가 들어오면 이전 사후확률을 사전확률에 넣어 사후확률을 갱신할 수 있다. 조심! - 조건부 확률로 함부로 인과관계 추론하면 안된다. 인과관계 데이터 분포의 강건한 예측모형을 만들 때 필요하다. 중첩요인의 효과 제거하고 원인에 해당하는 변수만의 인과관계를 계산한다. 가짜연관성 없애기 위해

통계학 기본개념 모수 우선 통계적 모델링 은 적절한 가정 위에서 확률분포를 추정하는 것이다. 유한한 개수의 데이터만 관찰하기 때문에 근사적으로 확률분포를 추정한다. 모수는 확률분포의 특성들이다. 모수적 방법론 : 데이터가 특정 확률분포를 따른다고 선험적으로 가정한 후, 그 분포를 결정하는 모수 추정 방법 비모수 방법론 : 특정 확률분포를 가정하지 않고 데이터에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌는 방법론 ( 기계학습의 대다수 방법론이 여기에 속함 ), 모수를 쓰지 않는 것은 아니다. 확률분포 가정하는 방법 우선 히스토그램 모양 관찰 데이터가 2개 값만 가지는 경우 → 베르누이분포 데이터가 n개의 이산적인 값 → 카테고리분포 데이터가 [0,1]사이 값 → 베타분포 데이터가 0 이상의 값 → ..

확률론 기본개념 회귀에서는 L2 norm으로 예측오차의 분산을 가장 최소화하는 방향으로 학습한다. 분류에서는 교차 엔트로피로 모델예측의 불확실성을 최소화하는 방향으로 학습한다. 확률변수 종류 데이터 공간 확률분포 D에 따라 확률변수를 이산형과 연속형으로 구분한다. 1) 이산확률변수 확률변수가 가질 수 있는 경우의 수를 모두 고려하여 확률을 더해 모델링한다. 확률질량함수를 나타내며 식은 아래와 같다. 2) 연속확률변수 데이터 공간에 정의된 확률변수의 밀도 위에서의 적분을 통해 모델링한다. 주의!) 밀도를 확률로 해석하면 안된다. 확률분포 결합분포 P(x,y)는 D를 모델링한다. 주변확률분포 y가 아닌 x에 따른 확률분포로 y에 대한 정보를 주지 않는다. 결합분포 P(x,y)에서 유도 가능하다. 조건부확률분..

소프트맥스 연산 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산이다. R^p에 있는 벡터를 확률 벡터로 변환해준다. 아래의 파이썬 코드로 구현할 수 있다. def softmax(vec): denumerator = np.exp(vec - np.max(vec, axis=-1, keepdims=True)) numerator = np.sum(denumerator, axis=-1, keepdims=True) val = denumerator / numerator return val ⇒ exp연산이기때문에 오버플로우 발생할 수 있다. 그래서 vec에서 max를 빼준다. max를 빼준다고 하도 결과는 변하지 않는다. 추론 → 원핫벡터(소프트맥스 사용 x) 학습 → 소프트맥스 활성함수 비선형함수로 아래 함수들이 자..

행렬 벡터를 원소로 가지는 2차원 배열 코드(넘파이) 에서는 행벡터 기준으로 한다. 덧셈, 뺄셈, 성분곱 모두 벡터와 같다. 행렬의 곱셈 코드 → @ 연산 (X@Y) XY → X의 열과 y의 행이 같아야 한다. 행렬 내적 np.inner → X의 행의 개수와 Y의 행의 개수가 같아야 한다. XY^T=(∑_k ​x_ik ​* y_jk​) 수학에선 tr(XYT), np.inner는 i번째 행벡터와 j번째 행벡터 사이 내적이 계산됨으로 다르다!! 행렬곱 의미 벡터를 다른 차원의 공간으로 보내준다. X_m​에 A를 곱하여 Z_n​을 계산하는 것은 m차원의 공간에서 A를 이용하여 n차원의 공간으로 보내는 것 여기서 A는 연산자로 이해한다. → 패턴 추출, 데이터 압축 가능 모든 선형변환(linear transfo..

벡터 숫자의 배열(리스트) n차원 공간에서의 한 점 원점으로부터 상대적 위치 종류 1) 열벡터 - 세로로 긴 형태 2) 행벡터 - 자로로 긴 형태 스칼라곱 - αX 주어진 벡터 길이 변환 αX=[αx1​​αx2​​⋯αxd​​] 성분곱(Hadamard product) - 같은 크기의 벡터끼리 곱 연산 벡터의 덧셈, 뺄셈 뺄셈은 덧셈의 반대방향 이동 다른 벡터로부터 상대적 위치이동 벡터의 노름(norm) 원점으로부터의 거리 기계학습 목적에 따라 다르게 사용 중요!! - 임의의 차원 d에 대해 성립 (1차원, 2차원.. 아님) 1) L1 norm 변화량의 절대값 합 기하학적 성질 - 마름모꼴 예) Robust 학습, Lasso 회귀 abs_result = np.abs(x) np.sum(abs_result) 2..