Menu
-
2024.02.12 - [Data Engineering/Observability] - [Prometheus] - CentOS에서 모니터링 & Pushgateway & AlertManager 구축 해보기!(이론) [Prometheus] - CentOS에서 모니터링 & Pushgateway & AlertManager 구축 해보기!(이론) Prometheus 모니터링을 위한 오픈소스 시스템으로 주로 "Metric" 정보를 수집하기 위한 용도로 사용된다. 다양한 시스템의 상태를 쉽게 확인 및 분석할 수 있다. 특정 rule을 위배하는 트리거가 발생하 cstory-bo.tistory.com 위의 이론내용을 바탕으로 아래와 같은 구조로 프로젝트를 진행해보았다. CentOS VM Server 3대로 구성 Node e..
[Prometheus] - CentOS에서 모니터링 & Pushgateway & AlertManager 구축 해보기!(실습)2024.02.12 - [Data Engineering/Observability] - [Prometheus] - CentOS에서 모니터링 & Pushgateway & AlertManager 구축 해보기!(이론) [Prometheus] - CentOS에서 모니터링 & Pushgateway & AlertManager 구축 해보기!(이론) Prometheus 모니터링을 위한 오픈소스 시스템으로 주로 "Metric" 정보를 수집하기 위한 용도로 사용된다. 다양한 시스템의 상태를 쉽게 확인 및 분석할 수 있다. 특정 rule을 위배하는 트리거가 발생하 cstory-bo.tistory.com 위의 이론내용을 바탕으로 아래와 같은 구조로 프로젝트를 진행해보았다. CentOS VM Server 3대로 구성 Node e..
2024.02.12 -
Prometheus 모니터링을 위한 오픈소스 시스템으로 주로 "Metric" 정보를 수집하기 위한 용도로 사용된다. 다양한 시스템의 상태를 쉽게 확인 및 분석할 수 있다. 특정 rule을 위배하는 트리거가 발생하면 경고를 보내 미리 장애를 예방할 수 있다. 장애 예방에 대한 Observability에 대한 내용은 아래 포스팅에서 확인 할 수 있다. 2023.12.29 - [Data Engineering/Observability] - [Observability] - 1. Observability란 & 도구 [Observability] - 1. Observability란 & 도구 좋은 서비스를 만드는 것도 중요하지만 제대로 운영하는 것도 매우 중요하다. 서비스를 정상적으로 운영하기 위해서는 Observabi..
[Prometheus] - CentOS에서 모니터링 & Pushgateway & AlertManager 구축 해보기!(이론)Prometheus 모니터링을 위한 오픈소스 시스템으로 주로 "Metric" 정보를 수집하기 위한 용도로 사용된다. 다양한 시스템의 상태를 쉽게 확인 및 분석할 수 있다. 특정 rule을 위배하는 트리거가 발생하면 경고를 보내 미리 장애를 예방할 수 있다. 장애 예방에 대한 Observability에 대한 내용은 아래 포스팅에서 확인 할 수 있다. 2023.12.29 - [Data Engineering/Observability] - [Observability] - 1. Observability란 & 도구 [Observability] - 1. Observability란 & 도구 좋은 서비스를 만드는 것도 중요하지만 제대로 운영하는 것도 매우 중요하다. 서비스를 정상적으로 운영하기 위해서는 Observabi..
2024.02.12 -
시나리오 시간 Transaction 1 Transaction 2 Transaction 3 비고 09:00 SELECT last_name, salary FROM employees WHERE employee_id=200; HARD PARSING (DISK IO) 09:01 UPDATE employees SET salary = 8000 WHERE employee_id=200; LOCK(TM/TX) 걸림 09:02 SELECT last_name, salary FROM employees WHERE employee_id=200; SOFT PARSING (MEM IO) UNDO 데이터에서 가져옴 09:03 UPDATE employees SET salary = 8000 WHERE employee_id=200; LOCK..
[ORACLE] - 여러 Transaction들로 LOCK 충돌 시나리오 확인 (Consistency, Isolation 확인)시나리오 시간 Transaction 1 Transaction 2 Transaction 3 비고 09:00 SELECT last_name, salary FROM employees WHERE employee_id=200; HARD PARSING (DISK IO) 09:01 UPDATE employees SET salary = 8000 WHERE employee_id=200; LOCK(TM/TX) 걸림 09:02 SELECT last_name, salary FROM employees WHERE employee_id=200; SOFT PARSING (MEM IO) UNDO 데이터에서 가져옴 09:03 UPDATE employees SET salary = 8000 WHERE employee_id=200; LOCK..
2024.02.07 -
AWS Security Essentials 보안 요구사항은 클라이언트마다 다르다. 1. 보안 원칙 Well-Architected Framework 여러 요구사항을 만족하는 잘 설계되었는가 AWS 클라우드 보안 규정 준수 심층 분석 AWS Artifact AWS Config 자격 증명 및 액세스 관리 심층 분석 IAM 중요!! 인증된 사용자 권한 부여 및 관리 잘못된 리소스로 보안 리스크 발생하기 쉽다. 인프라 보호 심층 분석 Amazon VPC 중요!! VPC가 있어야만 동작하는 서비스가 있고, VPC를 어떻게 만드는지에 따라 확연히 달라짐 AWS WAF AWS Shield Amazon Inspector 데이터 보호 심층 분석 AWS KMS AWS Secrets Manager 탐지 심층 분석 AWS Cl..
AWS Security 정리AWS Security Essentials 보안 요구사항은 클라이언트마다 다르다. 1. 보안 원칙 Well-Architected Framework 여러 요구사항을 만족하는 잘 설계되었는가 AWS 클라우드 보안 규정 준수 심층 분석 AWS Artifact AWS Config 자격 증명 및 액세스 관리 심층 분석 IAM 중요!! 인증된 사용자 권한 부여 및 관리 잘못된 리소스로 보안 리스크 발생하기 쉽다. 인프라 보호 심층 분석 Amazon VPC 중요!! VPC가 있어야만 동작하는 서비스가 있고, VPC를 어떻게 만드는지에 따라 확연히 달라짐 AWS WAF AWS Shield Amazon Inspector 데이터 보호 심층 분석 AWS KMS AWS Secrets Manager 탐지 심층 분석 AWS Cl..
2024.01.31 -
컴퓨터 구성요소 CPU Central Processing Unit, 중앙처리장치 Memory 많을수록 프로세스들이 작업하는 공간이 넓어진다. Disk 스토리지 NAS, SAN, DAS Network 패킷이 왔다갔다하는 경로 bandwidth Ethernet (NIC) Ethernet은 같은 지역 네트워크인 LAN을 유선으로 구현하는 기능이며 NIC는 Network Interface Controller로 컴퓨터를 네트워크에 연결하여 통신하기 위해 사용하는 하드웨어 장치이다. 2가지 어댑터를 설정하였는데, 1) NAT - Network Address Translation 2) host only NAT는 Network Address Translation의 줄임말로 외부 ip 접속을 위한 것입니다. public..
OS 알아보고 CentOS 환경 구축컴퓨터 구성요소 CPU Central Processing Unit, 중앙처리장치 Memory 많을수록 프로세스들이 작업하는 공간이 넓어진다. Disk 스토리지 NAS, SAN, DAS Network 패킷이 왔다갔다하는 경로 bandwidth Ethernet (NIC) Ethernet은 같은 지역 네트워크인 LAN을 유선으로 구현하는 기능이며 NIC는 Network Interface Controller로 컴퓨터를 네트워크에 연결하여 통신하기 위해 사용하는 하드웨어 장치이다. 2가지 어댑터를 설정하였는데, 1) NAT - Network Address Translation 2) host only NAT는 Network Address Translation의 줄임말로 외부 ip 접속을 위한 것입니다. public..
2024.01.17 -
프랑스로 교환학생을 가서 AI 석사 수업들을 들었다. 주로 2학년 수업들이라서 이해하기 쉽지 않았는데 그 중 하나가 Knowledge Representation & Reasoning 이었다. 수업 마지막에 모로코에서 온 친구와 함께 발표를 진행했는데 그 주제가 Bayesian Filtering for Location Estimation이다. Bayesian Filtering for Location Estimation Context Pervasice Computing Ubiqutious computin이라고도 부른다. 여러 요소들과 효과적으로 소통하고 수행하는 것이며 네트워크로 연결되어 어디서든 접근 가능하다 Any device, Any time, Any place in Any data format acr..
Particle & Kalman 필터로 사람의 위치 파악하기 | Bayesian Filtering for Location Estimation프랑스로 교환학생을 가서 AI 석사 수업들을 들었다. 주로 2학년 수업들이라서 이해하기 쉽지 않았는데 그 중 하나가 Knowledge Representation & Reasoning 이었다. 수업 마지막에 모로코에서 온 친구와 함께 발표를 진행했는데 그 주제가 Bayesian Filtering for Location Estimation이다. Bayesian Filtering for Location Estimation Context Pervasice Computing Ubiqutious computin이라고도 부른다. 여러 요소들과 효과적으로 소통하고 수행하는 것이며 네트워크로 연결되어 어디서든 접근 가능하다 Any device, Any time, Any place in Any data format acr..
2024.01.12 -
MYSQL RDS 여러 Name node(Multi primary)들이 공통으로 저장할 메타데이터를 저장할 곳이 필요하기에 MySQL RDS를 생성한다. 서버 안에서 mysql을 설치하고 사용해도 가능하지만, 서버가 고장나면 접근이 안된다는 문제가 있다. amazon RDS로 서버와 데이터베이스 서버를 분리하여 안정적이면서 확장성, 보안이 좋고 편리하다는 장점을 가질 수 있다. 데이터베이스 생성한다. 많은 데이터가 들어가지 않기때문에 프리티어로 선택했으며(t3.micro) 연결 > 퍼블릭 엑세스를 허용해준다. mysql -u 마스터사용자이름 -h endpoint주소 -P 3306 -p 패스워드 위의 커맨드로 mysql에 접근하고 hive용 데이터베이스를 생성한다. create database hive; ..
Amazon EMR Hadoop 구축해보기 | MYSQL RDS, EMR 클러스터 생성MYSQL RDS 여러 Name node(Multi primary)들이 공통으로 저장할 메타데이터를 저장할 곳이 필요하기에 MySQL RDS를 생성한다. 서버 안에서 mysql을 설치하고 사용해도 가능하지만, 서버가 고장나면 접근이 안된다는 문제가 있다. amazon RDS로 서버와 데이터베이스 서버를 분리하여 안정적이면서 확장성, 보안이 좋고 편리하다는 장점을 가질 수 있다. 데이터베이스 생성한다. 많은 데이터가 들어가지 않기때문에 프리티어로 선택했으며(t3.micro) 연결 > 퍼블릭 엑세스를 허용해준다. mysql -u 마스터사용자이름 -h endpoint주소 -P 3306 -p 패스워드 위의 커맨드로 mysql에 접근하고 hive용 데이터베이스를 생성한다. create database hive; ..
2024.01.12 -
Hyperparameter Tuning 효율적으로 하기 Intro. 가장 기본적인 방법으로 grid vs random 있다. 최근에는 베이지안 기반 기법들이 주도하고 있다. Grid Layout learning rate 0.1, 0.01, 0.001 → ... batchsize 32, 64, 128 → ... 조합들을 적용해가며 가장 좋은 하이퍼파라미터를 찾는다. Random Layout 말 그대로 랜덤으로 적용해본다. Ray 특징 multi-node multi processing 지원하는 모듈이다. ML/DL의 병렬 처리를 위해 개발된 모듈이다. 기본적으로 현재의 분산병렬 ML/DL 모듈의 표준 Hyperparameter Search를 위한 다양한 모듈을 제공한다. Code data_dir = os.p..
효율적인 Hyperparameter Tuning | RayHyperparameter Tuning 효율적으로 하기 Intro. 가장 기본적인 방법으로 grid vs random 있다. 최근에는 베이지안 기반 기법들이 주도하고 있다. Grid Layout learning rate 0.1, 0.01, 0.001 → ... batchsize 32, 64, 128 → ... 조합들을 적용해가며 가장 좋은 하이퍼파라미터를 찾는다. Random Layout 말 그대로 랜덤으로 적용해본다. Ray 특징 multi-node multi processing 지원하는 모듈이다. ML/DL의 병렬 처리를 위해 개발된 모듈이다. 기본적으로 현재의 분산병렬 ML/DL 모듈의 표준 Hyperparameter Search를 위한 다양한 모듈을 제공한다. Code data_dir = os.p..
2024.01.12