semtax의 개발 일지

공부할겸 개인적으로, ANTLR4 를 이용해서 DML, DDL 등을 파싱 및 해석해서 처리하는 초 간단 쿼리엔진을 만들어 본 내용을 발표한 자료 입니다.

그래프 데이터 를 RDB & NoSQL에 어떻게 모델링 해서 저장할지와 JanusGraph 라는 DB에 대한 소개입니다.

스터디때 발표한 내용입니다. 공유합니다.

개요 ​ 이번 포스팅에서는 Amazon RDS 에서 발생했던 문제상황 및 주의점 대해서 포스팅을 하려고 한다. ​ ​ 문제 상황 먼저 대규모의 임시 데이터가 들어있는 xxxx_yyyy_table을 mysql client로 접속해서 DROP 명령어로 삭제하였습니다. DROP TABLE xxxx_yyyy_table; 하지만 삭제하던 도중에 에러가 나서 세션이 끊어졌습니다. 일단, 다시 접속해서 보니 테이블이 삭제된거 같아서 해당 테이블을 다시 생성을 하려고 했으나 아래와 같은 에러가 나면서 테이블 생성이 실패하였습니다. tablespace name `xxxx_yyyy_table` is exists. 시도한 삽질들 먼저 아래와 같이 단순하게 테이블스페이스(Tablespace)를 삭제 하려고 시도하였습니다. D..

개요 이번 포스팅에서는 특정 데이터베이스에서 작성한 DDL(CREATE TABLE 이나 ADD INDEX) 문 들을 다른 데이터베이스의 DDL로 자동으로 변환해주는 사이트에 대해서 다루려고 한다. 사이트 사용법 먼저 아래 사이트에 방문을 해주자 http://www.sqlines.com/online 그리고 왼쪽에 DDL 문들을 입력하고, 사이트에 있는 Source 와 Target을 지정해주면 자동으로 변환이 된다. 지원 DB 종류도 PostgreSQL, MySQL, MSSQL, Oracle 등등 다양하다.

개요 ​ 이번 포스팅에서는, P95값이나 평균 값과 같은 통계 지표들을 효율적으로 저장할 수 있는 방법 중에 하나인 HdrHistogram에 대해 알아보도록 하겠다. ​ ​ ​ P95와 평균을 저장하는 단순한 방법 ​ 우선 다음과 같은 상황을 가정해보자 ​ 만약 당신이, 모니터링 시스템을 만든다고 가정을 해보자. 이때, 수천~수억건의 응답시간 로그 데이터로 부터, 하위 5% 응답속도와 평균응답 속도를 계산해야 한다. 당신이라면 어떻게 하겠는가? ​ 먼저, P95나 평균을 저장하는 단순한 방법은, 데이터를 계속 가지고 있다가 P95값이나 평균 값이 필요할때 마다, 또는 일정 주기마다 데이터들을 정렬해서 P95(하위 5% 값) 이나 평균값을 계산하는 방법이 있다. ​ 하지만, 이러한 방법은 매번 데이터를 전..

개요 ​ 이번 포스팅에서는 Data Auditing(데이터 이력 관리) 에 대해서 다루어 보도록 하겠다. ​ ​ Data Auditing? ​ ​ 상황을 1가지 가정해보자, 만약 당신이 게시판 관리자고, 관리자 페이지를 통해서 게시글 댓글목록을 관리 하고 있다고 가정을 해보자. ​ ​ 그렇다면 언제 이 글이나 댓글을 작성했는지 라던가, 누가 작성했는지를 알아야, 나중에 차단을 시키던지 다른걸 하던지 관리를 할 수가 있다. ​ ​ 또한, 사용자에 따라서 글 쓰는 기능을 제한 하는 기능도 위의 Data Auditing이 있어야 가능하다. ​ ​ 바로 위와 같은 이유들 때문에, 이러한 데이터 이력관리가 중요하다는 것을 알 수 있다. ​ ​ 하지만 이러한 데이터 이력관리를 처음부터 만들기에는 뭔가 귀찮다. 뭔가..

소개 개인적으로 MySQL을 공부하던 중에 MySQL의 전체적인 아키텍처를 볼 수 있는 그림이 있어서 공유 할겸 포스팅을 하려고 한다. MySQL 아키텍처 Overview 출처 https://dba.stackexchange.com/questions/67866/temp-table-sql-7a87-230c32-ibd-along-with-its-frm-still-exists-on-slave/67871#67871