나만의 repository

핵심 내용 1. 주요 파티셔닝 기법 키 범위 파티셔닝 : 키가 정렬돼 있고 개별 파티션은 어떤 최솟값과 최댓값 사이에 속하는 모든 키를 담당한다. 키가 정렬돼 있어 범위 질의가 효율적이지만, 애플리케이션에서 정렬 순서가 서로 가까운 키에 자주 접근하면 핫스팟이 생길 위험이 있다. 이 방법에서는 보통 한 파티션이 너무 커지면 키 범위를 두 개로 쪼개 동적으로 재균형화를 실행한다. 해시 파티셔닝 : 각 키에 해시 함수를 적용하고 개별 파티션은 특정 범위의 해시값을 담당한다. 이 방법을 쓰면 키 순서가 보장되지 않아 범위 질의가 비효율적이지만 부하를 더욱 균일하게 분산할 수 있다. 해시 파티셔닝을 사용할 때는 보통 고정된 개수의 파티션을 미리 만들어 각 노드에 몇 개씩의 파티션을 할당하며 노드가 추가되거나 제..

핵심 내용 1. 복제의 용도 고가용성 연결이 끊긴 작업 : 네트워크 중단이 있어도 애플리케이션이 계속 동작 지연 시간 확장성 2. 복제에 대한 주요 접근 방식 단일 리더 복제 : 클라이언트는 모든 쓰기를 단일 노드로 전송하고 리더는 데이터 변경 이벤트 스트림을 다른 복제 서버로 전송한다. 읽기는 모든 복제 서버가 수행할 수 있지만 팔로워의 읽기는 오래된 값일 수 있다 다중 리더 복제 : 클라이언트는 각 쓰기를 여러 리더 노드 중 쓰기를 받아들일 수 있는 노드로 전송한다. 리더는 데이터 변경 이벤트 스트림을 다른 리더와 모든 팔로워 노드로 전송한다 리더 없는 복제 : 클라이언트는 각 쓰기를 여러 노드로 전송한다. 클라이언트는 오래된 데이터를 감지하고 이를 바로잡기 위해 병렬로 여러 노드에서 읽는다 3. 복..

핵심 내용 1. 순회식 업그레이드는 정지 시간 없이 새로운 버전의 서비스를 출시 가능하게 하고 배포를 덜 위험하게 만든다. 2. 순회식 업그레이드 중이거나 여러 가지 다른 이유로 다양한 노드에서 다른 버전의 여러 애플리케이션 코드가 수행된다. 따라서 시스템을 흐르는 모든 데이터는 하위 호환성과 상위 호환성을 제공하는 방식으로 부호화해야 한다. 3. 다양한 데이터 부호화 형식으로는 JSON, XML, CSV 같은 텍스트 형식과 스리프트, 프로토콜 버퍼, 아브로 같은 이진 스키마 기반 형식이 존재한다. 배운 내용 1. 프로토콜 버퍼와 같은 구조화된 데이터 직렬화 방식에서 필드에 새로운 태그 번호를 부여하는 방식으로 스키마에 새로운 필드를 추가할 수 있다. 새로 추가되는 필드는 상위 호환성을 유지하려면 opt..

핵심 내용 로그 구조화 관점에서 파일에 추가와 오래된 파일의 삭제만 허용하고 한 번 쓰여진 파일은 절대 갱신하지 않는다. 비트캐스크, SS테이블, LSM 트리, 레벨 DB, 카산드라, HBase, 루씬 등이 이 그룹에 속한다. 임의 접근 쓰기를 체계적으로 디스크에 순차 쓰기로 바꾼다 하드드라이브와 SSD의 성능 특성에 맞춰 쓰기 처리량을 높이는 것이 가능하다 제자리 갱신 관점에서 덮어쓰기 할 수 있는 고정 크기 페이지의 셋으로 디스크를 다룬다. 이 관점에서 가장 큰 예가 B 트리다. B 트리는 모든 주요 관계형 데이터베이스와 많은 비정형 데이터베이스에서도 사용한다. 배운 내용 1. 정렬되어 있으면 적어도 두가지 값 사이에 있다는 것만으로도 이진 탐색이 가능해진다. 인덱스가 범위를 나타내는 페이지로 구성되..