나만의 repository

궁금증 IT 관련 글을 보다보면 '실시간 데이터 처리' 라는 단어를 자주 맞이하게 됩니다. MMORPG나 MO FPG등 실시간성이 중요시되는 게임 업계에서는 소켓 서버를 구축하여 이를 가능케합니다. TCP/IP, UDP/IP의 소켓을 직접 다루거나, 그것을 직접 다루는 엔진을 통해 OS의 기능을 직접 다루게 됩니다. 반면, 웹 서버에서는 모든 요청을 웹 리퀘스트로 받으며, 별도로 커넥션을 맺고 끊는 방식이라 성능이 상대적으로 느릴 수 밖에 없습니다. 그렇기에 높은 성능을 가진 것처럼, 실시간으로 보이는 처리를 위해 각종 미들웨어를 사용합니다. 그리고 Kafka는 ActiveMQ, RabbitMQ와 함께 대표적인 메시지 지향 미들웨어 중 하나입니다. 그럼 질문에 대한 대답이 끝나게 되었군요. 웹 서버에서 ..

참조 Apis 카프카의 다섯 가지 핵심 API 소개 godekdls.github.io 카프카는 다섯 가지 핵심 api를 제공한다: 1. 카프카 클러스터에 있는 토픽에 데이터 스트림을 전송하는 어플리케이션을 위한 프로듀서 API 2. 카프카 클러스터에 있는 토픽에서 데이터 스트림을 읽어가는 어플리케이션을 위한 컨슈머 API 3. 입력 토픽 데이터를 읽어 출력 토픽에 전송하는 데이터 변환 스트림을 위한 스트림즈 API 4. 끊임 없이 어떤 소스 시스템에서 데이터를 받아(pull) 카프카로 보내거나, 카프카 데이터를 다른 싱크 시스템이나 다른 어플리케이션으로 보내는(push) 커넥터를 구현한 커넥트 API 5. 토픽, 브로커나, 다른 카프카 오브젝트를 관리하고 점검할 수 있는 어드민 API 카프카는 이 모든 ..

참조 Getting Started 카프카에 대한 기본적인 소개, 사용 사례, 퀵스타트 가이드 godekdls.github.io 1.1 Introduction What is event streaming? 이벤트 스트리밍은 데이터베이스, 센서, 모바일 기기, 클라우드 서비스, 소프트웨어 어플리케이션같은 이벤트 소스에서 데이터를 실시간으로 이벤트 스트림 형식으로 잡아내는 관행이다. 이런 이벤트 스트림은 나중에 조회해갈 수 있게 안전한 곳에 저장하고, 실시간 이벤트 스트림에 즉시 반응하거나 모아서 처리할 수도 있다. 필요에 따라 이벤트 스트림을 다른 기술로 라우팅하기도 한다. 이벤트 스트리밍은 이처럼 데이터의 지속적인 플로우를 이어주며, 덕분에 데이터를 끊김 없이 해석해 적시에 적절한 정보를 필요한 곳에 제공할..