반응형

전체 글 104

Lecture 4.4 ~ 4.7: Packet Forwarding and Internetworking

4-4 IP Prefixes Copyright © Pearson Education, Inc. or its affiliate(s). All Rights Reserved. mediaplayer.pearsoncmg.com Topic Ip Addresses - 32비트로 구성된 IPv4는 부족할 지경이라 128비트로 구성된 IPv6가 도입되고 있다 - 32비트 전부를 적는 것이 아닌 8개 비트에 대한 수와 dot으로 표기한다 IP Prefixes - Modern - prefix에 해당하는 비트는 고정되어 있다 - prefix 길이가 L인 네트워크에서는 2^(32-L)개의 주소값이 할당된다 - prefix의 길이는 ip 주소 맨 끝에 /를 기입하고 prefix를 기입한다 - /24 네트워크는 256개의 주소, /..

Kafka를 이용해 '실시간' 데이터 처리가 가능한가?

궁금증 IT 관련 글을 보다보면 '실시간 데이터 처리' 라는 단어를 자주 맞이하게 됩니다. MMORPG나 MO FPG등 실시간성이 중요시되는 게임 업계에서는 소켓 서버를 구축하여 이를 가능케합니다. TCP/IP, UDP/IP의 소켓을 직접 다루거나, 그것을 직접 다루는 엔진을 통해 OS의 기능을 직접 다루게 됩니다. 반면, 웹 서버에서는 모든 요청을 웹 리퀘스트로 받으며, 별도로 커넥션을 맺고 끊는 방식이라 성능이 상대적으로 느릴 수 밖에 없습니다. 그렇기에 높은 성능을 가진 것처럼, 실시간으로 보이는 처리를 위해 각종 미들웨어를 사용합니다. 그리고 Kafka는 ActiveMQ, RabbitMQ와 함께 대표적인 메시지 지향 미들웨어 중 하나입니다. 그럼 질문에 대한 대답이 끝나게 되었군요. 웹 서버에서 ..

개발 2022.12.11

Lecture 4-1 ~ 4-3: Packet Forwarding and Internetworking

4-1 Network Layer Overview Copyright © Pearson Education, Inc. or its affiliate(s). All Rights Reserved. mediaplayer.pearsoncmg.com Where we are in the Course - 네트워크 계층에서는 라우터를 통해 패킷을 전송한다 Why do we need a Network layer? - 링크 계층에서 스위치를 통해 작은 네트워크는 구축할 수 있었다 - 네트워크 계층은 왜 필요한 것인가? Shortcomings of Switches - 우선 스위치마다 전세계의 모든 스위치에 대한 정보를 담은 테이블을 가지고 있는 것은 불가능하다 - 또한 도착지를 알기위해 전세계의 모든 스위치에 브로드캐스팅하는 방..

Lecture 3b-1 ~ 3b-8: Link Layer, Part B

3b-1 Overview of the Link Layer Copyright © Pearson Education, Inc. or its affiliate(s). All Rights Reserved. mediaplayer.pearsoncmg.com Where we are in the Course Topics 3b-2 Retransmissions Copyright © Pearson Education, Inc. or its affiliate(s). All Rights Reserved. mediaplayer.pearsoncmg.com Topic Context on Reliability - Reliability function은 어느 계층에서 도맡아야 하는가?? - 물리 계층과 같이 낮은 계층에서는 에러를 방지함으..

2. Apis - 요약

참조 Apis 카프카의 다섯 가지 핵심 API 소개 godekdls.github.io 카프카는 다섯 가지 핵심 api를 제공한다: 1. 카프카 클러스터에 있는 토픽에 데이터 스트림을 전송하는 어플리케이션을 위한 프로듀서 API 2. 카프카 클러스터에 있는 토픽에서 데이터 스트림을 읽어가는 어플리케이션을 위한 컨슈머 API 3. 입력 토픽 데이터를 읽어 출력 토픽에 전송하는 데이터 변환 스트림을 위한 스트림즈 API 4. 끊임 없이 어떤 소스 시스템에서 데이터를 받아(pull) 카프카로 보내거나, 카프카 데이터를 다른 싱크 시스템이나 다른 어플리케이션으로 보내는(push) 커넥터를 구현한 커넥트 API 5. 토픽, 브로커나, 다른 카프카 오브젝트를 관리하고 점검할 수 있는 어드민 API 카프카는 이 모든 ..

개발 2022.12.04

1. Getting Started - 요약

참조 Getting Started 카프카에 대한 기본적인 소개, 사용 사례, 퀵스타트 가이드 godekdls.github.io 1.1 Introduction What is event streaming? 이벤트 스트리밍은 데이터베이스, 센서, 모바일 기기, 클라우드 서비스, 소프트웨어 어플리케이션같은 이벤트 소스에서 데이터를 실시간으로 이벤트 스트림 형식으로 잡아내는 관행이다. 이런 이벤트 스트림은 나중에 조회해갈 수 있게 안전한 곳에 저장하고, 실시간 이벤트 스트림에 즉시 반응하거나 모아서 처리할 수도 있다. 필요에 따라 이벤트 스트림을 다른 기술로 라우팅하기도 한다. 이벤트 스트리밍은 이처럼 데이터의 지속적인 플로우를 이어주며, 덕분에 데이터를 끊김 없이 해석해 적시에 적절한 정보를 필요한 곳에 제공할..

개발 2022.12.04

Lecture 3a.1 ~ 3a.5: Link Layer, Part A

3a-1 Overview of the Link Layer Copyright © Pearson Education, Inc. or its affiliate(s). All Rights Reserved. mediaplayer.pearsoncmg.com Where we are in the Course Scope of the Link Layer In terms of layers... - Network 계층에서 전달된 패킷에 Header와 Trailer를 붙인 Frame을 Physical 계층으로 전송 - Physical 계층 간에 데이터가 전달 - 수신측에서 Physical 계층에서 Link 계층으로 Frame이 전달되며, Header와 Trailer를 제거한 Packet을 Network 계층으로 전달 Typica..

Lecture 2.1 ~ 2.5: Physical Layer

2-1 Overview of the Physical Layer Copyright © Pearson Education, Inc. or its affiliate(s). All Rights Reserved. mediaplayer.pearsoncmg.com Scope of the Physical Layer - Concerns how signals are used to transfer message bits over a link - Wires etc. carry analog signals - We want to send digital bits Topics 1. Properties of media - Wires, fiber optics, wireless 2. Simple signal propagation (전파) ..

Lecture 1.6 ~ 1.9: Introduction, Protocols and Layering

1-6 Protocols and Layers Copyright © Pearson Education, Inc. or its affiliate(s). All Rights Reserved. mediaplayer.pearsoncmg.com Networks Need Modularity - We need a form of modularity, to help manage complexity and support reuse Protocols and Layers - Protocols and layering is the main structuring method used to divide up network functionality - Each instance of a protocol talks virtually to i..

Lecture 1.3 ~ 1.5: Introduction, Protocols and Layering

1-3 Network Components Copyright © Pearson Education, Inc. or its affiliate(s). All Rights Reserved. mediaplayer.pearsoncmg.com Parts of a Network - app과 연결된 노드 = host - 단순히 노드간에 메세지를 넘겨주는 노드 = router - 노드간의 연결 단위 = link - 하나의 host에 여러 app이 연결? => multiplexing Component Names Types of Links - Full-duplex : Bidirectional - same frequency, same time에 양방향 통신 가능 - Half-duplex : Bidirectional - same ..

반응형