TL;DR; 오로지 Windows 사용자에게 적용 가능합니다. Mac / Linux 사용자에겐 해당 사항 없습니다. 개요 Windows 에서 Linux Command 및 aws-cli 를 사용하고 싶습니다. Windows 기본 터미널은 PowerShell 기반으로 linux 명령어를 곧바로 사용할 수 없습니다. WSL 을 통해 Linux 명령어 및 aws-cli 같은 서드파티 툴을 사용할 수 있도록 설정하는 방법을 소개합니다. 프로그램 설치 및 설정 절차 (1) WSL 설치 Microsoft Store > ubuntu 검색 > 설치하기 (2) curl 설치 aws-cli 를 설치 하기 위해 curl 명령어 설행이 필요합니다. $ sudo apt-get install -y curl (3) aws-cli 설..

들어가기 전에아마 이 글을 보는 사람들은 Notion 을 쓰다가 AI 에 추가 기능이 덕지덕지 붙고 떨어진 Notion에 실망하고 가볍고 쓰기편한 Obsidian 으로 갈아타려는데 Table Of Contents 를 바로 지원하지 않아 눌렀을 것이다. Templator 라는 플러그인으로 간단한 작업만 미리 해두면 Notion 보다 더 깔끔한 TOC 를 적용할 수 있다. (1) Templator 설치Obsidian > Settings > Community Plugin > Templater 설치  (2) Template Directory 지정Templates 디렉토리를 생성하고 해당 폴더에 원하는 포맷의 ToC template 코드를 작성한다.아래 샘플 코드를 복붙해도 좋다.>[!SUMMARY]- Table..

문제 상황 (1) Can't be opened becaues Apple cannot check it for malicious software. 웹브라우저로 protobuffer binary 파일을 다운받는다. https://github.com/protocolbuffers/protobuf/releases/download/v25.1/protoc-25.1-osx-universal_binary.zip Can't be opened becaues Apple cannot check it for malicious software. 웹 브라우저로 다운로드 받은 Binary 실행 파일은 그냥 열 수 없다. Apple 은 어떤 실행파일이든 Notarization 이라고하는 과정을 거친 파일만 웹에 게시되고, 다운로드하여 실..

Custom Se/Deserializer 문제점 Apache kafka serialization에 보면 Serializer & Deserializer 역할을 가진 인터페이스를 Serde 가 정의되어있다. 직렬화/역직렬화를 하는 클래스를 Serde 라고 지칭하겠다. public interface Serde extends Closeable { // .. Serializer serializer(); Deserializer deserializer(); } Avro 란 JSON 으로 정의된 Schema Avro 기존 커스텀 Serdes 의 문제를 해결했나 Registry 지원으로 스키마 변경 지원 Avro 스키마에 맞는 Serde 구현체 코드 자동생성 Avro Class 로 불린다. 애플리케이션 변경을 요구하지 ..

TL;DR; Kafka Streams' local state store (rocksDB) could not operate on windows because of permission issue. Environment Key Value OS Windows Kafka clients version v3.5.1 Kafka streams version v3.5.1 JDK OpenJDK 20.0.2 Kotlin version 1.9.10 Source Code KafkaConfig.kt @Configuration @EnableKafka @EnableKafkaStreams class KafkaConfig { companion object { const val SOURCE_TOPIC: String = "source-top..

OverView In-Memory 임 Disk 임? 둘다 씀. (1) 우선 Memtable (In memory buffer) 에 쓰고 Memtable 이 가득차면 Immutable 상태로 변경시킨 후 (2) Level 0 Sorted Static File (SST) 로 flush (3) (1)(2) 와 별도로 Write Ahead Logs (WAL) 저장 모든 쓰기 연산(Put, Delete, Merge) 을 기록(Log) Disk storage 에 위치하고 이는 데이터 복원을 위해 쓰임. Compaction (SST file L0 -> L1) 은 뭐하는거임? 중복 제거 및 병합 정렬하는 작업. 이미 존재하는 key value 데이터가 오버래핑 되는 것을 막아줌. Reference RocksDB Over..