본문 바로가기

전체 글

성장하고 싶다. 최근 몇달간 내 한계에 계속 도전했다. 최근 몇년간 무언가에 이렇게 도전을 해본 적이 없어서 매우 신선한 경험이었다. 내 능력의 벽을 느끼고, 그 벽을 넘는걸 반복했던 것 같다. 이 과정을 반복하면서 좌절도 많이 하고, 많이 배우고, 약간의 자신감도 생겼다. 물론 아직도 배울게 많고 많이 부족하다. 그리고 최근에 또 다시 하나의 벽을 만났다. 최근에 슬랩 할당자 쪽을 공부하면서 오해도 많이 하고 바보 같은 질문도 많이 하고 이상한 코드도 많이 짰다. 최근에 드는 생각들을 대충 요약하면 내가 아직 경험이 부족해서 너무 이론적으로만 생각하는 것 같다. 물론 메모리 관리가 쉬운 분야가 아니기도 하다. (...) 분야에 대한 폭넓은 이해가 부족한 상태에서 뭔가를 하려다보니 기대와 달리 잘 되지 않았다. 내용을 .. 더보기
[책] BPF 성능 분석 도구 요즘 코드만 보다보니까 너무 시야가 좁아진다는 생각이 들어서 알라딘에서 볼만한 책을 찾다가 이 책을 만났다. 이 책은 BPF라는 도구가 어떻게 동작하고, 이 도구로 리눅스 시스템을 어떻게 계측하는지를 설명해준다. 나는 원래 BPF, TRACING, PERF와 같은 서브시스템이 왜 중요한지 몰랐다. 하지만 이 책을 읽다보니 생각이 완전히 바뀌었다. 예를 들어서 성능과 관련된 부분에서 작업을 한다면 성능을 정확하게 측정할 수 있어야 한다. 코드의 어떤 부분에서 병목이 생기는지, 어떤 코드 경로에서 시간을 잡아먹는지, 실행시에 어떤 이벤트가 발생하는지를 알아야 한다. 정확한 측정 없이는 문제를 찾을 수도 개선할 수도 없다. BPF가 리눅스 시스템을 더 잘 이해할 수 있도록 시야를 넓혀줄거란 기대가 생겼다. 그.. 더보기
[Linux Kernel] SLUB 오브젝트 할당/해제 분석 이 글에서는 SLUB을 5.14 기준으로 분석한다. 왜 5.14 기준이냐면 이번에 5.15에서 RT-compatible하게 바뀌었는데 SLUB을 분석하면서 같이 설명하기엔 너무 복잡하기 때문이다. 5.14에서 5.15로 넘어가면서 바뀌는 부분은 별도의 글로 정리해야겠다. SLUB은 Christoph가 SLAB의 설계상 단점을 보완하기 위해서 만든 슬랩 할당자이다. queueing을 최소화하고 대신 CPU에 특정 페이지를 담당하게 해서 TLB miss를 줄인다는 것이 가장 큰 특징이다. 그리고 SLAB보다 디버깅 기능이 좋다. 2.6.23부터 기본으로 SLUB 할당자를 사용하도록 되어있다. SLUB이 대부분의 상황에서 선호된다. 하지만 SLUB이 SLAB을 보완하려고 만들었다고 해서 항상 SLAB보다 뛰어.. 더보기
[Linux Kernel] 부팅 초기에 Abort가 나서 로그가 안보일때 SLUB/SLOB 분석하다가 이것저것 수정해보고있다. 버그가 나서 고쳐야하는데 start_kernel에서 local_irq_enable을 하기만 하면 인터럽트쪽 코드 때문에 디버깅이 안되는데 Oops도 제대로 안보여서 매우 곤란해졌다. 그래서 한 몇시간 삽질하다가 찾은 방법이 gdb 스크립트를 활용하는 것이다. 이런게 있었다니 .. OTL.. gdb -iex 'add-auto-load-safe-path .' vmlinux # gdb 실행 target remote:1234 # 원격 접속 continue # 터질때까지 기다림 ^C # SIGINT 보냄 lx-dmesg # dmesg 보여주는 스크립트 너무 잘보인다... p.s. 왜인지 모르겠으나 l *slob_free+0x140/0x284를 하면 잘못된 라인.. 더보기
[Linux Kernel] slab_common 분석 이 글은 독자가 슬랩에 대한 약간의 이해가 있다고 가정한다. 슬랩을 왜 쓰는지, cache와 slab이 어떤 관계가 있는지, kmalloc/kfree가 무엇인지 정도는 알고 있어야 한다. 아래 두 글을 먼저 읽는 것도 이해에 도움이 될것같다. [Linux Kernel] SL[AUO]B: Kernel memory allocator design and philosophy 내가 SLAB/SLUB을 잘못 이해했는지 Christoph Lameter 아저씨가 발표한 영상을 한 번 보라고 추천해주셨다. 이 글은 SL[AUO]B: Kernel memory allocator design and philosophy를 정리하고 내 의견을 추가로 적은.. hyeyoo.com The Slab Allocator: An Objec.. 더보기
The Elements of Cache Programming Style 코드를 짜다가 캐시를 고려해서 짜야한다는 지적을 받아서 정리해본다. 원문: The Elements of Cache Programming Style (Chris B. Sears, USENIX 2000) Introduction 캐시 메모리는 당근과 채찍의 원리로 작동한다. 당근은 지역성의 원리(Principle of Locality)이고 채찍은 암달의 법칙이다. 지역성의 원리는 컴퓨터의 메모리 접근이 무작위적이지 않고 규칙이 존재한다는 가정에 근거한다. 이때 시간 지역성 (temporal locality)는 한 번 접근한 메모리는 다시 접근할 확률이 높음을 의미하고, 공간 지역성 (spatial locality)는 접근한 메모리의 주변 메모리에 접근할 확률이 높음을 의미한다. 그리고 암달의 법칙은 더 빠른 .. 더보기
[Linux Kernel] SL[AUO]B: Kernel memory allocator design and philosophy 내가 SLAB/SLUB을 잘못 이해했는지 Christoph Lameter 아저씨가 발표한 영상을 한 번 보라고 추천해주셨다. 이 글은 SL[AUO]B: Kernel memory allocator design and philosophy를 정리하고 내 의견을 추가로 적은 것이다. PDF는 여기에 있다. 대부분의 커널 개발자는 (당연히도) 슬랩 할당자와 상호작용을 하게 된다. 슬랩 할당자란 무엇인가?! 기본적으로 메모리 할당은 PAGE_SIZE (4K)로 이루어진다. (그리고 느림) 하지만 작은 크기의 메모리에 대해서는 페이지를 쪼개서 sizeof(struct bio), sizeof(struct sg) 등등 작은 단위로 할당할 수 있고 그게 더 빠르다. 대부분의 서브시스템에서 메모리 할당을 해야하므로 슬랩 할.. 더보기
The Slab Allocator: An Object-Caching Kernel Memory Allocator 이 글은 1994년 Jeff Bonwick (Sun Microsystems)의 The Slab Allocator: An Object-Caching Kernel Memory Allocator를 정리한 것이다. 그나저나 이 논문 우리 큰누나랑 동갑이다. 논문이 나보다 누나잖아..? 1. Introduction 슬랩 할당자는 1994년 Jeff Bonwick이 SunOS 5.4에 도입한 메모리 할당자이다. 이 메모리 할당자는 객체를 할당하고 해제할 때, 메모리를 할당하는 비용보다 생성/소멸시의 비용이 더 높으므로, 이런 생성/소멸 비용을 줄이고자 만들어졌다. 그리고 컬러링(colouring)을 통해 하드웨어 캐시를 최대한 활용하고자 한다. 또한 이 할당자는 통계와 디버깅 기능으로 시스템을 모니터링 하거나 시스.. 더보기