AI 23편
LLM, 에이전트, 모델 활용에 관한 글
-
128GB 두 대 비교, M4 Max와 Ryzen AI Max+ 395에서 Qwen3.8과 DeepSeek V4.1
통합 메모리 128GB인 Mac Studio(M4 Max)와 EVO-X2(Ryzen AI Max+ 395)에서 같은 Qwen3.8 가중치를 각 하드웨어 담당자가 고른 대표 설정으로 같은 작업에 돌렸습니다. M4 Max가 prefill 1.9~3.0배, 생성 2.0~3.3배 빨랐습니다.
-
3주 뒤 다시 잰 Qwen3.8, llama.cpp 업데이트로 prefill 최대 61% 향상
ROCm 버전을 올려서는 나지 않던 향상이 llama.cpp 코드 업데이트로 나왔습니다. upstream 비교, 실제 문맥 32/64/96K 측정, 128K+vision 검증, HIP와 Vulkan 비교를 정리했습니다.
-
M4 Max에서 DeepSeek V4.1 돌리기, 외장 SSD 읽기 지연을 쫓다가 가중치를 나눠 배치하기까지
외장 SSD 스트리밍 중 한 레이어 읽기가 42초씩 걸리는 현상을 추적했고, 340GiB 모델을 내장 가중치 152GiB와 외장 Engram 189GiB로 나눠 prefill을 26% 끌어올렸습니다.
-
340GiB DeepSeek V4.1을 128GB 미니PC에서 SSD 스트리밍으로 돌려 봤습니다
메모리의 2.7배인 모델을 expert SSD 스트리밍으로 돌렸습니다. 커뮤니티 ROCm PR을 EVO-X2에서 직접 빌드해 16K 벤치마크, 32~128K 측정, greedy 반복 출력 진단을 했습니다.
-
이미지 조건을 붙여도 MiniMax H3 HIP Sol은 30% 빨랐습니다
텍스트→영상에서만 확인했던 네이티브 HIP Sol을 시작·종료 이미지(FL2VA)와 참조 이미지(R2VA) 입력에서도 측정했습니다. 모든 조건에서 30.2% 줄었고 24회 모두 정상 완료됐습니다.
-
같은 MiniMax H3를 Ryzen AI Max+ 395와 RTX Pro 6000 Blackwell에서
128GB 통합 메모리 미니PC와 96GB Blackwell 워크스테이션에서 같은 영상 모델을 각각 가속해 봤습니다. 속도 차이와, 한쪽에서 가장 빠른 방법이 다른 쪽에서는 통하지 않았던 점을 정리했습니다.
-
gfx1151의 MiniMax H3, 네이티브 HIP Sol로 생성 시간 30% 단축
dense보다 느려서 뺐던 Sol attention을 comfy-kitchen의 네이티브 HIP 구현으로 다시 쟀습니다. 1344×768에서 617초가 431초로 줄어 영상 한 편에 3분 6초를 아낍니다.
-
RTX Pro 6000 Blackwell에서 MiniMax H3 가속 경로 비교
96GB Blackwell에서 H3 가속 방법을 비교했습니다. 8-step에 Triton Sol 패치를 넣으면 22% 줄고, FastH3 VSA 4-step으로 바꾸면 2.4배 빨라집니다. 이름이 비슷해 헷갈리는 백엔드도 하나 있었습니다.
-
Qwen3.8 Flash Next를 128K 컨텍스트로 운영하며 확인한 것들
104.5GiB Qwen3.8 Flash Next를 EVO-X2에서 128K 컨텍스트로 돌리며 ROCm 10 동조건 비교, lazy tensor, MTP draft-2를 측정하고 운영 기본값을 정했습니다.
-
gfx1151에서 MiniMax H3를 빠르게 돌리는 방법을 하나씩 재 봤습니다
step distillation, attention, cache, 전용 HIP 런타임을 하나씩 측정해 ROCm 10 + CK + LightX2V 4-step을 기본 경로로 정했습니다. cache가 결과물을 얼마나 바꾸는지도 SSIM으로 쟀습니다.