AI 와 개발에 관한 기록
-
Mac Studio M5 Ultra에서 MiniMax H3, 768p 5초 영상 97초까지
M5 Ultra 256GB에서 MiniMax H3를 Mac용 엔진 VPIPE와 h3.c로 돌렸습니다. 1344×768·124프레임 텍스트→영상이 Turbo 4스텝과 int8 token 단계로 97초였고, 이미지·첫끝 프레임·참조 입력도 재 봤습니다.
-
M5 Ultra 256GB에서 oMLX로 DeepSeek V4.1 Flash 1017, 128K 위치 생성 초당 57~58토큰
Mac Studio M5 Ultra 256GB에서 oMLX 0.7.3.dev2와 MLX oQ2e 가중치로 DeepSeek V4.1 Flash 1017을 128K까지 누적해 쟀습니다. 생성은 같은 기계의 ds4보다 1.5배 빨랐고 prefill은 절반 수준이었습니다. MTP는 원문에 따라 0.76~1.72배였습니다.
-
같은 Qwen3.8 Flash Next를 M5 Ultra·M4 Max·Ryzen AI Max+ 395에서, 128K 생성 41·29·9 tok/s
같은 Qwen3.8 Flash Next UD-Q4_K_XL 파일과 같은 누적 작업으로 M5 Ultra 256GB를 쟀습니다. M4 Max보다 생성 1.4배·prefill 3배, Ryzen AI Max+ 395보다 생성 2.8~4.7배였습니다.
-
M5 Ultra 256GB에서 DeepSeek V4.1 Flash 1017, 128K 위치 생성 초당 37토큰
Mac Studio M5 Ultra 256GB에서 DeepSeek V4.1 Flash 1017 Q2의 일반 가중치를 모두 메모리에 올리고 128K까지 누적해 쟀습니다. 128K 생성 37 tok/s, M4 Max보다 생성 약 2.1~2.3배, prefill 4~6배였습니다.
-
M4 Max 128GB에서 DeepSeek V4.1 Flash 1017 Q2, 128K 위치에서 생성 초당 16~18토큰
340GiB짜리 DeepSeek V4.1 Flash 1017 Q2를 통합 메모리 128GiB인 M4 Max에서 SSD 스트리밍으로 돌려, 32K씩 128K까지 쌓는 작업을 소설·코드 각 3회 쟀습니다. 128K 위치 생성은 16~18 tok/s였습니다.
-
macOS에서 스크립트로 띄운 Chrome을 강제 종료하면 실행마다 2.1GB가 남습니다
설치된 Google Chrome을 QA 스크립트로 띄웠다가 SIGTERM이나 SIGKILL로 끝내면 앱 번들 사본이 하나씩 남습니다. 3주 동안 138개, 약 289GB가 쌓여 디스크가 찼습니다. 원인과 종료 방식별 측정, 막는 법입니다.
-
Strata 엔진은 128K에서 생성이 2~4배 빨랐지만, 실사용에서는 원래 엔진으로 돌아왔습니다
EVO-X2에서 Strata v0.1.40을 llama.cpp와 비교했습니다. 단일 요청에서는 128K 생성이 2~4배, 첫 토큰이 4.5배 빨랐지만, 두 요청을 동시에 받으면 출력이 깨졌고 하루 실사용 시험에서는 본문 없이 끝나는 답이 나와 원복했습니다.
-
ComfyUI 0.38의 정식 H3 가속 셋을 Blackwell에서 비교했습니다
ComfyUI 0.38에 들어온 정식 sparse attention, INT8 attention, w6a8 가중치를 RTX Pro 6000 Blackwell에서 3회 중앙값으로 비교했습니다. 정식 sol-attn이 기존 커스텀 패치보다 빨랐고, INT8 attention과 w6a8은 속도 이득이 없었습니다.
-
두 대화가 각각 128K를 쓰면, 캐시와 동시 요청은 어떻게 되나
EVO-X2에서 llama-server 슬롯 두 개에 각각 약 120K토큰짜리 대화를 올려 캐시 재사용과 동시 요청을 쟀습니다. 후속 질문은 99.9% 캐시를 써서 2초 안에 답했고, 두 요청이 겹치면 생성 속도가 떨어졌습니다.
-
M4 Max에서 Qwen3.8 Flash Next를 oMLX로 돌리면 128K에서도 초당 56토큰
M4 Max 128GiB에서 oMLX 정식 0.7.0과 MLX oQ4e 가중치로 32K씩 누적해 128K까지 쟀습니다. 생성은 128K에서도 56 tok/s 안팎, 새로 넣는 32K의 prefill은 780 tok/s 안팎이었습니다.