#local-llm

ローカル LLM の prompt cache を実測した記録：10 万トークン超の待ち時間が 145 秒から 2 秒前後になった

Mac Studio の oMLX で、ローカル LLM の context・output・RoPE・YaRN・prompt cache を確認し、cache の有無で最初の token までの時間を実測した記録。