马西蒙 ennnman 是一个非常轻量级的 专注龙芯的 推理引擎,也是一个学习项目。 在龙芯 3a6000 + 32g ddr4 内存 + Ling 3.0 lite llm, 最高可以达到 30 token/s, 比 llama.cpp 还要快一丢丢。 https://gitcode.com/good-good-study-day-day-up/ennnman