哇酷®开发者社区(WhyCan® Forum)

一个完全不懂LLM的哞哞，硬着头皮搞AI语音交互的探索之路

一、跑demo:
Qwen2.5最多只能跑3B，再大的话内存不够加载不起来，首词响应时间（TTFT）：87.316 ms；生成速度：94.14 Tokens/s。
Qwen3 1.7B可以，4B跑不起来。
实际跑起来回答速度还是非常快的。

谈谈功耗：
1、只加载，不推理功耗大概有4W多。

2、推理时，有12W多，不过NPU好像还没满负荷，所以实际还可能更高。

....更新待续