大语言模型

问题

最近在尝试使用lm-evaluation-harness时，在使用llama模型时，发现最开始的速度奇慢无比。其中定位到一部分问题是使用AutoTokenizer创建tokenizer缓慢，大约需要5分钟左右。这个问题该如何解决呢?

阅读更多