跳至内容

Day Day Up ~

sharpbai's tech blog~

  • Web前端
  • 网络技术
  • javascript
    • Greasemonkey
  • php
  • Ubuntu
    • Open-Wrt
  • 自写小软
  • 个人随笔
  • 想认识下博主么~

大语言模型

解决llama使用AutoTokenizer创建tokenizer缓慢问题

2023年6月29日2023年6月28日 作者 sharpbai

问题

最近在尝试使用lm-evaluation-harness时,在使用llama模型时,发现最开始的速度奇慢无比。其中定位到一部分问题是使用AutoTokenizer创建tokenizer缓慢,大约需要5分钟左右。这个问题该如何解决呢?

阅读更多

分类 大语言模型 发表评论

欢迎赞赏

欢迎加入知识星球一起交流

近期文章

  • 无需重启解决macos屏幕镜像概率性无法发现第三方无线投屏器问题
  • 解决llama使用AutoTokenizer创建tokenizer缓慢问题
  • 在amd64架构机器上构建arm64的Docker
  • 解决北京联通访问autodl上的stable-diffusion-webui图片加载缓慢的问题
  • 解决Killer AX1690i无线网卡在Ubuntu 22.04下无法被驱动识别的问题

归档

分类目录

  • Android
  • API
  • ffmpeg
  • Greasemonkey
  • HAM
  • javascript
  • nodejs
  • Open-Wrt
  • php
  • Socket编程
  • SQL
  • System
  • Ubuntu
  • Web前端
  • 个人随笔
  • 人工智能
  • 大语言模型
  • 技术管理
  • 操作系统
  • 未分类
  • 架构与模式
  • 深度学习
  • 硬件与电路
  • 算法与数据结构
  • 网络技术
  • 自写小软
  • 计算机体系结构
  • 音视频

其他操作

  • 登录
  • 条目feed
  • 评论feed
  • WordPress.org

欢迎给我赞赏

欢迎加入知识星球一起讨论

欢迎加入我的知识星球
© 2023 Day Day Up ~ • Built with GeneratePress • 京ICP备15063919号-1