小——保存tensor和读取tensor
一些小技巧——保存tensor和读取tensor
最近需要训练模型,模型的输入即BERT输入,目标是训练该模型encoding的能力,因为使用的是无监督simCSE方法,涉及到“一个句子输入模型两次得到两个encoding”的问题,但实际工作中,如果在产生dataset的时候现生成encoding,训练速度将会无比的慢,因此,提前使用模型将tensor生成好,将会大大提高训练速度(主要是读取数据集的速度会变快)
保存多个tensor
前提:有一个存放着多个tensor的列表
结果:得到一个存有许多numpy格式数的文件
#s:存放着多个tensor的列表
import numpy
s_numpy = [x.numpy() for x in s] #步骤1
numpy.save("tensor.npy",s_numpy)
如果不经过步骤1,则有可能报出以下错误
加载tensor
b = numpy.load("tensor.npy", allow_pickle=True)
c = [torch.tensor(x) for x in b]
allow_pickle参数,官方解释是这样的,所以我们这里要设置为True允许加载
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhfhhkhc
系列文章
更多
同类精品
更多
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01 -
怎样阻止微信小程序自动打开
PHP中文网 06-13