欢迎来到彩壳资讯
彩壳资讯
当前位置:网站首页 > 数码 > 谷歌发布语言模型PaLM2,训练代币突破3.6万亿,

谷歌发布语言模型PaLM2,训练代币突破3.6万亿,

日期:2023-10-04 14:16

人工智能AI技术的应用是目前很多领域中比较重要的一部分,谷歌在这个领域也有相当的实力。就在最近,Google最新的语言模型PaLM2非常有竞争力。

据报道,标记是指用于训练大型语言模型的单词字符串,它们对于教导模型如何预测字符串中可能出现的下一个单词至关重要。

去年发布的上一代模型PaLM仅使用了7800亿个代币,而PaLM2增加到3.6万亿个代币。同时,得益于海量的训练数据,PaLM2 在编程、数学和创意方面表现更好。这些也将有效提高用户的工作效率,减少工作量。

还有报道称,PaLM2是基于3400亿个参数进行训练的,而PaLM的初始版本是基于5400亿个参数进行训练的,这也使得PaLM2比任何现有模型都更强大。

模型采用了一种名为“计算机优化扩展”的新技术,使大语言模型具有更高的效率和整体性能,包括加速推理速度、减少参数调用和降低服务成本。

相信,随着社会科技的进步,Ai科技的应用也会给我们的生活带来很多改变。

以上来自网络,版权归原作

-->

关灯