其中一项变化在Michi部分,这是在用户的消息传给Siesta之前负责检测所用语言的组件。它的覆盖范围被调整了——从最初计划支持数十种语言,现在聚焦于14种语言——预训练本身也已经完成,而在上一版本中这部分的状态还是空白。
与此同时,规模大得多的模型开发——拥有超过40亿参数的v6代——仍在持续进行中,而且这个过程并非一帆风顺。在上下文大小的设置和如何将计算负载同时分配到多个TPU芯片上的方法上,仍有一些技术难题需要先解决。
如果你还不熟悉Siesta研究的整体背景,可以阅读之前的文章,从头了解这个故事。