公告 · 研究与AI

Siesta:MEA Team AI首个研究成果正式在Zenodo发表

经过数月作为内部项目运行,MEA Team AI的首个研究成果终于有了正式形式:一篇带有DOI、可被引用、向所有人开放阅读的预印本。这是关于研究内容、为什么要从零构建,以及还有哪些未完成工作的故事。

什么是Siesta?

Siesta是正在MEA Team AI(MEA Ecosystem的一部分)开发的印尼语协调器语言模型。它的主要重点不是成为全能助手,而是专注于一件事:让对话感觉富有同理心、有人情味,每次交流都保持一致的个性。

大多数语言模型被设计为始终中立、始终礼貌,从不展现一致的性格。这对某些需求来说是合理的,但人类习惯于和有个性的人聊天——会开心、会不耐烦,有时回答就是简短了点。正是这种性格的缺失,让人与AI的互动常常显得不真实。这项研究背后的问题很简单:一个模型能否无论讨论什么话题、无论是谁在与它交谈,都保持一致连贯的身份?

为什么要从零构建?

在达到现在的架构之前,团队曾尝试过更常见的路径:对已有的大型模型进行微调。结果在通用能力上还不错,但感觉不适合所需的特定需求。最终,整个数据集和微调后的模型都被删除,开发从零重新开始。

这个决定并非没有代价——从零构建意味着没有"内置的聪明才智",一切都必须自己从头训练。但正是在这一点上获得了完全的控制权:模型的"身份"是谁,可以从根基上就确定下来,而不只是在一个性格早已被别人的训练数据塑造好的模型上贴一层人格标签。

这篇论文探索的内容

协调器模型的身份一致性

这篇论文不是完整的技术文档——内部架构细节和数据方案被有意不公开。探索的内容包括:一个模型如何能保持一致的身份、为什么人格是通过数据组合而非显式指令塑造的,以及将对支持模型的全部委派过程隐藏在交互表面之下的编排架构。

阅读完整论文 →

在远非理想的资源条件下构建

这是一项独立研究,背后只有一个人,使用配额有限的消费级GPU和TPU完成——而不是AI研究实验室常用的大型计算集群。这些限制在很大程度上塑造了整个过程中的设计决策,其中一个最具体的教训来自扩大模型规模的实验。

更大的模型架构(40亿以上参数)本质上与之前小得多的几代模型相同——只是参数数量增加了。最初的假设是:在小规模下已被证明安全的训练方案,在大规模下也会同样安全。但现实并非总是如此。对小模型稳定的平坦学习率,在更大的模型上反而会导致loss上升而不是下降。更大的模型对学习率调度的形态要敏感得多,需要更谨慎的方法——先预热,再逐步衰减——而不再是从头到尾固定不变的数字。

这类教训——包括失败或尚未完成的过程——被刻意如实写入论文中,而不是被隐藏起来让结果看起来比实际更顺利。

为什么作为预印本发表,而不是先保留?

这项研究仍在进行中,目前发表的版本记录的是Siesta在一段仍很漫长的旅程中的某个节点——而不是一份关于已完成模型的报告。论文中明确承认了一些局限性,包括关于身份一致性的说法,目前仍只是定性评估,尚未经过正式的评估方法论验证。

选择在这个阶段发表——带着所有尚未完善的部分——是一个清醒的决定。Zenodo上的预印本给了这篇论文永久的DOI,可被引用,有清晰的时间记录,同时仍可通过版本系统在未来有新进展时更新。

接下来是什么?

Siesta目前的路线图在几条平行轨道上推进——从仍在调试阶段的更大规模模型,到可能以开源形式发布小规模版本模型(这个计划仍可能根据后续进展而改变)。关于未来发展方向的更多细节,包括仍然开放的问题,在论文末尾有详细讨论。

这篇论文是MEA Team AI的首个研究发表,很可能不会是最后一个。