Siesta：MEA Team AI初の正式公開研究、Zenodoにて発表

Siestaとは何か？

Siestaは、MEA Ecosystemの一部門であるMEA Team AIのもとで開発が進められているインドネシア語のオーケストレーター言語モデルです。主眼は万能アシスタントになることではなく、一つのことに特化したスペシャリストになることです——共感的で人間らしく感じられる会話、そして話しかけるたびに一貫した人格を持つことです。

多くの言語モデルは常に中立的で、常に丁寧で、一貫したキャラクターを決して見せないよう設計されています。それは特定の用途には理にかなっていますが、人間は人格を持つ相手との会話に慣れています——嬉しくなることもあれば、不機嫌になることもあり、返事が時には短いこともある相手です。そのキャラクターの欠如こそが、AIとのやり取りをしばしば人工的に感じさせる原因です。この研究の根底にある問いはシンプルです。モデルは、どんな話題であっても、誰と話していても、一貫したアイデンティティを保つことができるのか？

なぜゼロから構築されたのか？

現在のアーキテクチャに至る前、チームはより一般的な手法——既存の大規模モデルのファインチューニング——をまず試しました。一般的な能力としては十分良い結果が出ましたが、求めている特定の要件には合わないと感じられました。最終的に、そのファインチューニング済みのデータセットとモデルはすべて削除され、開発はゼロからやり直されました。

この決断には当然代償があります——ゼロから構築するということは「生まれ持った賢さ」が一切ないことを意味し、すべてを最初から自分で学習させなければなりません。しかし、そこにこそ完全なコントロールがあります。モデルの「アイデンティティ」が何者であるかを、他人の学習データによってすでに性格が形作られたモデルの上に人格の層を後から貼り付けるのではなく、基盤の段階から決めることができるのです。

理想とは程遠いリソースで構築

これは一人が手がける独立研究であり、研究機関がよく使うような大規模な計算クラスターではなく、クォータが限られたコンシューマー向けGPU・TPUで行われています。この制約がプロセス全体の設計判断を大きく形作りました。中でも最も具体的な教訓の一つが、モデルの規模を拡大する実験から得られたものです。

より大きなモデルアーキテクチャ（40億パラメータ以上）は、基本的にはそれより遥かに小さな以前の世代と同じで、パラメータ数だけが増やされています。当初の想定は「小規模で安全だと実証済みのトレーニングレシピは、大規模でもそのまま安全なはずだ」というものでした。しかし現実は必ずしもそうではありませんでした。小規模モデルでは安定していたフラットな学習率が、はるかに大きなモデルではloss(損失)を下げるどころか逆に上昇させてしまったのです。大規模モデルは学習率スケジュールの形に対してはるかに敏感であることが分かり、トレーニング開始から終了まで固定の数値ではなく——最初にウォームアップし、その後段階的に減衰させるという、より慎重なアプローチが必要でした。

こうした教訓は——失敗や未完了のプロセスも含めて——結果を実際より滑らかに見せるために隠すのではなく、あえてそのまま論文に書かれています。

なぜ完成を待たずプレプリントとして公開したのか？

この研究はまだ進行中であり、現在公開されているバージョンは、まだ長い道のりの途中にあるSiestaのある一時点を切り取ったものです——完成したモデルについての報告書ではありません。論文内ではいくつかの限界が明示的に認められています。identity coherenceの主張についても、現時点では定性的な評価にとどまっており、正式な評価手法を経たものではないことが含まれます。

まだ完璧ではない状態のまま、この段階で公開することを選んだのは意識的な決断です。Zenodoでのプレプリント公開により、この論文には永続的なDOIが付与され、引用可能になり、明確なタイムスタンプが残ります。同時に、今後の進展があればバージョニングシステムを通じて更新し続けることもできます。

次に何がある？

Siestaの現在のロードマップは複数の並行した方向で進められています——まだデバッグ段階にあるより大規模なモデルから、小規模モデルをオープンソースとして公開する可能性（この計画は今後の状況次第で変わる可能性があります）まで。今後の開発方針やまだ解決されていない問いについての詳細は、論文の最終セクションで議論されています。

この論文はMEA Team AI初の研究発表であり、おそらく最後にはなりません。