変更点の一つはMichiに関する部分です。Michiはユーザーが使っている言語を検出し、Siestaにメッセージを渡す前段で動作するコンポーネントです。対応範囲が調整され——当初は数十言語をサポートする計画でしたが、現在は14言語に絞られています——事前学習自体も完了しました。前バージョンではこの部分がまだ空欄の状態でした。
一方で、はるかに大きな規模のモデルの開発——40億パラメータ以上のv6世代——も引き続き進行しており、その過程は決して順調一筋ではありません。コンテキストサイズの設定や、複数のTPUチップへの計算負荷の分散方法をめぐる技術的な課題がまだいくつか残っており、それらを先に解決する必要があります。
Siesta研究全体の背景にまだ詳しくない方には、最初からの経緯を扱った前回の記事があります。