Our new 13B model Kayra is coming to Opus
After Clio, our proof of concept model that blew way past our expectations, ending up state of the art according to our evaluations, we would now like to introduce you to our new state of the art 13 billion parameter model: Kayra
Of course, Kayra also offers the massive 8192 token context size that we first introduced with Clio, so you can make use of his unparalleled storytelling capabilities without having to worry about the model forgetting half of your story after a short scene. Allow Kayra’s 8192 token context to artfully weave in past events and callbacks, seamlessly connecting the narrative threads and resurrecting cherished moments with a touch of storytelling magic.
Our Opus subscribers will be the first to get to play with Kayra, but in two weeks he will come to all tiers, in the same way that Clio did.
NovelAI-LM-13B-402k Pretraining
If you are looking for the technical details, you can get your fill at our wandb report. Here, we’ll keep things brief and just say that over our usual evaluation metrics, NovelAI-LM-13B-402k, our foundation model behind Kayra, outperforms all other existing 13B models and MPT-30B while actually being closer in performance to LLaMA 30B than it is to LLaMA 13B.
During finetuning, it even achieved a lower Lambada perplexity score than LLAMA 65B. Update 08/18/2023 Included NovelAI-LM-13B-402k v1.1
Modules
Having completed Kayra, we will release a set of the most important modules (V2). We will eventually include our usual default modules in the lineup. The same modules are also coming to Clio!
Instruct
Instruct is a long awaited and often requested feature. Now it is available as a module! Just enter your instruction on its own line surrounded by curly braces and have the model respond to your request.
Future iterations of this module are likely as we are actively looking for ways to improve it.
Instructions without the module
You can now use instructions without the Instruct module selected!
When you use a command, generation will swap to the Instruct module momentarily (for about 1000 characters), letting you use the occasional instruction without having to switch modules.
Text Adventure
While our models can already hold their own at spinning text adventure yarn, we find that giving a little hand with a text adventure module helps them reach new heights. For this reason, we once again bring you our text adventure module, which is automatically activated when setting a story to text adventure mode.
Prose Augmenter
This module is made to spice up your prose whenever things get stuck in an overly beige rut. If the style of your context reads a bit boring, try switching to this module and see how it goes. The perfect solution for lazy writers!
More info regarding the special modules can be found on our official NovelAI Documentation Page.
Lorebook Generation
Last but not least, we’ve moved over our lorebook generation functionality to Clio & Kayra, giving you speedier and better generations to fill your world building with fresh and lively entries.
We’re beyond thrilled to have completed this goal of bringing you a true storytelling creator such as Kayra after such a long wait. We hope you can traverse familiar and new universes together!
As always we are thrilled to hear your feedback and look forward to seeing some Kayra-powered story snippets!
Thank you for your support,
The NovelAI team
Japanese Translation:
日本語訳：
Kayraカイラ、新13Bモデルがやってきた
ご照覧あれ！
我々の創造物を！
予想を遥かに超え、我々の評価上最先端となった概念実証モデル『Clioクリオ』に続き、130億パラメーターを誇る新モデル『Kayraカイラ』が登場！
Kayraカイラ、テュルク神話において宇宙の神の名であり、神の霊、創造神である。私達は自信をもってその名を最先端のモデルに与える事とした。
KayraはClioから引き続き8192トークンの巨大なコンテキストサイズを提供し、短いシーンの後に物語の流れを忘れてしまうことなく、貴方の創作を強力にサポートする。
例えば、Kayraの8192トークンコンテキストを使えば、過去の出来事や回想を巧みに織り込んで、物語の糸をシームレスにつなぎ、ハイライトの瞬間をストーリーテリングの魔法で編み上げることができるのだ。
Opusプランのサブスクライバーは誰よりも早くKayraでプレーする幸運に恵まれるだろう。
だが、2週間後には、Clioと同じように、全ユーザーが利用できるようになる予定だ。
NovelAI-LM-13B-402kの事前学習
技術的な詳細に興味がある方は、ぜひ、私達のwandbレポートを訪れてもらいたい。
ただ、ここで簡単に説明するなら、私達の通常の評価指標において、Kayraの基礎となるモデルであるNovelAI-LM-13B-402kは、他の13Bの既存モデルをすべて上回り、実際にはLLaMA 30Bに近い性能を持ち、LLaMA 13Bよりも優れていると言えます。
モジュール
Kayraを完成させた後、私達は最も重要なモジュールのセット（V2）をリリースする予定です。最終的には、ラインナップには私達のデフォルトのモジュールも加わります。同じモジュールはClioにも登場予定。
インストラクト
インストラクトは、長く待望され、しばしば要望されていた機能でした。今回のアップデートでついにモジュールとして利用できるようになりました！
指示を中括弧で囲んで独自の行に入力すると、モデルがあなたの要求に応えてくれます。
このモジュールは今後も改良される可能性が高いです。私たちは常に改善方法を探しています。
モジュールなしで指示する
インストラクトモジュールを選択しなくても、インストラクト機能を使うことも出来ます！ コマンドを使うと、生成は一時的にインストラクトモジュールに切り替わり（約1000文字分）、モジュールを切り替えることなく、この機能を使うことができます。
テキストアドベンチャー
私達のモデルはすでに物語を紡ぐのに十分な力を持っていますが、テキストアドベンチャーモジュールで少し手助けすると、さらに高みに達することができます。このため、再びテキストアドベンチャーモジュールをお届けします。このモジュールは、物語をテキストアドベンチャーモードに設定すると自動的に有効になります。
散文強化
このモジュールは、物語が退屈な展開に詰まってしまったときに、あなたの文章にスパイスを加える事が出来ます。
もし、自分の文章が退屈に感じた時、このモジュールを試してみてください。行き詰まりを打破する為の完璧な解決策となるでしょう！
ロアーブック生成
最後に、ロアーブック生成機能をClioに移行しました。これにより、より速く、より良い文章生成がて提供できるようになり、皆さんの物語世界を新鮮で生き生きとした文章や設定で満たすことができます。
Kayraのような真の物語作成アシスタントをお届けできたことを大変嬉しく思っています。私達は皆さんと共に馴染みのある物語世界のみならず、全く新しい世界を旅することができることを願って止みません！
皆さんのフィードバックにいつも感謝しています。皆さんのKayraへのリスポンス、そして彼の力を使った創作シーンのスクリーンショットを見るのを楽しみにしています！
