CoreWeave Announces NovelAI as Among the First to Have NVIDIA HGX H100 GPUs Online

We are proud to announce an exciting new development to the NovelAI community after months of preparation!

Anlatan’s partnership with CoreWeave, as well as NVIDIA’s support, has allowed us to build our own AI training infrastructure utilizing the state-of-the-art H100 GPUs. The reveal is outlined in a press release below that we, CoreWeave, and NVIDIA issued together.

It is an honor for us to be one of the first companies to adopt this technology. With this infrastructure investment we are fully independent when it comes to training language, image generation, and a variety of other AI models.

It wouldn’t have been possible without your support since NovelAI’s inception in 2021!

By supercharging our service, we aim to make NovelAI a leading service, while also preserving our fundamental principles of creative freedom and privacy.

These investments will enable us to meet the rapidly changing demands of the AI community.

This has been months in the making, and we would like to express our gratitude for your support.

Now we can get down to business!

NVIDIA Hopper GPUs Expand Reach as Demand for AI Grows

Hopper Architecture Accelerates AI

The H100, based on the NVIDIA Hopper™ GPU computing architecture with its built-in Transformer Engine, is optimized for developing, training and deploying generative AI, large language models (LLMs) and recommender systems. This technology makes use of the H100’s FP8 precision and offers 9x faster AI training and up to 30x faster AI inference on LLMs versus the prior-generation A100. The H100 began shipping in the fall in individual and select board units from global manufacturers.

The NVIDIA DGX H100 features eight H100 GPUs connected with NVIDIA NVLink® high-speed interconnects and integrated NVIDIA Quantum InfiniBand and Spectrum™ Ethernet networking. This platform provides 32 petaflops of compute performance at FP8 precision, with 2x faster networking than the prior generation, helping maximize energy efficiency in processing large AI workloads.

Anlatan, the creator of the NovelAI app for AI-assisted story writing and text-to-image synthesis, is using H100 instances on CoreWeave’s cloud platform for model creation and inference.

Ecosystem Support
“We are fully focused on AI innovation and AI-first products. NVIDIA H100 GPUs are state-of-the-art machine learning accelerators, giving us a significant competitive advantage within the machine learning industry for a wide variety of applications from model training to model inference.” — Eren Doğan, CEO of Anlatan

Official CoreWeave Press Release:

CoreWeave Announces NovelAI as Among the First to Have NVIDIA HGX H100 GPUs Online

Today’s news follows CoreWeave’s early access period during which H100 PCIe instances launched in December and HGX H100s launched in February, further strengthening CoreWeave’s commitment to bringing the latest NVIDIA AI technology to market quickly

NovelAI, a generative AI company that creates literature and imagery with users’ personal perspective and voice, will be one of the first customers to use CoreWeave’s NVIDIA HGX H100 instances; the company and its developers now have the ability to scale on a supercomputer level

CoreWeave Cloud, powered by NVIDIA HGX H100s, NVIDIA Quantum-2 InfiniBand networking, and NVIDIA BlueField data processing units (DPUs) is critical to the growth of large language models and machine-learning algorithms that use enormous text data sets to identify, anticipate and generate human language

Roseland, N.J. — March 21, 2023 — CoreWeave, a specialized cloud provider built for large-scale GPU-accelerated workloads, today announced general availability of instances of NVIDIA HGX H100 GPUs online. This is CoreWeave’s second NVIDIA H100 offering, following the company’s launch of H100 PCIe GPU instances in January.

Anlatan, developers of NovelAI, will be among the first to deploy the latest NVIDIA H100 Tensor Core GPUs on CoreWeave, which began offering the new instances to select customers in February.

The news comes amid the global embrace of generative AI, a technology employing large language model (LLM) training that enables creative work, including the writing of scholarly papers, a stand-up comedy routine or a sonnet; the designing of artwork from a block of text; and in the case of NovelAI, composing literature.

“With generative AI becoming such a cultural phenomenon, it means a lot to be the first provider to make NVIDIA HGX H100 platforms generally available. This is a testament to our agility and efficiency in deploying infrastructure,” said Michael Intrator, CoreWeave co-founder and CEO. “We’ve been working with Anlatan, the creators of NovelAI, for more than a year, and we’re honored that they will be one of the first to deploy these cutting-edge GPUs.”

Launched in June 2021, NovelAI is a monthly subscription service for AI-assisted authorship, storytelling, text-adventure games, and virtual companionship. It also serves as a GPT-powered sandbox for creators and developers. The company’s AI algorithms, trained on actual literature, generate text based on users’ respective writing styles. They adapt to inputs in order to maintain the author’s perspective and style, making quality literature possible from anyone, regardless of ability. NovelAI blends the power of AI storytelling with the privacy of full encryption to offer limitless freedom of expression.

NVIDIA HGX H100 AI supercomputing platforms will be a key component in Anlatan’s product development and deployment process. CoreWeave’s cluster will enable the developers to be more flexible with model design, more quickly iterate on training, and serve their models through NovelAI to millions of users every month.

“We are entirely focused on AI innovation and AI-first products. NVIDIA H100 GPUs are the most top-notch, state-of-the-art machine learning accelerators,” said Anlatan CEO Eren Doğan. “This gives us a significant competitive advantage within the machine learning industry — for a wide variety of applications ranging from model training to model inference. We have worked with CoreWeave previously and were extremely happy with the support we received. CoreWeave’s Kubernetes-first cloud native ecosystem frees us from infrastructure worries and saves us time.”

CoreWeave has taken a unique approach to building its NVIDIA HGX H100 clusters in order to optimize performance for model training. Built on CoreWeave’s Kubernetes-native infrastructure, its clusters have a rail-optimized design using the NVIDIA Quantum-2 InfiniBand networking platform, providing 3.2Tbps of bandwidth per node. Additionally, CoreWeave’s NVIDIA HGX H100 infrastructure can scale up to 16,384 H100 SXM5 GPUs under the same InfiniBand Fat-Tree Non-Blocking fabric, providing access to a massively scalable cluster of the world’s most performant and deeply supported model training accelerators. What’s more, CoreWeave Cloud integrates NVIDIA BlueField data processing units (DPUs) to enable secure and elastic provisioning of H100 instances.

“Focusing on AI innovation and AI-first products to transform the future is key to creating a significant competitive advantage within the machine learning industry,” said Ian Buck, vice president of hyperscale and high performance computing at NVIDIA. “NVIDIA’s collaboration with innovators such as CoreWeave enables developers with cutting-edge NVIDIA HGX H100 GPUs to supercharge large language models (LLMs) and other AI workloads.”

Today’s announcement comes only months after CoreWeave’s November news that it would be among the first to offer cloud instances with NVIDIA HGX H100 supercomputing. CoreWeave’s collaboration with NVIDIA is critical to continue supporting the growth of large language models and other world-changing technology.

Learn more at www.coreweave.com.

About CoreWeave

Founded in 2017, CoreWeave is a specialized cloud provider, delivering a massive scale of GPU compute resources on top of the industry’s fastest and most flexible serverless infrastructure. CoreWeave builds cloud solutions for compute intensive use cases — digital assets, VFX and rendering, machine learning and AI, batch processing and pixel streaming — that are up to 35 times faster and 80% less expensive than the large, generalized public clouds. Learn more at www.coreweave.com.

About Anlatan, Developers of NovelAI

Anlatan’s mission is to provide user-friendly, customizable AI experiences that prioritize user rights to privacy and transparency. Its AI research brings about waves of change, leading to the development of unrestricted GPT-powered sandboxes that offer unlimited freedom of expression and creativity. In addition to text-based AI experiences, they have also introduced diffusion-powered image generation and text-to-speech capabilities, further expanding the range of possibilities for their users. The fruits of its research on diffusion-based image generation have yielded remarkable advancements, elevating the standards of existing image generation to new heights. Its team, united by a passion for AI, is comprised of individuals from a broad age range and diverse skill sets, all working remotely from around the globe. Every member brings their unique expertise to the table, bridging skills and supporting each other to create a tide of easily accessible, unconstrained AI products.

Japanese CoreWeave Announcement Translation:

CoreWeave社、NVIDIA HGX H100 GPUオンラインサービスをNovelAI社への世界最速提供を発表

CoreWeaveは早期アクセスとして12月にH100 PCIeインスタンスを、2月にHGX H100を発表しました。今回のニュースも最新のNVIDIA AI技術を迅速に市場に投入するというCoreWeaveの取り組みをさらに強化するものです。

NovelAI社はこれまで画像と文章のAI生成の分野で、ユーザーが自由に物語や絵を作成できるサービスを提供してきました。そして今回、NovelAI社はCoreWeaveのNVIDIA HGX H100インスタンスを使用する最初の顧客の一人となる事を決定、同社とその開発者は、スーパーコンピュータレベルの開発スケールを実現できるようになりました。

CoreWeave CloudはNVIDIA HGX H100s、NVIDIA Quantum-2 InfiniBandネットワーク、そしてNVIDIA BlueField プロッセッサーユニット（DPU）を搭載しており、膨大なデータセットを使用して人間の言語を識別、予測、生成する大規模言語モデルおよび機械学習アルゴリズムの成長に不可欠です。

米国ニュージャージー州ローズランドー2023年3月21日ー

大規模GPU向けに設置された専門クラウドプロバイダーであるCoreWeaveは、今日、NVIDIA HGX H100シリーズのGPUのインスタンスをオンライン提供する事を発表しました。これは、CoreWeaveが1月から提供を開始したH100 PCIe CPUインスタンスに続いて、２回目のサービス提供です。今年２月、CoreWeaveは限定された顧客への最新インスタンス提供を実施。そして、NovelAIの開発元であるAnlatan社は最新のNVIDIA H100 Tensor Core GPUを配備した世界初の企業となりました。

このニュースは生成AI技術が世界中で受け入れられている今日発表されました。大規模言語モデル（LLM）学習を行った生成AIは学術論文、コメディ、詩、絵画などを入力したテキストから創作する事が可能であり、NovelAIの場合は文学を制作することに特化しています。

CoreWeaveの共同設立者兼CEOのMichael Intrator氏は「生成AIが文化を変えるほどの社会現象になる中、NVIDIA HGX H100プラットフォームを一般的に利用できるようにした最初のプロバイダーになれたことは、大きな意味があります。これは、インフラストラクチャ展開における当社の俊敏性と効率性を証明するものです」と発言しており、「我々はNovelAIのクリエイターであるAnlatan社と1年以上にわたって協業しており、彼らがこの最先端GPUを最初に導入する1社となることを光栄に思っています」と今回のGPU提供について意見を表明した。

2021年6月に開始されたNovelAIは月額のサブスクリプションサービスで、AIモデルをストーリーテリング補助、テキストアドベンチャーゲーム、バーチャルコンパニオンとして提供を行っており、実際の文献で訓練されたAIアルゴリズムが、ユーザーそれぞれの文体に合わせて文章を生成する為、クリエイターやデベロッパーの為のGPT搭載の万能ツールとして機能します。入力された文章は、作者の視点やスタイルを維持するよう適応され、個人の文章能力に影響されずに、誰でも質の高い文章を書くことができるようになります。また、NovelAIの持つ高い暗号化技術によってカスタマーのプライバシーは守られており、AI生成技術と併せて、カスタマーに無限の表現の自由を約束しています。

NVIDIA HGX H100 AIスーパーコンピューティングプラットフォームは、Anlatanの製品開発および展開プロセスにおいて、間違いなく重要な要素となるでしょう。CoreWeaveのクラスターにより、開発者はモデル設計をより柔軟に行い、より迅速にトレーニングを繰り返し、NovelAIを通じて毎月数百万人のユーザーにモデルを提供することができるようになります。

Anlatan社CEOの Eren Doğan氏は「私達は、AIイノベーションとAIファーストの製品に全面的に注力しています。NVIDIA H100 GPUは、最も一流の、最先端の機械学習アクセラレータです」と語った。「このGPUの導入は機械学習業界において、モデルトレーニングからモデル推論に至るまで、さまざまな分野で大きな競争力を発揮する事が出来るようになります。CoreWeaveとは以前にも協業した事がありますが、その時のサポートには非常に満足しています。CoreWeaveが採用しているKubernetesクラウドネイティブエコシステムは、インフラの心配から私たちを解放し、時間を節約してくれます」とCoreWeaveのサービスを評価している。

CoreWeaveは、モデルトレーニングのパフォーマンスを最適化するために、NVIDIA HGX H100クラスタの構築に独自の手法をとっています。Kubernetesネイティブインフラ上に構築されたそのクラスタは、NVIDIA Quantum-2 InfiniBandネットワーキング・プラットフォームを使用したレール最適化設計で、ノードあたり3.2Tbpsの帯域幅を提供します。さらに、NVIDIA HGX H100インフラストラクチャは、同じInfiniBand Fat-Tree Non-Blocking fabricの下で最大16,384個のH100 SXM5 GPUを拡張でき、世界で最も高性能なモデルトレーニングアクセラレータの大規模拡張可能クラスタの手厚いサポートを利用することができます。さらに、CoreWeave Cloudは、NVIDIA BlueFieldデータ処理ユニット（DPU）を統合し、H100コンピュートインスタンスの安全かつ柔軟なプロビジョニングを可能にしています。

NVIDIAのハイスケールハイパフォーマンスコンピューティング担当バイスプレジデントのIan Buckは、「未来を変革するAIイノベーションとAIファースト製品に注力することは、機械学習業界において大きな競争力を生み出す鍵です」と述べています。

「NVIDIAがCoreWeaveのようなイノベーターと協力することで、最先端のNVIDIA HGX H100 GPUを持つ開発者は、大規模言語モデル（LLM）やその他のAI開発過程を超高速化することが出来るのです」

本日の発表は、11月にCoreWeaveがNVIDIA HGX H100スーパーコンピューティングを搭載したクラウドインスタンスをいち早く提供するというニュースからわずか数ヶ月後に行われました。CoreWeaveとNVIDIAのコラボレーションは、大規模な言語モデルとその他の世界を変えるような技術の成長をサポートし続けるために不可欠なのです。

詳しくは www.coreweave.com.

CoreWeaveとは

2017年に設立されたCoreWeaveは、業界最速かつ最も適応力のあるサーバーレスインフラの上に、大規模なGPUコンピュートリソースを提供する、専門クラウドプロバイダーです。CoreWeaveは、デジタルアセット、VFXとレンダリング、機械学習とAI、バッチ処理とピクセルストリーミングといった、先端情報処理を行うユースケース向けに、一般的な大規模パブリッククラウドと比較して最大35倍の速度と80%のコスト削減を実現するクラウドソリューションを構築しています。

詳しくは www.coreweave.com

Anlatan：NovelAIの開発

Anlatan社のミッションは、プライバシーと透明性に対するユーザーの権利を優先し、ユーザーフレンドリーでカスタマイズ可能なAI体験を提供することです。私達のAI研究は変化の波をもたらし、表現と創造性の無限の自由を提供するGPT搭載のサンドボックスの開発に繋がっています。テキストベースの生成AI体験に加え、Diffusion型モデルを利用した画像生成や音声合成の機能を導入し、ユーザーの可能性をさらに広げています。Diffusion型画像生成の研究成果により、既存の画像生成の水準を一段と向上させ、目覚ましい進化を遂げています。AIへの情熱で結ばれたチームは、幅広い年齢層と多様なスキルで構成され、世界各地からリモートで勤務しています。各メンバーが独自の専門知識を持ち寄り、スキルの架け橋となり、互いにサポートし合いながら、簡単にアクセスでき、制約のないAI製品の潮流を作り出しています。