NVIDIA、RTX搭載のWindows PC上で動作するAIチャットボット「Chat with RTX」を公開

NVIDIAは2024年2月13日、同社製GPU、GeForce RTX搭載のPC上でローカルで動作させることができる生成AIチャットボット「Chat with RTX」を公開した。

Chat With RTX は、ユーザがローカルに用意したコンテンツ（ドキュメント、メモ、ビデオ、その他のデータ）に接続された大規模言語モデル（LLM）をカスタマイズして対話型生成AIとして利用できるアプリ。 Retrieval-Augmented Generation（RAG⁠）⁠、NVIDIA TensorRT-LLMソフトウェア、およびNVIDIA RTXアクセラレーションを使用して、生成AI機能をローカルのGeForce搭載Windows PCに提供する。ユーザーはPC上のローカルファイルをデータセットとして用い、MistralやLlama 2といったオープンソースの大規模言語モデルに簡単に接続でき、クエリを入力して状況に応じた精度の高い回答を迅速に得ることができるという。

Chat with RTXは現在無料でダウンロードできる。動作環境として、8GB以上のVRAMをもつNVIDIA GeForce RTX 30シリーズ以降のGPU、Windows 10または11、そして最新のNVIDIA GPUドライバが必要となる。

ユーザーが用意するデータとしては、.txt、.pdf、.doc/.docx、.xmlなどのさまざまなファイル形式をサポート。さらにYouTubeビデオやプレイリストからの情報をデータソースとして含めることができる。Chat with RTX はユーザーが指定したローカルファイルやネット上のリソースをスキャンし、ユーザーのクエリに応じたコンテキスト付きの回答を返す。

Chat with RTXはPC上でローカルに実行されるため、ユーザーのデータはデバイス上に残る。ユーザーは機密データを第三者と共有したりインターネット接続をする必要なく、すべてをローカルPC上で処理することができる。