本記事では、日本語性能に特化した拡散言語モデル (Diffusion LLM) ELYZA-Diffusion-Base-1.0-Dream-7B および ELYZA-Diffusion-Instruct-1.0-Dream-7B の2つのモデルを公開するとともに、その設計背景、学習方法、評価結果について紹介します。

・本記事では、研究開発チームの最近の取り組みとして「日本の医療分野に特化した日本語医療LLMの開発」について紹介します。 ・ELYZAは、内閣府戦略的イノベーション創造プログラム(SIP) 第三期 「統合ヘルスケアシステムの構築」 の「日本語版医療 LLM の開発ならびに臨床現場における社会実装検証」 にて、大規模言語モデルの開発部分を担当させていただきました。

ELYZA では、単なる対話システムを超えた、自律的・連続的に行動するLLM（大規模言語モデル）エージェントの研究開発を進めています。ここでのエージェントとは、ユーザが自然言語で与える指示やタスクを理解し、外部情報へのアクセスやプログラムの実行をしながら、複数ステップのLLM呼び出しによって問題を解決する仕組みです。