ELYZA は、日本語における論理的思考能力を強化した大規模言語モデル (LLM) である「ELYZA-Thinking-1.0-Qwen-32B」を開発し、商用利用可能な形で一般公開しました。同モデルは OpenAI 社の「o1/o3」シリーズや、DeepSeek 社の「DeepSeek-R1」と同様に、思考の連鎖 (Chain of Thought; CoT) を通して複雑な論理的思考を行う能力を強化したReasoning Modelです。
こんにちは。ELYZA の研究開発チームの平川 (@h__must__) です。ELYZA では2024年5月から、経済産業省が主導する生成AI開発力強化プロジェクト「GENIAC」のもと、計算資源の提供支援を受けて、日本語の大規模言語モデルの研究開発に取り組んできました。本記事では、その中で検証した「Depth Up-Scaling」というアプローチと、その結果得られた「Llama-3-ELYZA-JP-120B」について紹介します。
ELYZA 研究開発チームの大葉 (@dai0NLP)です。本記事では、研究開発チームの最近の取り組み内容である 「日本特有の知識に特化した大規模言語モデルの学習および評価」 について解説いたします。
大規模言語モデルの社会実装を進める株式会社ELYZA（代表取締役：曽根岡侑也、以下ELYZA）は、ELYZAが提供する大規模言語モデル「ELYZA LLM for JP」シリーズの最新モデルとして、Meta社の「Llama 3.1」をベースとした700億パラメータの「Llama-3.1-ELYZA-JP-70B」を開発しました。合わせて、従前から公開していた「ELYZA LLM for JP｜デモ版」の基盤モデルを本モデルに差し替えています。
代表取締役CEO
取締役CTO.png)
特別顧問ELYZAは、国内最高性能、日本語版医療LLM「ELYZA-LLM-Med」を開発いたしました
プレスリリースELYZAは、「マイナビAI Pencil」へ生成AI関連技術の提供・共同開発を行いました
お知らせ日経クロステックにて、弊社の「Reasoning Model」についての取材記事を掲載いただきました
お知らせ社内での Reasoning Model 勉強会の内容を記事化しました
プレスリリースELYZAは、三井住友カードに提供した生成AIの活用成果を公開しました
お知らせ一覧大規模言語モデルに関する取り組みについてお気軽にご相談ください。
お問い合わせ