マージ

AI

[リコー120Bモデル]継続事前学習とモデルマージ

リコーが開発した120B規模の国産LLMを例に、日本語特化の語彙拡張や継続事前学習、モデルマージ(SLERP、TIES、DARE)の数理的背景を解説。vLLMを用いた高速な推論環境構築手順や運用コストの課題も網羅します。