本文へ
TokenPost
マーケットデータ提供:CoinGecko

エヌビディア、科学向けAIの強化学習手順を公開 薬物代謝予測で精度向上

TokenPost約2分で読めます
白と赤茶の球棒で組まれた分子模型と金属製のピペット / TokenPost.ai
白と赤茶の球棒で組まれた分子模型と金属製のピペット / TokenPost.ai

エヌビディア(NVIDIA)は、科学研究向けのマルチモーダルAIモデル「Nemotron 3.5 Super VL」を強化学習(RL)で追加学習する手順を示し、薬物代謝予測の例で精度が向上したと説明した。

同社が11月16日(米国時間)に発表した科学研究向けの開発一式「Nemotron for Science」の関連として示された。AIエージェントを使った研究では、誤差の伝播、遅延、計算コストが課題になるという。

手順はまず、「NeMo Gym」でカスタムの強化学習環境を作る。次に「NVIDIA NeMo RL」で強化学習を適用する。

学習データは、SMILES文字列(分子構造を文字列で表す記法)で書いた分子構造などの入力と出力の組だ。正解を機械的に確かめられる報酬で学ぶ「RLVR」の環境として使う。

モデルの予測は、分子フィンガープリントを比べるタニモト類似度で採点する。この数値をそのまま報酬信号にするため、人手による注釈は不要になるとエヌビディアは説明する。

最適化には「GRPO」を使い、低ランクアダプター(LoRA)を併用する。環境の基盤、報酬サーバー、ロールアウトワーカーは自己完結した構成で、ほかの科学分野にも応用できるという。

強化学習の前に蒸留の工程を挟む方法も任意で提案した。強い教師モデルが生成した推論過程で生徒モデルを微調整し、強化学習を始める時点の性能の下限を引き上げる「ウォームスタート」だ。薬物代謝の例では、代謝物の構造予測が改善したという。

精度については、教師あり微調整(SFT)で12%、強化学習による追加学習でさらに17%向上したと示している。

関連記事

一覧を見る