言語モデルを用いた材料物性の予測を軽量化

東京科学大学（Science Tokyo）物質理工学院 材料系の山本竜馬修士課程学生、総合研究院 フロンティア材料研究所の高橋亮准教授、大場史康教授（神奈川県立産業技術総合研究所（KISTEC）プロジェクトリーダー兼任）は、横浜市立大学 大学院生命医科学研究科の寺山慧研究教授、東北大学 金属材料研究所の熊谷悠教授らと共同で、大規模言語モデル（LLM、用語1）を再学習することなく、材料物性を予測できる軽量な機械学習手法「ZEBRA-Prop（ゼブラプロップ）」を開発しました。
新規材料の探索では、材料の構造や組成から性質を予測する機械学習手法が広く使われています。こうした手法では、実験やシミュレーションにより物性値が分かっている多数の材料のデータを予測モデルにあらかじめ学習させておき、その学習済みのモデルを用いて新しい材料の物性を高速に予測します。近年、材料の情報を自然言語の文章で表現しLLMで予測する手法が登場しました。しかし、この手法は予測したい材料物性ごとにLLM自体をファインチューニング（再学習、用語2）する必要があり、高性能・大規模な計算資源を持たない研究者が使うことは容易ではありませんでした。
研究チームは、モデルの学習の際にLLMを再学習せず、後段の小規模なニューラルネットワークだけを学習する方式を考案しました。これにより、学習時間を従来のLLMを用いた手法より約95%短縮できました（約2,200件のデータでの比較）。さらに、材料の情報を複数の短い文章に分けて表現し、重みを学習しながら統合することで、LLMが一度に読める文章量の制約も緩和し、精度も従来のLLMを用いた手法に近い水準を保っています。約2,200件の材料データであれば、高性能なGPU（用語3）を使わずに、一般的なPCを用いて数十分程度で学習できることも確認しています。
本手法は、自然言語の文章で記述できる情報であれば入力に使えるため、合成条件や実験記録など、文章で記述された実験データから材料物性を予測する技術への展開が期待されます。
本成果は、11月11日付（現地時間）の「Advanced Intelligent Systems」誌に掲載されました。