Модель MIT CLaC ищет кристаллы по текстовому описанию

Подробно

Как устроена модель CLaC?

CLaC - система контрастивного обучения из двух ветвей. Кодировщик кристаллических графов обрабатывает атомную структуру, текстовый кодировщик - описания на естественном языке. Обе ветви переводят данные в общее пространство представлений, где соответствующие друг другу структура и текст оказываются рядом.

Изображения кристаллов модель не анализирует. На вход структурной ветви подаётся трёхмерный граф: атомы и пространственные связи между ними.

«Структура - это сердце материаловедения. Если вы понимаете структуру, вы можете многое сказать о свойствах и характеристиках материала. Мы хотели, чтобы модель связывала атомную структуру материала с его свойствами и способами получения», - пояснил Цзюй Ли (Ju Li), профессор Департамента материаловедения и инженерии MIT, один из авторов работы.

Кроме Ли, авторы статьи - Ян Чжон Пак (Yang Jeong Park), Маянк Кумаран (Mayank Kumaran), Чиа-Вэй Сюй (Chia-Wei Hsu) и Эльза Оливетти (Elsa Olivetti). Пак - первый автор и бывший постдок MIT, он также связан с Ульсанским национальным институтом науки и технологий (UNIST). Кумаран работает в Университете Иллинойса в Урбане-Шампейне, остальные авторы - в MIT.

На каких данных обучали модель?

Основную версию, CLaC-Synthetic, обучили на 126 000 материалах из базы Materials Project, к каждому из которых подобрали синтетическое текстовое описание. Тексты по рассчитанным свойствам материалов сгенерировали языковые модели: в них описаны состав, структура, свойства, возможное функциональное поведение, особенности синтеза и применения. Данные разделили на обучающую, валидационную и тестовую части в пропорции 8:1:1.

Для сравнения авторы собрали контрольную версию CLaC-Paper на текстах реальных научных статей. Химические формулы искали примерно в 4 млн полнотекстовых публикаций и получили около 400 000 пар «материал - предложение», но они касались лишь примерно 400 неорганических соединений. По расчётам авторов, синтетический набор охватывал в 300 раз больше разных кристаллов.

«Мы хотели создать модель, которая работает с самыми разными материалами. Поэтому решили синтезировать описания, а не опираться только на существующие статьи. С таким набором данных модели лучше предсказывают функции материалов», - сказал Ли.

Подход опирается на более раннюю работу Пака и соавторов. В сентябре 2024 года они опубликовали в Scientific Data около 1,5 млн описаний материалов, созданных GPT-3.5 на основе баз OQMD, Materials Project, JARVIS, COD и AFLOW2. Ранняя версия исследования о CLaC появилась на arXiv в феврале 2025 года.

Насколько точно CLaC распознаёт свойства кристаллов?

Тестировали модель в режиме zero-shot, без дообучения под конкретную задачу. Текстовый запрос сравнивали с заранее рассчитанными представлениями кристаллов, а затем ранжировали кандидатов по сходству.

Результаты в тесте с выбором ответа на распознавание элементного состава:

• CLaC-Synthetic - 95,4 ± 0,2%;
• необученная мультимодальная модель - 13,5 ± 0,3%;
• текстовая модель Gemma-3-1b-it - 17,8 ± 0,3%.

В более сложной задаче, определении кристаллической системы, точность CLaC-Synthetic составила 34,0 ± 0,4%. По словам авторов, это сопоставимо с результатом Gemma-3-1b-it. Причинами они называют размер пакета в 16 примеров и сильный дисбаланс типов кристаллических систем в данных.

Все тесты внутренние, независимым стандартизированным бенчмарком они не являются. Прямое сравнение с текстовой моделью проводилось только в задачах на распознавание характеристик. Поэтому утверждать, что CLaC в целом «ищет новые материалы лучше текстовых моделей», данные не позволяют.

Как модель подбирает материалы под нужные свойства?

В задаче обратного проектирования (inverse design) модель отбирала по текстовому запросу 30 самых похожих кандидатов. CLaC-Synthetic сравнивали с CLaC-Paper и со случайной выборкой, а не с обычной языковой моделью. Синтетически обученная версия ошибалась меньше, а свойства найденных ею кандидатов сильнее и последовательнее менялись вслед за целевыми значениями, чем у CLaC-Paper и случайной выборки.

В демонстрации авторы искали материал для твёрдотельного литий-ионного электролита. Литий содержали все 30 первых результатов, средняя ширина их запрещённой зоны составила 3,23 эВ. На четвёртом месте оказался Li6PClO5, который в независимой работе ранее назвали перспективным кандидатом. На девятом - Li4SiO4, из которого уже делали стабильный тонкоплёночный электролит.

Этот пример не учитывал ионную проводимость, ключевой параметр для электролитов: в синтетическом наборе её не было. Фактически поиск шёл по наличию лития и большой ширине запрещённой зоны. Пригодность всей выдачи в качестве рабочих электролитов он не подтверждает, а с прежними публикациями два найденных соединения сопоставили сами авторы.

Какие ограничения у CLaC?

Авторы называют систему первым шагом. Полноценный поиск материалов по инструкциям, по их словам, остаётся задачей будущих исследований. Основные ограничения:

• модель работает только с идеализированными кристаллами и не обрабатывает поликристаллы, дефекты и металлоорганические каркасы (MOF), хотя реальные свойства материалов часто определяются именно дефектами и поликристаллической структурой;
• в синтетических описаниях возможны галлюцинации языковых моделей;
• для многих неорганических форм материалов нет стандартизированной номенклатуры;
• влияние состава датасета и условий применения на ошибки и смещения поиска ещё предстоит изучить.

CLaC - не единственная модель, объединяющая атомную структуру и текст. В апреле 2026 года исследователи Национальной лаборатории имени Лоуренса в Беркли и их партнёры представили в Nature Machine Intelligence мультимодальную модель MatterChat. Независимых воспроизведений результатов CLaC и комментариев не связанных с авторами специалистов к 19 октября найти не удалось.

«Этот подход позволяет глубже заглянуть в трёхмерные структуры и связать их со свойствами и способами получения. Надеюсь, он станет одним из тех самых качественных скачков», - сказала Оливетти.

Можно ли воспользоваться CLaC?

Код CLaC опубликован на GitHub под лицензией GPL-3.0 и заархивирован в Zenodo, синтетический датасет доступен на Hugging Face. Корпус из 4 млн статей выложить нельзя из-за лицензий издателей. По данным репозитория, из-за авторских прав в полном объёме не распространяются и все соответствующие предобученные веса.

Веб-сервиса для пользователей нет: репозиторий содержит инструкции по обучению и оценке модели. Для запуска рекомендуется видеокарта с 8 ГБ видеопамяти, для обучения - NVIDIA с 16 ГБ и более. Коммерческой версии и цены нет, отдельных условий доступа для России не заявлено.

Исследование частично финансировали Агентство по уменьшению угрозы (DTRA) США через программу University Research Alliance, DARPA и Национальный исследовательский фонд Кореи.