Nuevo modelo de IA transforma la comprensión del metal

Sep 21, 2023

13 de marzo de 2023

Este artículo ha sido revisado de acuerdo con el proceso editorial y las políticas de Science X. Los editores han destacado los siguientes atributos al tiempo que garantizan la credibilidad del contenido:

comprobado

publicación revisada por pares

fuente confiable

corregir

por la Escuela Politécnica Federal de Lausana

¿Cómo predice un iPhone la siguiente palabra que vas a escribir en tus mensajes? La tecnología detrás de esto, y también en el centro de muchas aplicaciones de IA, se llama transformador; un algoritmo de aprendizaje profundo que detecta patrones en conjuntos de datos.

Ahora, los investigadores de EPFL y KAIST han creado un transformador para estructuras metalorgánicas (MOF), una clase de materiales cristalinos porosos. Al combinar enlazadores orgánicos con nodos metálicos, los químicos pueden sintetizar millones de materiales diferentes con aplicaciones potenciales en el almacenamiento de energía y la separación de gases.

El "MOFtransformer" está diseñado para ser el ChatGPT para los investigadores que estudian los MOF. Su arquitectura se basa en una IA llamada Google Brain que puede procesar lenguaje natural y forma el núcleo de modelos de lenguaje populares como GPT-3, el predecesor de ChatGPT. La idea central detrás de estos modelos es que están pre-entrenados en una gran cantidad de texto, por lo que cuando comenzamos a escribir en un iPhone, por ejemplo, modelos como este "saben" y autocompletan la siguiente palabra más probable.

"Queríamos explorar esta idea para MOF, pero en lugar de sugerir una palabra, queríamos que sugiriera una propiedad", dice el profesor Berend Smit, quien dirigió el lado EPFL del proyecto. "Entrenamos previamente al MOFTransformer con un millón de MOF hipotéticos para aprender sus características esenciales, que representamos como una oración. Luego, se entrenó al modelo para completar estas oraciones para dar las características correctas del MOF".

Luego, los investigadores ajustaron el MOFTransformer para tareas relacionadas con el almacenamiento de hidrógeno, como la capacidad de almacenamiento de hidrógeno, su coeficiente de difusión y la brecha de banda del MOF (una "barrera de energía" que determina la facilidad con la que los electrones pueden moverse a través de un material). ).

El enfoque mostró que MOFTransformer podría obtener resultados utilizando muchos menos datos en comparación con los métodos convencionales de aprendizaje automático, que requieren muchos más datos. "Debido al entrenamiento previo, el transformador MOFT ya conoce muchas de las propiedades generales de los MOF; y debido a este conocimiento, necesitamos menos datos para entrenar para otra propiedad", dice Smit. Además, el mismo modelo podría usarse para todas las propiedades, mientras que en el aprendizaje automático convencional, se debe desarrollar un modelo separado para cada aplicación.

El MOFTransformer cambia las reglas del juego para el estudio de los MOF, ya que proporciona resultados más rápidos con menos datos y una comprensión más completa del material. Los investigadores esperan que MOFTransformer allane el camino para el desarrollo de nuevos MOF con propiedades mejoradas para el almacenamiento de hidrógeno y otras aplicaciones.

Los hallazgos se publican en la revista Nature Machine Intelligence.

Más información: Jihan Kim, Un transformador de preentrenamiento multimodal para el aprendizaje de transferencia universal en marcos metal-orgánicos, Nature Machine Intelligence (2023). DOI: 10.1038/s42256-023-00628-2. www.nature.com/articles/s42256-023-00628-2

Información del diario:Naturaleza Máquina Inteligencia

Proporcionado por Ecole Polytechnique Federale de Lausanne