Detección y corrección de errores de impresión 3D generalizables mediante múltiples

Nature Communications volumen 13, número de artículo: 4654 (2022) Citar este artículo

16k Accesos

11 citas

189 altmétrico

Detalles de métricas

La extrusión de materiales es el método de fabricación aditiva más extendido, pero su aplicación en productos de uso final está limitada por la vulnerabilidad a errores. Los humanos pueden detectar errores pero no pueden proporcionar un monitoreo continuo o corrección en tiempo real. Los enfoques automatizados existentes no se pueden generalizar entre diferentes piezas, materiales y sistemas de impresión. Entrenamos una red neuronal de múltiples cabezales utilizando imágenes etiquetadas automáticamente según la desviación de los parámetros de impresión óptimos. La automatización de la adquisición de datos y el etiquetado permite la generación de un gran y variado conjunto de datos de impresión 3D por extrusión, que contiene 1,2 millones de imágenes de 192 piezas diferentes etiquetadas con parámetros de impresión. La red neuronal así entrenada, junto con un bucle de control, permite la detección en tiempo real y la corrección rápida de diversos errores que es efectiva en muchas geometrías, materiales, impresoras, trayectorias de herramientas e incluso métodos de extrusión 2D y 3D diferentes. Además, creamos visualizaciones de las predicciones de la red para arrojar luz sobre cómo toma decisiones.

La extrusión de materiales es el método de fabricación aditiva (AM) más común por razones que incluyen su costo relativamente bajo, poco posprocesamiento, compatibilidad con muchos materiales y capacidad multimaterial1. Esto ha hecho que la extrusión AM sea prometedora en numerosas áreas2, incluidas la atención médica3, los dispositivos médicos4, la industria aeroespacial5 y la robótica6. Sin embargo, una razón clave por la que muchas de estas aplicaciones permanecen en la etapa de investigación es que la extrusión AM es vulnerable a diversos errores de producción. Estos van desde imprecisiones dimensionales a pequeña escala y debilidades mecánicas hasta fallas totales de construcción1,7,8,9,10. Para contrarrestar los errores, un trabajador calificado generalmente debe observar el proceso de fabricación aditiva, reconocer un error, detener la impresión, retirar la pieza y luego ajustar adecuadamente los parámetros de una pieza nueva. Si se utiliza un nuevo material o impresora, este proceso lleva más tiempo a medida que el trabajador adquiere experiencia con la nueva configuración11,12. Incluso entonces, es posible que se pasen por alto los errores, especialmente si el trabajador no observa continuamente cada proceso. Esto puede resultar difícil si hay varias impresoras en funcionamiento simultáneamente o, como se puso de relieve por la pandemia de COVID-19, el personal está limitado debido al distanciamiento social o a una enfermedad. Esto no solo cuesta material, energía y tiempo, sino que también limita tanto el uso de piezas de AM en productos de uso final, particularmente los de seguridad crítica, como los dispositivos médicos, como la resiliencia de las cadenas de suministro basadas en AM. Estos desafíos se volverán más apremiantes a medida que la AM se expanda a materiales vivos y funcionales, estructuras reticulares complejas de múltiples materiales y entornos desafiantes, como sitios de construcción remotos al aire libre o en el cuerpo humano.

Esto ha motivado diversas e interesantes investigaciones sobre el seguimiento de la extrusión AM13. Los sensores de corriente14,15, inerciales16,17 y acústicos18,19,20,21,22 se han utilizado a menudo para monitorear la extrusión AM. Aunque estos enfoques conducen a la detección confiable de ciertas modalidades de error, generalmente a gran escala, durante la impresión, muchos errores siguen siendo indetectables. Estas metodologías aún no se han utilizado en la mayoría de las impresoras 3D, ya que el costo de los sensores y amplificadores para tales enfoques suele ser alto. Además, no cuentan con suficientes datos para permitir comentarios y correcciones en línea.

Los enfoques basados ​​en cámaras son potencialmente versátiles y ricos en datos. Se han utilizado cámaras individuales montadas en el marco de la impresora con una vista de arriba hacia abajo o de lado, junto con técnicas tradicionales de procesamiento de imágenes y visión por computadora, para detectar diversos errores de extrusión AM23,24,25,26,27,28,29. 30,31,32. Este enfoque tiene las ventajas de ser relativamente económico, más fácil de configurar y de que la cámara a menudo puede ver gran parte de la pieza fabricada en cualquier momento. Esto permite detectar muchos errores, como la deformación del relleno o la presencia de "manchas" de material. Sin embargo, el uso de una sola cámara puede limitar la cantidad de información obtenida sobre el proceso de fabricación y, por tanto, la variedad de errores y tipos de errores identificados. Los enfoques multicámara son más caros y complejos de implementar, pero potencialmente más capaces. Múltiples vistas de la pieza, o la adición de cámaras infrarrojas, pueden permitir que se vean defectos, como impresiones incompletas, que pueden no ser evidentes desde un único punto de vista33,34,35. Las reconstrucciones 3D de piezas impresas, por ejemplo, generadas mediante escaneo de luz estructurada 3D multicámara y correlación de imágenes digitales, se pueden comparar con el modelo de pieza digital 3D para detectar imprecisiones dimensionales35,36,37,38,39,40,41,42 ,43. Sin embargo, estos sistemas más sofisticados suelen ser costosos, sensibles a las condiciones de iluminación y a las propiedades de la superficie de la pieza, más lentos debido al tiempo de escaneo y al cálculo, requieren un posicionamiento y calibración precisos y se limitan a detectar errores lo suficientemente grandes como para ver los límites de resolución del escáner dados.

Los enfoques de cámara única y multicámara montados en marco, como los anteriores, también suelen tener dificultades para ver el material a medida que se deposita desde la boquilla porque el cabezal de impresión puede oscurecer la vista. Normalmente, las impresiones deben pausarse para permitir la visualización de una capa, lo que impide la corrección en tiempo real, ralentiza las tasas de producción y puede provocar errores debido a una extrusión inconsistente. Esto ha motivado el trabajo de montar cámaras únicas o múltiples en la boquilla o extrusora, que pueden ver el proceso de impresión en curso y ha permitido obtener retroalimentación en tiempo real para corregir la extrusión excesiva o insuficiente durante la impresión44,45, así como la estimación de la forma del material extruido. de la boquilla46. Los enfoques tradicionales de visión por computadora son muy prometedores para abordar explícitamente errores específicos en partes específicas de los sistemas de impresión 3D para los cuales han sido calibrados. Sin embargo, es muy difícil elaborar algoritmos de extracción de características que puedan generalizarse a diferentes piezas, impresoras, materiales y configuraciones. Por lo tanto, la mayoría de los ejemplos solo muestran una combinación única de impresora, geometría de pieza, material y condición de impresión, y ninguno demuestra la corrección de errores en múltiples piezas o configuraciones.

El aprendizaje automático y, en particular, las técnicas de aprendizaje profundo han logrado un rendimiento de vanguardia en muchas aplicaciones, incluida la visión47, al expresar representaciones complejas en términos de otras representaciones más simples48. Esto ha dado lugar a varias demostraciones recientes e interesantes de aprendizaje automático en la detección de errores de AM en extrusión49,50,51,52,53,54,55,56. Sin embargo, el trabajo existente solo ha demostrado la detección de errores en una sola parte y, por lo tanto, se desconoce la efectividad de las técnicas existentes para otras partes, en particular las que no se ven en los datos de entrenamiento. Además, la mayoría de los enfoques existentes sólo pueden detectar una única modalidad de error: caudal deficiente49, defectos entre capas50, deformación alabeada53 y grandes defectos en la superficie superior52,54. A menudo, los métodos existentes también requieren que un objeto ya se haya impreso correctamente para proporcionar comparaciones para la detección de errores51,54,55. Esto puede resultar especialmente limitante para piezas personalizadas. El aprendizaje automático es más interesante en la detección de errores porque podría ser potencialmente más sólido y generalizable a nuevos materiales, geometrías e impresoras que las funciones hechas a mano. Sin embargo, el potencial de los algoritmos de aprendizaje automático para descubrir características de error generalizables sigue en gran medida inexplorado.

Para que la detección de errores alcance su máximo potencial a la hora de reducir los residuos de impresión 3D y mejorar la sostenibilidad, el coste y la fiabilidad, debe ir acompañada de la corrección de errores. Se ha trabajado para detectar y corregir algunos tipos de errores entre impresiones posteriores del mismo objeto51,55. Sin embargo, se requieren muchas impresiones de ese objeto para construir el conjunto de datos, lo que permite la corrección de errores en ese objeto. Además, estos métodos no son capaces de realizar correcciones en tiempo real, lo que significa que si se detecta un error, esa pieza no se puede recuperar. Un estudio anterior examinó la corrección y el control en tiempo real de la extrusión AM49. Sin embargo, la implementación solo demuestra la corrección del parámetro de impresión del caudal y solo en una geometría que se utiliza tanto para entrenar como para probar el sistema. También hay un retraso significativo entre la detección y la corrección de errores. Como ocurre con la detección de errores, el rendimiento de los métodos de corrección de errores existentes en objetos invisibles no está claro, lo que limita su aplicabilidad industrial.

Aquí presentamos un método fácilmente implementable que utiliza cámaras web económicas y una única red neuronal convolucional profunda de múltiples cabezales para aumentar cualquier impresora 3D basada en extrusión con detección de errores, corrección y descubrimiento de parámetros para nuevos materiales (Fig. 1). Esto se ha logrado en este trabajo mediante el desarrollo de CAXTON: la red de extrusión autónoma colaborativa, que conecta y controla impresoras 3D de aprendizaje, lo que permite la recopilación de datos de la flota y el aprendizaje colaborativo de extremo a extremo. Cada impresora de la red puede imprimir y recopilar datos continuamente, con la ayuda de un sistema de extracción de piezas. A diferencia del trabajo existente de monitoreo de AM de aprendizaje profundo, que a menudo utiliza el etiquetado humano de errores para entrenar algoritmos, CAXTON etiqueta automáticamente los errores en términos de desviación de los parámetros de impresión óptimos. De esta manera, CAXTON sabe no sólo cómo identificar sino también cómo corregir diversos errores porque, para cada imagen, sabe qué tan lejos están los parámetros de impresión de sus valores óptimos. Esta generación autónoma de datos de entrenamiento permite la creación de conjuntos de datos más grandes y diversos, lo que da como resultado mejores precisiones y generalización. El sistema final es capaz de detectar y corregir múltiples parámetros simultáneamente y en tiempo real. La red neuronal de múltiples cabezales puede aprender por sí sola la interacción entre los parámetros de fabricación debido a la única columna vertebral de extracción de características compartida, lo que incluso hace que el sistema sea capaz de reconocer múltiples soluciones para resolver el mismo error. Como parte de este trabajo, se ha seleccionado y se publicará un conjunto de datos de monitoreo de procesos in situ, ópticos y a gran escala para extrusión AM. Contiene más de 1 millón de imágenes de muestra de la deposición de material de la boquilla de la impresora etiquetadas con sus respectivos parámetros de impresión de 192 impresiones de diferentes geometrías 2D y 3D. El sistema es altamente escalable, utiliza firmware de uso común y es capaz de crecer mediante la adición remota de más impresoras para conjuntos de datos futuros más grandes y diversos. A pesar de estar capacitado únicamente en piezas termoplásticas de ácido poliláctico extruidas, estas capacidades se generalizan a impresoras, posiciones de cámara, materiales y extrusión directa de escritura con tinta nunca antes vistos. También describimos varias innovaciones, como la división de trayectorias de herramientas y actualizaciones de parámetros proporcionales, que permiten mejorar las velocidades de corrección en un orden de magnitud en comparación con el trabajo de corrección de errores de impresión 3D en tiempo real publicado actualmente. Esto se logra con equipos de bajo costo que requieren sólo una conexión de red, una cámara web de consumo estándar y una computadora de placa única de bajo costo (por ejemplo, Raspberry Pi). Finalmente, el uso de capas de atención dentro de la red permite a los operadores humanos interpretar en qué características se centra la red. Luego se emplean métodos de visualización para obtener información sobre cómo la red neuronal entrenada hace predicciones tanto para ayudar a la comprensión fundamental como para ayudar a generar confianza o permitir la trazabilidad.

un flujo de trabajo para recopilar diversos conjuntos de datos de impresoras 3D de extrusión con etiquetado automático de imágenes con parámetros de impresión. b Flota de ocho impresoras 3D de extrusión de termoplásticos (Creality CR-20 Pro) equipadas con cámaras enfocadas en la punta de la boquilla para monitorear la deposición del material. c Representaciones de trayectorias de herramientas generadas para una única geometría de entrada, con parámetros de corte seleccionados aleatoriamente. d Instantánea de los datos recopilados durante una impresión de ejemplo que muestra imágenes con diferentes combinaciones de parámetros. e Diseño del removedor de lecho y muelle utilizando el sistema de movimiento existente junto con fotografías tomadas durante la operación. f Distribuciones de parámetros normalizados en el conjunto de datos completo recopilado por CAXTON que contiene más de 1,2 millones de muestras.

Generamos un nuevo conjunto de datos de impresión 3D que contiene piezas impresas con ácido poliláctico (PLA), etiquetadas con sus parámetros de impresión asociados, para una amplia gama de geometrías y colores utilizando impresoras 3D de modelado por deposición fundida. Nuestro proceso de generación de datos CAXTON automatiza todo el proceso, desde la selección de archivos STL hasta la planificación de trayectorias, la recopilación y el almacenamiento de datos (Fig. 1a). Las geometrías de los modelos se descargan automáticamente desde el repositorio en línea, Thingiverse. Posteriormente, las geometrías se cortan con configuraciones muestreadas aleatoriamente (por ejemplo, escala, rotación, densidad de relleno, patrón de relleno y espesor de pared). Luego, las trayectorias generadas se convierten para que tengan movimientos máximos de 2,5 mm mediante un script Python personalizado, para evitar movimientos excesivamente largos al ejecutar un solo conjunto de parámetros y reducir el tiempo de respuesta del firmware. Durante la impresión, las imágenes se capturan cada 0,4 segundos. Cada imagen capturada tiene una marca de tiempo y una etiqueta con los parámetros de impresión actuales: temperaturas reales y objetivo para el hotend y la cama, caudal, velocidad lateral y desplazamiento Z. Estos parámetros se conocen con precisión recuperando valores del firmware en tiempo real o estableciendo el valor con un comando de código G. Además, para cada imagen, las coordenadas de la punta de la boquilla en cada impresora se guardan para permitir el recorte automatizado alrededor de la región de interés durante la capacitación. Después de recopilar 150 imágenes, se genera una nueva combinación de parámetros de impresión para cada impresora mediante el muestreo de distribuciones uniformes de cada parámetro. Las nuevas combinaciones de parámetros se envían a cada impresora a través de la red como comandos de código G que posteriormente se ejecutan con un retraso mínimo debido a la conversión de la trayectoria de la herramienta. Tras la ejecución, se recopilan otras 150 imágenes etiquetadas antes de que vuelva a ocurrir el proceso de actualización de parámetros. Esto continúa hasta el final de la impresión y da como resultado conjuntos de imágenes, cada una con parámetros de impresión muy diferentes (Fig. 1d). Este procedimiento de etiquetado automatizado para cada imagen proporciona una mayor resolución que el etiquetado realizado por humanos porque ningún operador humano podría etiquetar parámetros con el mismo nivel de precisión (por ejemplo, que el caudal actual es del 56%) y ningún humano podría etiquetar una imagen con una combinación exacta de múltiples parámetros de impresión, ya que interactúan fuertemente entre sí (por ejemplo, si la boquilla es demasiado alta, el caudal demasiado bajo y la temperatura demasiado baja o una combinación ponderada de estos).

Debido al muestreo de combinaciones de parámetros subóptimas, algunas impresiones resultan completamente fallidas, lo que después de cierto punto proporciona poca información sobre los parámetros asociados. Estas imágenes se eliminan manualmente, lo que deja 1.166.552 imágenes etiquetadas (91,7% de las 1.272.273 originales). El conjunto de datos restante contiene algunas etiquetas ruidosas debido a los tiempos de respuesta más prolongados encontrados al actualizar los parámetros de impresión, como el caudal, antes de que aparezca un cambio notable en la imagen. El tiempo de respuesta consta de un retraso en la ejecución del comando y un retraso mecánico. El primer retraso se soluciona principalmente capturando imágenes únicamente después de que se haya recibido de la impresora un acuse de recibo del comando de actualización de parámetros. Para el retraso mecánico, se realizaron experimentos en el peor de los casos para determinar el tiempo de respuesta para cambiar cada parámetro del valor mínimo al máximo en el conjunto de datos. Se descubrió que los cambios son predominantemente visibles dentro de los 6 segundos posteriores a la aplicación de una actualización y, como tal, se eliminan 15 imágenes después de las actualizaciones de parámetros. Esto deja 1.072.500 muestras en las que el sistema ha alcanzado el estado deseado. Se filtran valores atípicos de parámetros poco realistas causados ​​por impresoras que no ejecutan correctamente los comandos del código G o fallas en sensores como los termistores, lo que deja 991,103 muestras. Finalmente, se eliminan las imágenes muy oscuras con un valor medio de píxeles en los canales RGB inferior a 10. Esto da como resultado un conjunto de datos limpio de 946.283 imágenes etiquetadas (74,4% del original). Los valores de los parámetros actualmente continuos se agrupan en tres categorías para cada parámetro: bajo, bueno y alto. Los límites superior e inferior para estos contenedores se seleccionan en función de nuestra experiencia de AM con PLA. Esto crea posibles 81 combinaciones de clases diferentes para que la red neuronal las prediga (tres categorías para cuatro parámetros).

Utilizamos el aumento de datos para aumentar el tamaño y la calidad de nuestro conjunto de datos filtrados y así evitar el sobreajuste y mejorar la generalización de nuestro modelo57. La ubicación y forma del material depositado en las imágenes capturadas varía mucho dependiendo de la geometría de la pieza que se imprime. Además, se descubrió que el color, la reflectancia y las sombras diferían según la posición de la cámara, la elección del material y el diseño de la impresora. Para simular una variedad más amplia de geometrías, ubicaciones de cámaras y materiales, cada imagen del conjunto de datos se somete a una amplia gama de técnicas de aumento de datos (Fig. 2e). Primero, la imagen de tamaño completo capturada por la cámara se gira aleatoriamente hasta 10 grados en cualquier dirección. Luego se aplica una transformación de perspectiva menor con una probabilidad de 0,1. Luego, la imagen se recorta automáticamente en una región cuadrada de 320 × 320 píxeles enfocada en la punta de la boquilla utilizando las coordenadas de la punta de la boquilla guardadas durante la recopilación de datos. Las transformaciones de rotación y perspectiva se aplican antes del recorte para eliminar prácticamente la necesidad de relleno en la región recortada. Luego se recorta y se cambia el tamaño de una porción cuadrada aleatoria con un área entre 0,9 y 1,0 de la imagen de 320 × 320 a 224 × 224 píxeles, el tamaño de entrada para la red neuronal profunda. Posteriormente, se puede aplicar un giro horizontal a la imagen con una probabilidad de 0,5, seguido de aplicar una fluctuación de color de ±10 % al brillo, el contraste, el tono y la saturación de la imagen. Este uso del aumento de datos sintéticos ahorra más tiempo y recursos que reposicionar las cámaras en las impresoras y cambiar las condiciones de iluminación ambiental durante la recopilación del conjunto de datos. También permite un conjunto de datos sin procesar más pequeño con aumentos aplicados funcionalmente en tiempo de ejecución durante el entrenamiento en lugar de aumentar el tamaño del conjunto de datos con más muestras. Finalmente, los canales de la imagen transformada se normalizan utilizando la media y la desviación estándar de píxeles de cada canal para todas las imágenes del conjunto de datos filtrado.

a La arquitectura de red de múltiples cabezales consta de una única red troncal compartida de Atención-5658, que contiene módulos de atención apilados y bloques residuales, seguida de cuatro cabezales de salida separados completamente conectados después de la capa de aplanamiento, uno para cada parámetro. Cada uno de estos cabezales clasifica su parámetro asociado como bajo, bueno o alto. Los módulos de atención constan de una rama troncal que contiene bloques residuales y una rama de máscara que realiza muestreo descendente y ascendente. b Ejemplos de máscaras de atención en cada módulo para las imágenes de entrada dadas. La salida de cada módulo consta de muchos canales de máscaras; aquí solo se muestra una muestra. Las máscaras muestran regiones en las que se centra la red, como la extrusión más reciente, como se muestra en el resultado del módulo 2. c Matrices de confusión de la red final después de las tres etapas de entrenamiento en nuestro conjunto de datos de prueba para cada parámetro. d Gráficos de precisión de entrenamiento y validación del entrenamiento de la red en tres semillas, suavizados con un promedio móvil exponencial, en tres conjuntos de datos: una sola capa, completo y equilibrado. e Ejemplos de aumentos de datos utilizados durante el entrenamiento para hacer que el modelo sea más generalizable.

La predicción precisa de los parámetros de impresión actuales en el proceso de extrusión a partir de una imagen de entrada se logra utilizando una red de atención residual profunda de múltiples cabezales58 con una única columna vertebral y cuatro cabezales de salida, uno para cada parámetro. En el aprendizaje profundo, la clasificación de etiqueta única es muy común y requiere solo un único cabezal de salida para clasificar la entrada como una de las N clases posibles. Sin embargo, este trabajo requiere una clasificación de etiquetas múltiples para clasificar la entrada como una de tres clases posibles (baja, buena y alta) para cada una de las cuatro etiquetas (caudal, velocidad lateral, compensación Z y temperatura del hotend). Para lograr esto, se utilizan múltiples cabezales de salida con una red troncal compartida para la extracción de características. Los pesos de la red troncal compartida se actualizan durante el paso hacia atrás en el entrenamiento mediante una suma de las pérdidas de cada uno de los cabezales de salida separados. Esto permite que la red troncal aprenda su propia interpretación de las relaciones entre cada uno de los parámetros y la importancia de ciertas características compartidas entre los parámetros. El enfoque alternativo es utilizar múltiples redes separadas, cada una con un único cabezal de salida y tratar el problema como cuatro problemas de clasificación de etiqueta única separados. Sin embargo, esto analiza cada parámetro de forma aislada y, como tal, no logra aprender la interacción y las relaciones. Además, requiere mucha más computación durante el entrenamiento y en la implementación en el mundo real, ya que se deben entrenar cuatro redes separadas de forma independiente (en lugar de una), y luego estas redes deben ejecutarse en paralelo durante la operación.

El uso de atención en la red puede reducir la cantidad de parámetros de red necesarios para lograr el mismo rendimiento para nuestra aplicación, al tiempo que hace que la red sea más robusta frente a etiquetas ruidosas. Los mapas de atención también pueden ayudar a inspeccionar errores y explicar predicciones. La red troncal única permite compartir la extracción de características para cada parámetro y, como tal, reduce el tiempo de inferencia en comparación con tener redes separadas. Además, permite que la red única modele la interacción entre diferentes parámetros. Cada cabeza tiene tres neuronas de salida para clasificar un parámetro como bajo, bueno o alto. Con esta estructura, la red predice el estado del caudal, la velocidad lateral, el desplazamiento Z y la temperatura del hotend simultáneamente en un paso hacia adelante a partir de una única imagen de entrada RGB (Fig. 2a). Esta estructura de múltiples cabezales y el conocimiento de múltiples parámetros pueden conducir a una mejora en la predicción de parámetros individuales. Curiosamente, se descubrió que una red entrenada únicamente para predecir la clase de caudal logró una menor precisión en la clasificación del caudal que una red entrenada con conocimiento de los cuatro parámetros. Sin embargo, se requieren más experimentos para examinar este resultado y si se puede utilizar contexto adicional para aumentar el rendimiento de la red.

La columna vertebral de la red compartida consta de tres módulos de atención y seis bloques residuales y se basa en el modelo Atención-5658. Los módulos de atención se componen de dos ramas: la máscara y el tronco. La rama troncal realiza el procesamiento de características de una red tradicional y se construye a partir de bloques residuales. La rama de máscara realiza un muestreo descendente seguido de un muestreo ascendente para aprender una máscara de atención con la que ponderar las características de salida del módulo. Esta máscara no solo se puede utilizar durante el pase hacia adelante para la inferencia, sino también como máscara en el pase hacia atrás durante la propagación hacia atrás. Esta fue una de las razones para elegir esta arquitectura de red, ya que se cree que estas ramas de máscara pueden hacer que la red sea más robusta frente a las etiquetas ruidosas, que nuestro conjunto de datos contiene debido a cambios de parámetros e inconsistencias sutiles durante la impresión. Después de estos bloques, la red troncal se aplana hasta formar una capa completamente conectada que se vincula a cada uno de los cuatro cabezales separados. Los cabezales deben ser salidas separadas de la red. Este trabajo requiere una clasificación de etiquetas múltiples, ya que cada predicción completa requiere que cada cabezal tenga siempre una predicción única separada. Un enfoque alternativo sería utilizar cuatro redes neuronales completas separadas; sin embargo, esto requeriría mucha más computación y memoria, además de no poder modelar las relaciones entre los parámetros de fabricación. El enfoque de red troncal compartida de múltiples cabezales utilizado en este trabajo da como resultado que la red troncal se utilice como un extractor de características para comprimir la dimensionalidad de la imagen de entrada en una representación del espacio latente aprendida de la suma de pérdidas para cada parámetro de fabricación. Se puede entonces pensar que cada cabeza actúa como un mapeo desde este espacio latente hasta la clasificación del nivel de parámetro.

Para visualizar en qué características se centra la red en cada etapa, se crearon imágenes de los mapas de atención después de cada módulo (Fig. 2b). Aquí, se aplica la misma máscara de atención de cada módulo a cada una de las 3 imágenes de entrada con las áreas que no son de interés oscurecidas (nota: estas máscaras son ejemplos ilustrativos ya que cada módulo contiene muchos mapas de atención diferentes). La red parece centrarse en las regiones impresas en la salida de la máscara de ejemplo para el módulo de atención 1, y luego solo en la extrusión más reciente para el módulo 2. El módulo 3 aplica lo inverso al anterior, enfocándose en todo menos en la punta de la boquilla.

Se descubrió que dividir el proceso de capacitación en tres etapas separadas y utilizar el aprendizaje por transferencia era lo más sólido. Para cada etapa se entrenaron tres redes con semillas diferentes. En la primera etapa, la red se entrena en un subconjunto de datos que contiene solo imágenes de las primeras capas con un 100% de relleno. Las características son más visibles para cada parámetro en estas impresiones y, mediante el primer entrenamiento, con este subconjunto, la red puede aprender más rápidamente a detectar características importantes. Se descubrió que esta separación aceleró el proceso de aprendizaje, ya que las características eran más fáciles de aprender para una sola capa y posteriormente podían ajustarse en el conjunto de datos completo, haciendo que la red fuera generalizable a geometrías 3D complejas. La mejor semilla logró una precisión de entrenamiento del 98,1% y una precisión de validación del 96,6%. Luego se utilizó un enfoque de aprendizaje por transferencia para volver a entrenar el modelo de la mejor semilla en el conjunto de datos completo que contiene imágenes para todas las geometrías 3D. Esto se hizo tres veces, y la mejor semilla logró una precisión de entrenamiento y validación del 91,1 y 85,4%, respectivamente. Las redes neuronales pueden aprender sesgos inherentes a los datos que se les proporcionan; por lo tanto, debido a desequilibrios en nuestro conjunto de datos completo (por ejemplo, el desplazamiento Z puede tener muchos más valores demasiado altos que demasiado bajos porque la boquilla chocaría contra la cama de impresión), se utilizó el aprendizaje por transferencia por última vez. Esta vez, sin embargo, solo se entrenó la capa final completamente conectada a cada una de las cuatro cabezas en un subconjunto de datos equilibrado que contiene un número igual de muestras para cada una de las 81 combinaciones posibles (cuatro parámetros, cada uno de los cuales puede ser bajo, bueno). o alto). Se congelaron los pesos en la red troncal para la extracción de características. Esto logró una precisión de entrenamiento del 89,2% y una validación del 90,2%. Luego, la red entrenada final se probó en nuestro conjunto de prueba, donde logró una precisión general del 84,3%. Para cada parámetro, las precisiones de clasificación en nuestro conjunto de prueba fueron: caudal 87,1%, velocidad lateral 86,4%, compensación Z 85,5% y temperatura del hotend 78,3%. Puede encontrar más información sobre el proceso de capacitación en la figura complementaria S1. Esta tarea no sólo sería un gran desafío para un operador humano experto, dado el diverso conjunto de pruebas de múltiples capas, sino que esta precisión también subestima la eficacia de la red para la corrección de errores. Los parámetros son interdependientes y, por lo tanto, para muchos tipos de error, habrá múltiples combinaciones de cambios de parámetros que podrían corregirlo. Por ejemplo, un desplazamiento Z más alto con la boquilla alejada de la cama de impresión puede confundirse fácilmente con un caudal bajo (ambos aparecen como bajo extrusión) y podría corregirse cambiando cualquiera de los parámetros. Sin embargo, solo una de estas combinaciones de parámetros se contará como "correcta" en el cálculo de precisión dadas las etiquetas en los datos de entrenamiento.

Para probar la capacidad de la red para corregir errores de impresión y descubrir parámetros óptimos para nuevos materiales, se descargaron nuevamente modelos 3D aleatorios, pero esta vez para probar la corrección. Cada modelo 3D se cortó con diferentes configuraciones de escala, rotación, densidad de relleno, número de perímetros y número de capas sólidas mediante muestreo aleatorio de distribuciones uniformes. El patrón de relleno se eligió al azar de una lista determinada de patrones comunes. El conjunto de trayectorias generadas se convirtió posteriormente para tener movimientos máximos de 1 mm utilizando un script personalizado para permitir tiempos de respuesta de firmware significativamente más rápidos para los cambios de parámetros durante la impresión, al mismo tiempo que se mantienen los tamaños de los archivos de impresión manejables y se evitan las fluctuaciones debido a que la impresora no puede leer y escribir. Procese las líneas del código G con la suficiente rapidez.

Durante el proceso de impresión, se toman imágenes de la punta de la boquilla y la deposición del material a 2,5 Hz y se envían a un servidor local para su inferencia (Fig. 3a). Cada imagen recibida se recorta automáticamente en una región de 320 × 320 píxeles enfocada en la punta de la boquilla. El usuario debe especificar las coordenadas de píxeles de la boquilla una vez al montar la cámara en la configuración. Además, es posible que los usuarios quieran modificar el tamaño de la región recortada según la posición de la cámara, la distancia focal y el tamaño de la boquilla de la impresora. La elección de una región adecuada alrededor de la boquilla afecta el rendimiento de la red y el mejor equilibrio entre precisión y tiempo de respuesta se observa cuando se ven ~5 anchos de extrusión a cada lado de la punta de la boquilla.

a Los seis pasos principales en el proceso de retroalimentación permiten actualizaciones de parámetros en línea a partir de imágenes del proceso de extrusión. b Tabla que contiene θmode (umbral de modo), L (longitud de secuencia), Imin (mínimo de interpolación), A+ (el mayor aumento), A− (mayor disminución) para cada parámetro de impresión junto con los posibles niveles de cantidades de actualización. c Ejemplo sencillo de geometría de una sola capa que ilustra la división de la trayectoria en segmentos iguales más pequeños. Se utilizan longitudes de 1 mm en el proceso de retroalimentación para permitir una corrección rápida y reducir el tiempo de respuesta.

Luego se cambia el tamaño de la imagen recortada a 224 × 224 píxeles y se normaliza en los canales RGB. A continuación, la red de clasificación produce una predicción (demasiado alta, demasiado baja, buena) para cada parámetro al que se le da esta imagen como entrada. Estos parámetros predichos se almacenan en listas separadas de diferentes longitudes de conjunto, L, para cada parámetro. Si una predicción particular se hace con suficiente frecuencia como para constituir una proporción de una lista completa mayor o igual que el umbral de modo (θmodo), entonces se encuentra un modo y se acepta esa predicción. Si no se encuentra ningún modo, no se realizan actualizaciones y el parámetro de impresión se considera aceptable, al igual que en el caso en que la predicción del modo es "buena". Si se encuentra que un modo es "demasiado alto" o "demasiado bajo", la proporción de la longitud de la lista constituida por el valor del modo se utiliza para escalar el ajuste al parámetro que facilita la corrección proporcional. Específicamente, se aplica interpolación lineal unidimensional para asignar el rango entre un umbral de parámetro (θmode) y 1 a un nuevo mínimo (Imin) y 1. Luego, el valor interpolado se usa para escalar linealmente la cantidad máxima de actualización (A+ para aumentos de parámetros). y A- para disminuciones). Los valores específicos de θmode, L, Imin, A+ y A− se obtuvieron de forma iterativa mediante experimentación para cada parámetro individualmente (Fig. 3b) para equilibrar el tiempo de respuesta con precisión y evitar sobrepasos. La longitud de la lista del hotend y el umbral de modo son particularmente conservadores debido al largo tiempo de respuesta de este parámetro y también al riesgo de seguridad en caso de sobrepasarse.

Una vez calculados los importes de actualización finales para los parámetros de impresión, se envían a una Raspberry Pi conectada a cada impresora. El Pi recupera el valor actual de cada parámetro y crea un comando de código G para actualizar el parámetro. Luego, el Pi busca el reconocimiento de la ejecución del comando por parte del firmware a través de serie. Una vez que el firmware ha ejecutado todos los comandos, el Pi envía un acuse de recibo al servidor. Cuando el servidor recibe una confirmación de que se han ejecutado todas las actualizaciones, comienza a hacer predicciones nuevamente. Esperar este reconocimiento de todas las actualizaciones de parámetros es crucial para detener las oscilaciones causadas por sobrepasar o no alcanzar el objetivo.

Para demostrar la capacidad de corrección del sistema, se construyó un proceso de experimentación para tomar un archivo STL de entrada, cortarlo con una buena configuración de impresión, insertar un comando de código G para alterar un parámetro a un valor deficiente y luego analizar el código G generado y dividirlo. el modelo en secciones de 1 mm (Fig. 4). Se utilizó el mismo modelo de impresora que en el entrenamiento, pero con una posición de cámara alterada (ligeramente girada y trasladada con respecto a la boquilla), una nueva boquilla de 0,4 mm con diferente geometría externa y una muestra de impresión de una sola capa invisible. Para comparar las respuestas entre parámetros, cada uno se imprimió usando el mismo carrete de filamento PLA (Fig. 4a). Estas impresiones de una sola capa se utilizan como punto de referencia claramente interpretable para probar cada uno de los parámetros individuales y combinaciones de parámetros en diferentes impresoras, configuraciones y materiales. Los defectos de los parámetros de velocidad de flujo, compensación Z y temperatura del hotend son claramente visibles, mientras que el defecto de velocidad lateral se puede observar como una línea más oscura donde se redujo la velocidad de impresión. Es observable el retraso entre el envío del comando (flechas negras en la Fig. 4a) y la actualización del parámetro, lo que demuestra la importancia de esperar los reconocimientos de la impresora. En cada caso, la red, en combinación con el umbral de modo, puede recuperar rápidamente buenos parámetros de impresión (consulte la película complementaria S1).

a Corrección rápida de un parámetro único erróneo inducido manualmente utilizando la red neuronal de múltiples cabezales entrenada. Impreso con materia prima PLA en una impresora conocida con una boquilla invisible de 0,4 mm que no se utiliza en los datos de entrenamiento. b Optimización simultánea en línea de múltiples parámetros incorrectos en polímeros termoplásticos invisibles. Demuestra que la tubería de control es robusta para una amplia gama de materias primas con diferentes propiedades de materiales, colores y condiciones iniciales. c Al igual que un operador humano, el sistema utiliza relaciones de parámetros autoaprendidas para predicciones correctivas. Un desplazamiento Z alto se puede solucionar reduciendo el desplazamiento Z y/o aumentando el caudal de material. d Corrección de múltiples parámetros de impresión incorrectos introducidos a mitad de impresión. Ambas torres fueron impresas en las mismas condiciones, con la única diferencia de la corrección. e Corrección de impresiones iniciadas con combinaciones de parámetros incorrectas. Las seis llaves se imprimieron en las mismas condiciones.

A pesar de haber sido capacitado únicamente utilizando PLA termoplástico extruido, el proceso de control se generaliza a diversos materiales, colores y configuraciones. La Figura 4b muestra la corrección en línea para cuatro termoplásticos diferentes impresos con diferentes combinaciones de múltiples parámetros de impresión incorrectos aleatorios en puntos de referencia de una sola capa interpretables similares a los de la Figura 4a. En cada caso, la red actualiza con éxito múltiples parámetros, lo que da como resultado una buena extrusión (consulte la película complementaria S2). Las muestras rellenas de TPU y fibra de carbono no tienen perímetro impreso debido a las malas condiciones iniciales. Esto no solo es útil para el descubrimiento automatizado de parámetros, ayudando a los usuarios a ajustar sus impresoras para nuevos materiales al obtener rápidamente las mejores combinaciones de parámetros, sino que también muestra que los sistemas de control pueden mejorar la productividad al evitar impresiones defectuosas cuando las trayectorias iniciales no se ajustan a las pautas. cama.

Gracias a tener todas las predicciones de parámetros en una estructura de red, el modelo entrenado aprende las interacciones entre múltiples parámetros y puede ofrecer soluciones creativas a parámetros incorrectos como un operador humano. Imprimimos una muestra utilizando la configuración del bucle de control pero sin realizar correcciones en línea. Esta muestra contenía una región con un alto desplazamiento Z. Un desplazamiento Z alto da como resultado caminos separados de material extruido; el mismo resultado puede ocurrir con un caudal bajo. La Figura 4c muestra que la red determina que aumentar el caudal junto con reducir Z dará como resultado una buena extrusión. Como el modelo entrenado puede encontrar múltiples formas de resolver el mismo problema, puede ser más sólido frente a predicciones incorrectas para un solo parámetro y permitir una retroalimentación más rápida al combinar actualizaciones en múltiples parámetros. Los gráficos de predicción también demuestran la velocidad a la que la red nota que los parámetros ahora son buenos, lo cual es vital para garantizar que el sistema de control no se sobrepase al realizar correcciones en línea.

La Figura 4d aplica el proceso de control utilizando el mismo modelo de impresora que se usó en el entrenamiento (Creality CR-20 Pro) en una geometría de torre invisible para demostrar que nuestra metodología podría usarse en un entorno de producción para geometrías 3D completas. Se introdujeron múltiples parámetros de impresión aleatorios incorrectos a mitad de la impresión, específicamente un caudal, velocidad lateral y temperatura del hotend muy altos y un offset Z bajo. La torre impresa sin corrección falló dramáticamente, mientras que la torre impresa con las mismas condiciones con la corrección habilitada se completó con éxito. La Figura 4e muestra seis copias de la misma geometría de llave 3D, cada una de las cuales comenzó con la misma combinación de parámetros de impresión incorrectos: caudal y velocidad lateral bajos, desplazamiento Z alto y buena temperatura del hotend. De las seis llaves, tres se imprimieron sin corrección, lo que resultó en una falla total debido al desprendimiento de la cama de impresión y un acabado superficial muy pobre en las dos restantes. Estos errores se deben a la mala capa inicial causada por parámetros de impresión subóptimos. Los tres impresos con corrección se completaron con éxito y exhiben el mismo acabado superficial mejorado, particularmente en la capa inicial. Cabe señalar que estas impresiones corregidas no coinciden con una pieza perfectamente impresa. Las imperfecciones están presentes hasta que se han aplicado todas las correcciones necesarias y, como tal, parte de la capa inicial se imprime con parámetros iniciales deficientes. Aunque es poco común, también se puede aplicar una corrección cuando no es necesaria y genera una imperfección.

Para demostrar la generalidad del sistema, se colocaron una cámara y una lente diferentes en una nueva ubicación en una impresora invisible (Lulzbot Taz 6) con una boquilla de forma y ancho de boquilla diferentes: 0,6 mm en lugar de 0,4 mm como se usa en el entrenamiento (Fig. 5a). . Esta impresora utiliza un sistema de extrusión que toma un filamento de 2,85 mm de diámetro como entrada en lugar de 1,75 mm como se utiliza en las impresoras de capacitación. La Figura 5b muestra el mismo sistema de control aplicado a una geometría de alfil invisible. Se introdujeron parámetros de impresión aleatorios incorrectos al principio de la impresión, específicamente durante la capa 7. Estos parámetros incorrectos eran una velocidad lateral baja y un caudal alto, desplazamiento Z y temperatura del hotend. El alfil erróneo impreso sin corrección falló, mientras que el alfil impreso con exactamente las mismas condiciones con el canal de control habilitado se completó exitosamente con mayor detalle. Las impresiones de referencia de una sola capa se completaron con cada parámetro erróneo individual introducido utilizando PLA blanco (Fig. 5c). Estos demuestran que la red neuronal de cabezales múltiples y la tubería de control se generalizan para corregir los parámetros en las impresoras de modelado por deposición fundida. El tamaño de la región mal impresa en estas muestras parece mayor que en las impresas para la Fig. 4a, ya que la boquilla más grande del Lulzbot Taz six da como resultado un ancho de extrusión mucho mayor para cada línea. El número de líneas es aproximadamente el mismo entre las impresoras.

a Fotos de una impresora 3D probada e invisible con una boquilla de 0,6 mm de diámetro interior (Lulzbot Taz 6). Se utilizaron un modelo de cámara (Raspberry Pi Camera v1) y una lente diferentes en comparación con la recopilación de datos de entrenamiento junto con una nueva posición de la cámara con respecto a la deposición de material. b Una pieza de ajedrez de alfil con parámetros erróneos introducidos y la misma impresión errónea con la corrección habilitada. Ambos se imprimieron utilizando PLA de 2,85 mm en la configuración invisible de Lulzbot Taz 6. c Corrección rápida de un parámetro único erróneo inducido manualmente utilizando la red neuronal de múltiples cabezales entrenada. Impreso con materia prima PLA blanca en una impresora invisible con una boquilla invisible de 0,6 mm que no se utiliza en los datos de entrenamiento. d Impresora basada en jeringa para escritura directa con tinta (DIW) modificada a partir de una Creality Ender 3 Pro. Se utilizaron un modelo de cámara invisible (Raspberry Pi Camera v1) y una lente junto con una posición de cámara diferente. e La corrección automatizada y el descubrimiento de parámetros se mostraron para PDMS con boquilla de 0,21 mm (calibre 27), junto con mayonesa y salsa de tomate con boquilla de 0,84 mm (calibre 18).

La tubería de control se probó además en una configuración de escritura directa con tinta utilizando un motor paso a paso con una varilla roscada para mover un émbolo en una jeringa (Fig. 5d). Se utilizó un modelo de cámara diferente y una lente montada en un ángulo y distancia diferentes de la boquilla con una base de impresión de vidrio transparente y reflectante en lugar de la base negra utilizada durante las pruebas termoplásticas. Con esta configuración, se imprimieron PDMS, mayonesa y ketchup utilizando una variedad de boquillas: 0,21 mm para el PDMS y 0,84 mm para los condimentos (Fig. 5e). Todas las muestras se imprimieron a temperatura ambiente sin corrección del hotend. Para la impresión PDMS, la red solo corrigió el caudal. La Figura 5e muestra que para PDMS, la red aprende a aumentar el caudal aumentando la presión aplicada a la jeringa. Una vez alcanzada la presión requerida, la red reduce el caudal para detener la sobreextrusión. Sin embargo, durante impresiones largas, el caudal a veces se excede debido a una gran acumulación de presión en la jeringa, especialmente cuando la red no reduce el caudal lo suficientemente rápido. Equilibrar esta presión es especialmente difícil en esta configuración específica debido al material viscoso y al pequeño diámetro de la boquilla que requieren altas presiones para imprimir, lo que crea un intervalo de tiempo entre el movimiento del émbolo y la extrusión. Al imprimir materiales menos viscosos, este exceso y el retraso de la presión son un problema menor, especialmente con diámetros de boquilla más grandes. Para los ejemplos de mayonesa y ketchup, la red ajustó principalmente el caudal y la compensación Z. Descubrimos que ambos condimentos tendían a sobreextruirse y la red a menudo reducía el caudal y, para la primera capa, reducía el desplazamiento Z. Al imprimir estructuras de varias capas, la red tendía a aumentar el desplazamiento Z en cada capa y reducir el caudal para evitar que la punta de la boquilla se sumergiera en la capa anterior.

Es útil buscar posibles explicaciones de por qué los modelos toman ciertas decisiones, particularmente cuando implementan redes neuronales profundas en producción para aplicaciones críticas para la seguridad. Dos métodos de visualización populares que pueden ayudar a los usuarios a comprender mejor por qué las redes neuronales hacen sus predicciones son la retropropagación guiada59 y el mapeo de activación de clases ponderado por gradiente (GradCAM)60. El primero ayuda a mostrar características de resolución más fina aprendidas por la red al hacer predicciones y el segundo proporciona una localización más aproximada que muestra regiones importantes en la imagen (esto puede considerarse como atención post hoc). Para ambos enfoques, se proporciona la categoría objetivo (baja, buena y alta) para cada uno de los cuatro parámetros para determinar qué características o regiones son específicamente importantes para esa categoría. Además de esto, se desarrolló un método para aplicar las técnicas para cada parámetro por separado dentro de toda la red, lo que nos permite producir hasta 12 visualizaciones personalizadas para una imagen de entrada (las tres clases para cada uno de los cuatro parámetros, por ejemplo, caudal bajo, alta velocidad lateral, buen desplazamiento Z).

Múltiples combinaciones de parámetros erróneos pueden dar como resultado caminos separados de material extruido (bajo extrusión) o caminos de material superpuestos (sobreextrusión). Se utilizó la retropropagación guiada para intentar determinar si la red utiliza características similares en todos los parámetros para detectar estas propiedades físicas de extrusión. En la Fig. 6a se muestran imágenes de ejemplo representativas de extrusión insuficiente, buena y excesiva causada por diferentes parámetros. Parece que se comparten características similares entre parámetros para la misma clasificación de extrusión: rutas separadas para subextrusión, un contorno de la ruta actual para una buena extrusión y alrededor de la boquilla para sobreextrusión.

Se puede lograr una extrusión insuficiente, buena o excesiva mediante múltiples parámetros incorrectos. La retropropagación guiada59 se aplica para resaltar características importantes en la imagen utilizada para la clasificación. Ejemplos representativos de imágenes no vistas sugieren que la red utiliza características similares en todos los parámetros para identificar la misma propiedad física. b El mapeo de activación de clase ponderado por gradiente (GradCAM)60 muestra que a través de parámetros y entradas invisibles, las primeras etapas de la red diferencian entre el material depositado y la base de impresión. c GradCAM aplicado a las etapas finales muestra que la red en su conjunto se centra en la punta de la boquilla a través de parámetros y entradas invisibles. d Las tendencias mostradas en retropropagación guiada y GradCAM en diferentes etapas también se aplican a diferentes metodologías de extrusión invisibles, como la escritura directa con tinta.

GradCAM se aplicó a cada capa de la red troncal compartida para cada uno de los parámetros por separado. Mostramos en la Fig. 6b, c las visualizaciones de la primera y última capa (bloques residuales 1 y 6, respectivamente). Las primeras etapas de la red parecen detectar grandes características estructurales en la imagen, como diferenciar entre el material depositado y la base de impresión. En la última capa, la red se centra predominantemente en la extrusión más reciente de la boquilla, independientemente del parámetro o clase de objetivo. Esto es deseable ya que para tiempos de respuesta y correcciones rápidos, queremos que la red utilice información del material depositado más recientemente para su predicción. En la Fig. 6d, se muestran visualizaciones de ejemplo de imágenes de pruebas de escritura directa con tinta. Estas imágenes demuestran que la red entrenada puede utilizar características similares en cada etapa durante la predicción a las que utiliza para las predicciones termoplásticas. Se pueden encontrar más visualizaciones en la Fig. S2 complementaria y en la Película complementaria S3.

Demostramos que entrenar una red neuronal de múltiples cabezales utilizando imágenes etiquetadas en términos de desviación de los parámetros de impresión óptimos permite una detección de errores de AM de extrusión en tiempo real, robusta y generalizable, y una corrección rápida. La automatización tanto de la adquisición de datos como del etiquetado permite la generación de un conjunto de datos de entrenamiento basado en imágenes lo suficientemente grande y diverso para permitir la detección y corrección de errores que se generaliza en geometrías, materiales, impresoras, trayectorias de herramientas e incluso métodos de extrusión realistas en 2D y 3D. La red neuronal profunda de cabezales múltiples pudo predecir simultáneamente con alta precisión los cuatro parámetros clave de impresión: caudal, velocidad lateral, desplazamiento Z y temperatura del hotend a partir de imágenes de la boquilla durante la impresión. Se descubrió que este contexto adicional y el conocimiento de múltiples parámetros pueden incluso conducir a una mejora en la predicción de parámetros individuales, aunque se necesita más investigación para respaldar este hallazgo. Como un ser humano, el sistema fue capaz de proponer creativamente múltiples soluciones a un error e incluso pudo descubrir nuevas combinaciones de parámetros y aprender a imprimir nuevos materiales. Sin embargo, a diferencia de los humanos, el sistema funcionaba continuamente y hacía correcciones instantáneamente. Junto con esta red, presentamos numerosos avances en el bucle de control de retroalimentación con nuevas incorporaciones, como actualizaciones de parámetros proporcionales, división de trayectorias de herramientas y umbrales de predicción optimizados, que combinados proporcionan una mejora de un orden de magnitud en la velocidad de corrección y el tiempo de respuesta en comparación con trabajos anteriores.

Si bien mejora significativamente las capacidades de la retroalimentación de AM mediante el control generalizado de más parámetros con tiempos de respuesta más rápidos, este trabajo también reduce el costo y la complejidad de los enfoques existentes. El uso de cámaras disponibles en el mercado, pequeñas computadoras de placa única (por ejemplo, Raspberry Pi) y la conexión en red permiten agregar el sistema a impresoras nuevas y existentes con facilidad. El sistema se extiende y se conecta a paquetes de software y firmware populares, lo que significa que los flujos de trabajo de los usuarios existentes se ven mínimamente afectados. Además, la red totalmente integrada permite que cada impresora agregada aumente los datos de capacitación disponibles y también permite que el sistema se implemente en entornos más remotos donde solo se requiere una conexión a Internet.

Hay margen de mejora en la metodología. Por ejemplo, probar la red en una gama más amplia de impresoras y materiales y agregar datos recopilados al conjunto de datos de entrenamiento podría hacer que el sistema sea más generalizable y robusto. También puede resultar beneficioso disponer de más datos para valores de desplazamiento Z bajos, ya que pequeñas diferencias de valor pueden tener un gran impacto en la calidad de impresión. Además, hay un rango más pequeño de valores que las compensaciones Z bajas pueden reemplazar a las altas antes de llegar a la base, lo que provoca un sesgo en el conjunto de datos ya que hay más valores presentes en la clasificación alta. Además, creemos que los pequeños movimientos en el desplazamiento Z pueden ser la principal debilidad del conjunto de datos actual y un mejor enfoque, resolución y atención al posicionamiento de la cámara mejorarían en gran medida la próxima iteración de grandes conjuntos de datos AM. También es importante plantear el papel que puede desempeñar el sesgo en el rendimiento del modelo entrenado dado el conjunto de datos proporcionado. El trabajo futuro se mejoraría si se utilizara un conjunto de datos aún mayor y más equilibrado con un número igual de muestras en niveles de clasificación más granulares. Por ejemplo, en la actualidad, en el conjunto de datos, puede haber ciertas combinaciones de parámetros que solo aparecen durante una impresión específica o con un solo color de filamento y, por lo tanto, la red ha aprendido estas características incorrectas como asignaciones. Además, si bien los modelos 3D, las configuraciones de corte y los valores de los parámetros se han muestreado aleatoriamente, todavía existe cierto sesgo en los rangos dados, las configuraciones de corte adicionales y la elección de materia prima.

La efectividad de nuestra metodología se puede mejorar aún más ajustando las muchas variables utilizadas durante el proceso de retroalimentación de corrección en línea, junto con la frecuencia de muestreo y la longitud de división de la trayectoria de la herramienta. Pruebas más exhaustivas con una búsqueda de valores más amplia y profunda pueden producir un rendimiento mejorado. Mejores valores para estas variables de corrección ayudarían a reducir la posibilidad de oscilaciones de corrección durante la retroalimentación que hemos experimentado en las pruebas al mejorar las predicciones sobre las listas o reducir el tiempo de respuesta. Pueden ocurrir oscilaciones de parámetros si la red aún puede ver una región previamente defectuosa y sobrepasa su corrección o tras una serie de predicciones incorrectas de la red neuronal.

Además, somos conscientes de que, si bien este enfoque ayuda a resolver muchos errores comunes de impresión basados ​​en extrusión, muchos aún persisten. Las fallas mecánicas en la impresora causadas por pasos omitidos, deslizamiento de la correa o interferencia externa siguen sin resolverse y la adición de un control de circuito cerrado para errores de posicionamiento aumentaría el número de modalidades de error cubiertas. Los problemas eléctricos causados ​​por sensores defectuosos o fuentes de alimentación de bajo rendimiento pueden detectarse en algunos casos, pero no pueden corregirse de forma autónoma. Además, los errores grandes, como grietas, deformaciones y problemas de adhesión del lecho que provocan el desprendimiento de piezas, no se resuelven por completo. Si bien el control preciso en tiempo real de los parámetros de impresión puede ayudar a reducir la probabilidad de que ocurran estos errores, no puede detectar ni resolver muchos de ellos una vez que se han formado debido a su enfoque de monitoreo localizado. La combinación de estas imágenes locales con un sistema de cámara global puede generar mejoras significativas en la detección de más errores y podría proporcionar un vínculo entre los problemas de extrusión locales y las fallas a escala global.

Los mapas de prominencia basados ​​en gradientes que utilizamos para examinar cómo la red toma sus decisiones sugieren que la red aprende a centrarse en la extrusión más reciente al hacer predicciones, lo que ayuda a una respuesta rápida a los errores. Esto, junto con la capacidad de la red para predecir con precisión diferentes parámetros en diferentes geometrías, materiales y configuraciones, sugiere que la red identifica características visuales que son universales para los procesos de extrusión, como la forma del extruido. La metodología desarrollada en este artículo es, en gran medida, independiente de los sensores y del proceso de fabricación al que se aplica. Esto apunta a una serie de áreas para futuras investigaciones. Por ejemplo, al integrar nuevos sensores infrarrojos u otros sensores en el sistema o aplicarlos a procesos de fabricación más desafiantes61,62. Aplicarlo a los métodos de fabricación aditiva de metales es particularmente interesante dada la complejidad de estos procesos y la necesidad de garantizar la calidad63. Las técnicas ópticas son los métodos más comunes utilizados hasta ahora en la fabricación aditiva de metales para monitorear características como la superficie del lecho de polvo y el baño de fusión64,65. Estos serían apropiados para su uso con nuestra metodología y pueden ser especialmente beneficiosos para la fabricación aditiva de metales con los que puede resultar difícil trabajar66. Esto podría ser ayudado afinando el modelo en configuraciones específicas con aprendizaje por transferencia en conjuntos de datos pequeños y especializados (con buena iluminación uniforme), para mejorar el rendimiento en entornos conocidos.

Para la recopilación de datos se utilizó una red de ocho impresoras 3D FDM. Se eligieron las impresoras Creality CR-20 Pro debido a su bajo costo, su gestor de arranque preinstalado y su sonda Z incluida. El firmware de cada impresora se actualizó a Marlin 1.1.9 para garantizar que la protección contra fugas térmicas estuviera habilitada. Luego, cada impresora estaba equipada con una Raspberry Pi 4 Modelo B que actuaba como puerta de enlace en red para enviar/recibir datos hacia/desde la impresora a través de serie. El Pi ejecuta una distribución de Linux basada en Raspbian y un servidor OctoPrint con un complemento desarrollado a medida. Se conectó al Pi una cámara web USB de consumo de bajo costo (Logitech C270) para tomar instantáneas. La cámara se montó frente a la punta de la boquilla utilizando una única pieza impresa en 3D. Estos componentes se pueden instalar fácilmente en impresoras nuevas y existentes a bajo costo; ayudando a la escalabilidad y la capacidad de implementación.

La impresora utilizada para la escritura directa con tinta fue una Creality Ender 3 Pro modificada. La configuración de la extrusora fue diseñada y construida internamente y utilizó una jeringa impulsada por un motor paso a paso con una boquilla Luer Lock. La impresora está equipada con un modelo Raspberry Pi 4, sonda Z y cámara Raspberry Pi v1 con lente de zoom. El firmware es una versión configurada de Marlin 2.0. Para experimentos adicionales, se utilizó un Lulzbot Taz 6 con su firmware actualizado a Marlin 1.1.9. La boquilla predeterminada se cambió por una boquilla E3D de 0,6 mm de diámetro interior.

Los archivos STL se descargaron del repositorio de modelos 3D de Thingiverse utilizando un script Python. Esta herramienta permitió buscar fácilmente modelos en el repositorio por múltiples vías, como palabra clave, popularidad, tiempo, creador y licencia. Con esta herramienta, se seleccionaron y descargaron pseudoaleatoriamente archivos populares (para aumentar la probabilidad de que fueran imprimibles) con las licencias adecuadas. Además, algunos de los archivos de referencia de impresión 3D estándar se agregaron manualmente a este conjunto de STL.

Para cortar piezas para crear trayectorias de herramientas variadas, los STL se rotaron aleatoriamente (ángulo muestreado a partir de una distribución uniforme que oscila entre 0° y 360°) y se escalaron antes de centrarlos en la placa de construcción (factor de escala muestreado a partir de una distribución uniforme que oscila entre 0,8 y 2— para algunos modelos que ya eran grandes, el factor de escala se recortó para reducir el tiempo de impresión). Luego, se tomó una muestra aleatoria del número de capas sólidas superior e inferior a partir de una distribución uniforme que oscilaba entre 2 y 4 junto con el patrón de relleno, la densidad del relleno (0 % a 40 %) y el número de muros perimetrales externos (2 a 4). Se utilizó la siguiente gama de patrones de relleno: rectilíneo, cuadrícula, triángulos, estrellas, cúbico, lineal, concéntrico, panal, panal 3D, giroide, curva de Hilbert, cuerdas de Arquímedes y espiral de octagrama. Las líneas en la salida del código G de la cortadora se cortaron posteriormente en segmentos más pequeños con una longitud de movimiento máxima de 2,5 mm para reducir los tiempos de respuesta del firmware. Para las demostraciones de corrección en línea se utilizó una longitud de movimiento máxima de 1 mm para reducir aún más el firmware. tiempo de respuesta.

Durante la impresión, las imágenes se capturan con una resolución de 1280 × 720 píxeles desde la cámara orientada hacia la boquilla a una frecuencia de muestreo de 2,5 Hz. Cada imagen está etiquetada con las temperaturas reales y objetivo del hotend y de la cama en ese momento y el caudal relativo actual de la impresora y la velocidad lateral (ambos porcentajes) junto con el desplazamiento Z (en mm). Después de que se hayan recopilado y almacenado 150 de estas imágenes etiquetadas (~1 minuto de impresión), los nuevos valores de caudal, velocidad lateral, desplazamiento Z y temperatura objetivo del hotend se muestrean aleatoriamente a partir de distribuciones uniformes de los siguientes rangos respectivos de caudal: 20 a 200%, velocidad lateral: 20 a 200%, desplazamiento Z: −0,08 a 0,32 mm y hotend: 180 a 230 °C. Se descubrió que era necesario agregar algunos caudales adicionales en niveles más altos al conjunto de entrenamiento, ya que estaban lo suficientemente fuera de distribución como para que los modelos entrenados predijeran incorrectamente la clasificación. Esto no fue necesario para los demás parámetros. Después del muestreo, los nuevos valores se envían a la impresora. La impresora comienza a capturar otras 150 imágenes para esta nueva combinación de parámetros. Este proceso puede ocurrir en paralelo en las ocho impresoras que utilizamos, cada una de las cuales utiliza un color diferente de materia prima, lo que ayuda a cubrir el gran espacio de parámetros.

Se eligió la selección aleatoria de valores de parámetros en lugar de la selección sistemática de parámetros para proporcionar diferentes contextos circundantes en las imágenes capturadas. Específicamente, al elegir un enfoque aleatorio, la región exterior de la imagen puede contener extrusión para una combinación de parámetros anterior significativamente diferente, y esto puede ayudar a entrenar a la red para que utilice características locales alrededor de la punta de la boquilla. En cambio, un enfoque sistemático puede introducir patrones en los niveles de parámetros del material previamente depositado que la red puede aprender, reduciendo la localidad de los datos utilizados para las predicciones e introduciendo una debilidad durante la impresión en línea en condiciones invisibles donde el contexto circundante no será sistemático. y puede estar fuera de distribución.

Para reducir la necesidad de intervención humana en el proceso de impresión y facilitar la impresión continua, se ha desarrollado un método nuevo y sencillo para eliminar impresiones completas. Anteriormente se han implementado numerosos métodos para eliminar automáticamente las piezas al finalizar67,68; sin embargo, las implementaciones anteriores requieren modificaciones extensas del hardware, son costosas o solo permiten eliminar una gama relativamente limitada de piezas. Nuestro sistema de extracción de camas no requiere componentes electrónicos, motores ni piezas mecánicas complejas adicionales. La solución propuesta se puede adaptar a cualquier impresora de extrusión y se compone principalmente de piezas impresas que puede producir la impresora en cuestión. El cabezal de impresión, que ya es móvil, se mueve y se acopla con un raspador ubicado en la parte trasera de la plataforma de construcción. Posteriormente, los motores integrados de la impresora se utilizan para mover el cabezal de impresión y el raspador a través de la superficie de construcción y retirar el objeto impreso. Después de retirarlo, el cabezal de impresión devuelve el raspador a su ubicación inicial y lo desacopla (consulte la Película complementaria S4). Para garantizar que el raspador permanezca siempre en la misma posición, se adjunta una base raspadora con imanes a la plataforma de impresión para mantener el raspador en su lugar hasta que sea necesario retirar el siguiente objeto. Se pueden encontrar más detalles sobre este sistema en la Fig. S3 complementaria y la Nota complementaria 1 en la Información complementaria, y también en un repositorio de GitHub que contiene los archivos CAD STEP modificables, archivos STL para impresión y scripts de código G de ejemplo para la eliminación de piezas ( https://github.com/cam-cambridge/creality-part-remover).

Para entrenar la red, determinamos la pérdida de entropía cruzada en cada una de las cabezas y luego sumamos estas pérdidas antes de la retropropagación. Esto da como resultado que la red troncal compartida de la red se actualice para adaptarse a la pérdida de cada cabezal, y las capas completamente conectadas a cada cabezal solo se actualizan según la pérdida de ese cabezal. La tasa de aprendizaje inicial se seleccionó en cada una de las 3 etapas de entrenamiento barriendo un rango de valores y seleccionando una tasa de aprendizaje con una gran caída en la pérdida69. Los ritmos de aprendizaje de cada una de las etapas se pueden consultar en la información complementaria. La selección de la tasa de aprendizaje correcta fue de importancia clave: una tasa de aprendizaje alta conducía a mapas de atención deficientes, mientras que tasas de aprendizaje demasiado bajas tardaban más en entrenarse o se quedaban estancadas en los mínimos locales tempranos. Se utilizó un optimizador AdamW70,71 durante el entrenamiento con un programador de reducción de la tasa de aprendizaje en meseta para disminuir la tasa de aprendizaje en un factor de 10 cuando 3 épocas seguidas no mejoraron la pérdida en más del 1 %. En la información complementaria se pueden encontrar gráficos de la tasa de aprendizaje durante el entrenamiento. Se utilizó una división de entrenamiento, validación y prueba de 0,7, 0,2 y 0,1, respectivamente, con un tamaño de lote de 32. Las tres etapas de entrenamiento se entrenaron durante 50, 65 y 10 épocas, respectivamente. Cada etapa fue entrenada tres veces con tres semillas diferentes. Durante la transferencia de aprendizaje se eligió la mejor semilla de la etapa anterior como base para seguir formándose.

Para determinar la importancia de este entrenamiento de múltiples etapas y el uso de la atención, se entrenaron cuatro ResNets47 diferentes usando la misma configuración excepto con una sola semilla y una sola etapa en el conjunto de datos completo. Las precisiones de las pruebas se pueden ver en la Tabla 1 junto con la precisión de nuestra red de atención elegida entrenada utilizando las tres etapas. Se descubrió que los modelos más grandes con estas adiciones en realidad disminuyen la precisión de la prueba. La aplicación de un entrenamiento previo adicional en cada modelo en otros conjuntos de datos probablemente mejoraría la precisión en todos los ámbitos.

El uso de múltiples parámetros en una única red de múltiples cabezales para proporcionar contexto adicional puede conducir a un mejor rendimiento que el entrenamiento de parámetros individuales en redes separadas. Después de 50 épocas de entrenamiento, un modelo ResNet18 con una salida de cabezal único para predecir el caudal logró una precisión del 77,5 %. El mismo modelo con múltiples cabezales (uno para cada uno de los cuatro parámetros) después de 50 épocas de entrenamiento logró una precisión final del 82,1 % en la predicción del caudal.

Los modelos finales se entrenaron utilizando el formato de punto flotante de media precisión (FP16) en dos GPU Nvidia Quadro RTX 5000 con una CPU i9-9900K (ocho núcleos y 16 subprocesos) y 64 GB de RAM. Esta configuración también se utilizó para la corrección en línea. Se realizaron algunos trabajos de creación de prototipos en un clúster de GPU HPC equipado con GPU Nvidia Tesla P100. Las redes neuronales se desarrollaron con PyTorch v1.7.1 (https://github.com/pytorch/pytorch), Torchvision v0.8.2 (https://github.com/pytorch/vision), Tensorboard v2.4.1 (https:// github.com/tensorflow/tensorboard). El análisis de datos utilizó Python v3.6.9 (https://www.python.org/), NumPy v1.19.5 (https://github.com/numpy/numpy), Pandas v1.1.5 (https://github.com /pandas-dev/pandas), SciPy v1.5.4 (https://www.scipy.org/), Seaborn v0.11.1 (https://github.com/mwaskom/seaborn), Matplotlib v3.3.3 (https: //github.com/matplotlib/matplotlib), Jupyter v1.0.0 (https://jupyter.org/), JupyterLab v.2.2.9 (https://github.com/jupyterlab/jupyterlab) y Pillow v8.1.0 (https://github.com/python-pillow/Pillow). Los servidores de recopilación de datos y corrección de parámetros se desarrollaron con Flask v1.1.1 (https://github.com/pallets/flask), Flask–SocketIO v5.1.0 (https://github.com/miguelgrinberg/Flask–SocketIO), OctoPrint v1.6.1 (https://octoprint.org/), Marlin 1.1.9 (https://marlinfw.org/). La preparación de corte e impresión utilizó PrusaSlicer v2.3.3 (https://github.com/prusa3d/PrusaSlicer) y Simplify3D v4.1.2 (https://www.simplify3d.com/).

Los datos de imágenes etiquetadas generados en este estudio y utilizados para entrenar el modelo se depositaron en el repositorio de datos de la Universidad de Cambridge (https://doi.org/10.17863/CAM.84082). Los datos de origen para los gráficos en figuras se proporcionan con este documento. Los datos originales se proporcionan con este documento.

El código utilizado para generar los resultados del artículo está disponible en un repositorio de GitHub (https://github.com/cam-cambridge/caxton). También se pueden encontrar más detalles sobre el removedor de cama en un repositorio de GitHub (https://github.com/cam-cambridge/creality-part-remover).

Ngo, TD, Kashani, A., Imbalzano, G., Nguyen, KTQ & Hui, D. Fabricación aditiva (impresión 3D): una revisión de materiales, métodos, aplicaciones y desafíos. Compos. Parte B Ing. 143, 172-196 (2018).

Artículo CAS Google Scholar

MacDonald, E. & Wicker, R. Impresión 3D multiproceso para aumentar la funcionalidad de los componentes. Ciencia 353, aaf2093 (2016).

Placone, JK & Engler, AJ Avances recientes en la impresión 3D basada en extrusión para aplicaciones biomédicas. Adv. Saludc. Madre. 7, 1701161 (2018).

Artículo CAS Google Scholar

Haghiashtiani, G. et al. Modelos de raíz aórtica impresos en 3D específicos para cada paciente con sensores internos para aplicaciones mínimamente invasivas. Ciencia. Adv. 6, 4641–4669 (2020).

Artículo ADS CAS Google Scholar

Najmon, JC, Raeisi, S. y Tovar, A. en Fabricación aditiva para la industria aeroespacial (eds Froes, F. y Boyer, R.) Cap. 2 (Elsevier, 2019).

López-Valdeolivas, M., Liu, D., Broer, DJ y Sánchez-Somolinos, C. Actuadores impresos en 4D con funciones robóticas suaves. Macromol. Comunicacion Rapida. 39, 3–9 (2018).

Artículo CAS Google Scholar

Searle, B. & Starkey, D. Una investigación sobre el efecto de cambiar el intervalo de reconstrucción del corte de tomografía computarizada sobre la precisión de la replicación espacial de modelos anatómicos impresos tridimensionales construidos mediante modelado por deposición fundida. J. Med. Radiación. Ciencia. 67, 43–53 (2020).

Artículo PubMed PubMed Central Google Scholar

Song, R. y Telenko, C. Desperdicio de material de impresoras FDM comerciales en condiciones reales. En Proc, 27.º Simposio internacional anual sobre fabricación de formas libres sólidas 1217–1229 (Universidad de Texas en Austin, Austin, Texas, 2016).

Colosimo, BM, Huang, Q., Dasgupta, T. & Tsung, F. Oportunidades y desafíos de la ingeniería de calidad para la fabricación aditiva. J. Calificación. Tecnología. 50, 233–252 (2018).

Artículo de Google Scholar

Baş, H., Elevli, S. & Yapıcı, F. Análisis de árbol de fallas para impresoras tridimensionales de fabricación con filamento fundido. J. Falla. Anal. Anterior. 19, 1389-1400 (2019).

Artículo de Google Scholar

Medellín-Castillo, HI & Zaragoza-Siqueiros, J. Estrategias de diseño y fabricación para el modelado por deposición fundida en fabricación aditiva: una revisión. Mentón. J. Mech. Ing. 32, 53 (2019).

Artículo CAS Google Scholar

Mohamed, OA, Masood, SH & Bhowmik, JL Optimización de los parámetros del proceso de modelado por deposición fundida: una revisión de la investigación actual y las perspectivas futuras. Adv. Fabricante. 3, 42–53 (2015).

Artículo CAS Google Scholar

Fu, Y., Downey, A., Yuan, L., Pratt, A. y Balogun, Y. Monitoreo in situ del proceso de fabricación de filamentos fundidos: una revisión. Añadir. Fabricante. 38, 101749 (2021).

Google Académico

Tlegenov, Y., Lu, WF y Hong, GS Un modelo dinámico para el monitoreo del estado de las boquillas basado en la corriente en el modelado de deposición fundida. Prog. Añadir. Fabricante. 4, 211–223 (2019).

Artículo de Google Scholar

Kim, C. y col. Un estudio para detectar el estado de deposición de material en la tecnología de modelado de deposición fundida. En 2015, Conferencia Internacional IEEE sobre Mecatrónica Inteligente Avanzada (AIM) 779–783 (IEEE, 2015).

Guo, J., Wu, J., Sun, Z., Long, J. y Zhang, S. Diagnóstico de fallas de impresoras 3D delta que utilizan una máquina de vectores de soporte de transferencia con señales de actitud. Acceso IEEE 7, 40359–40368 (2019).

Artículo de Google Scholar

Zhang, S. y col. Red de estado híbrida profunda con refuerzo de funciones para el diagnóstico inteligente de fallas de impresoras 3D delta. Traducción IEEE. Indiana Informar. 16, 779–789 (2020).

Artículo de Google Scholar

Rao, PK, Roberson, D., Liu, JP & Kong, ZJ Detección de fallas de procesos en línea basada en sensores en fabricación aditiva. ASME 2015 Int. Fabricante. Ciencia. Ing. Conf. 2, 1-13 (2015).

Google Académico

Tlegenov, Y., Hong, GS y Lu, WF Monitoreo del estado de la boquilla en impresión 3D. Robot. Computadora. Integral Fabricante. 54, 45–55 (2018).

Artículo de Google Scholar

Wu, H., Wang, Y. & Yu, Z. Monitoreo in situ del estado de la máquina FDM mediante emisión acústica. En t. J. Adv. Fabricante. Tecnología. 84, 1483-1495 (2015).

Google Académico

Wu, H., Yu, Z. & Wang, Y. Monitoreo y diagnóstico del estado de la máquina FDM en tiempo real basado en emisión acústica y modelo semi-Markov oculto. En t. J. Adv. Fabricante. Tecnología. 90, 2027-2036 (2017).

Artículo de Google Scholar

Liao, J. y col. Estudio preliminar sobre diagnóstico de fallos y aprendizaje inteligente de impresora 3D de modelado por deposición fundida (FDM). En 2019, 14.ª Conferencia IEEE sobre aplicaciones y electrónica industrial (ICIEA) 2098–2102 (IEEE, 2019).

Baumann, F. & Roller, D. Detección de errores basada en visión para procesos de impresión 3D. Conferencia Web MATEC. 59, 3–9 (2016).

Artículo de Google Scholar

He, K., Zhang, Q. & Hong, Y. Método de control de calidad basado en el seguimiento de perfiles para el proceso de modelado por deposición fundida. J. Intel. Fabricante. 30, 947–958 (2019).

Artículo de Google Scholar

Huang, T., Wang, S., Yang, S. y Dai, W. Monitoreo estadístico del proceso en un período específico para los datos de imagen de piezas de modelado por deposición fundida con capas consistentes. J. Intel. Fabricante. 32, 2181–2196 (2021).

Artículo de Google Scholar

Petsiuk, AL y Pearce, JM Análisis de impresión 3D por capas basado en visión por computadora de código abierto. Añadir. Fabricante. 36, 101473 (2020).

Google Académico

Tian, ​​X., Li, Y., Ma, D., Han, J. y Xia, L. Control uniforme del ancho de la hebra para la fabricación aditiva por extrusión de silicona basada en el procesamiento de imágenes. En t. J. Adv. Fabricante. Tecnología. 119, 3077–3090 (2022).

Artículo de Google Scholar

Friedrich, L. & Begley, M. Caracterización in situ de la escritura con tinta directa de baja viscosidad: estabilidad, humectación y flujos rotacionales. J. Ciencia de la interfaz coloidal. 529, 599–609 (2018).

Artículo ADS CAS PubMed Google Scholar

Wasserfall, F., Ahlers, D. & Hendrich, N. Verificación óptica in situ de circuitos electrónicos impresos en 3D. En 2019, IEEE 15.ª Conferencia Internacional sobre Ciencia e Ingeniería de Automatización (CASE) 1302–1307 (IEEE, 2019).

Zhao, X., Lian, Q., He, Z. & Zhang, S. Detección de fallas en línea basada en regiones en impresión 3D mediante proyección de franjas. Medidas. Ciencia. Tecnología. 31, 035011 (2020).

Artículo ADS CAS Google Scholar

Fastowicz, J. & Okarma, K. Evaluación rápida de la calidad de superficies impresas en 3D basada en la similitud estructural de las regiones de la imagen. En 2018, Taller Internacional de Doctorado Interdisciplinario (IIPhDW) 401–406 (IEEE, 2018).

Okarma, K. & Fastowicz, J. Evaluación de la calidad sin referencia de impresiones 3D basada en el análisis GLCM. En 2016, 21ª Conferencia Internacional sobre Métodos y Modelos en Automatización y Robótica (MMAR) 788–793 (IEEE, 2016).

Straub, J. Trabajo inicial sobre la caracterización de la fabricación aditiva (impresión 3D) mediante software de análisis de imágenes. Máquinas 3, 55–71 (2015).

Artículo de Google Scholar

Straub, J. Un sistema combinado para la ciberseguridad de la impresión 3D. en Metrología Óptica Dimensional e Inspección para Aplicaciones Prácticas VI (eds. Harding, KG & Zhang, S.) (SPIE, 2017).

Cunha, FG, Santos, TG & Xavier, J. Monitoreo in situ de la fabricación aditiva mediante correlación de imágenes digitales: una revisión. Materiales 14, 1511 (2021).

Artículo ADS CAS PubMed PubMed Central Google Scholar

Charalampous, P., Kostavelis, I., Kopsacheilis, C. y Tzovaras, D. Monitoreo en tiempo real basado en visión de procesos de fabricación aditiva por extrusión para la detección automática de errores de fabricación. En t. J. Adv. Fabricante. Tecnología. 115, 3859–3872 (2021).

Artículo de Google Scholar

Holzmond, O. & Li, X. Detección de defectos in situ en tiempo real de piezas impresas en 3D. Añadir. Fabricante. 17, 135-142 (2017).

Google Académico

Fastowicz, J., Grudziński, M., Tecław, M. & Okarma, K. Evaluación objetiva de la calidad de la superficie impresa en 3D basada en la entropía de mapas de profundidad. Entropía 21, 97 (2019).

Artículo ADS CAS PubMed Central Google Scholar

Preissler, M., Zhang, C., Rosenberger, M. & Notni, G. Enfoque para el control de procesos en la fabricación aditiva mediante análisis de capas con información de nube de puntos tridimensional. En 2018 Computación de imágenes digitales: técnicas y aplicaciones (DICTA) 1–6 (IEEE, 2018).

Preissler, M., Zhang, C., Rosenberger, M. y Notni, G. Plataforma para el control de procesos en línea 3D en fabricación aditiva. En Sistemas de medición óptica para inspección industrial X (eds. Lehmann, P., Osten, W. & Albertazzi Gonçalves, A.) (SPIE, 2017).

Nuchitprasitchai, S., Roggemann, M. & Pearce, J. Monitoreo en tiempo real de trescientos sesenta grados de la impresión 3D mediante análisis por computadora de dos vistas de cámara. J. Manuf. Madre. Proceso. 1, 2 (2017).

Google Académico

Nuchitprasitchai, S., Roggemann, M. & Pearce, JM Factores que afectan el monitoreo óptico en tiempo real de la impresión 3D de filamento fundido. Prog. Añadir. Fabricante. 2, 133-149 (2017).

Artículo de Google Scholar

Preissler, M., Zhang, C. y Notni, G. Enfoque para la adquisición de datos tridimensionales ópticos volumétricos internos. J. Física. Conf. Ser. 1065, 032005 (2018).

Artículo de Google Scholar

Liu, C., Law, ACC, Roberson, D. & Kong, Z. (James) Control de calidad de circuito cerrado basado en análisis de imágenes para la fabricación aditiva con fabricación de filamentos fundidos. J. Manuf. Sistema. 51, 75–86 (2019).

Artículo de Google Scholar

Greeff, GP y Schilling, M. Control de deslizamiento en circuito cerrado durante el transporte de filamentos en la extrusión de material fundido. Añadir. Fabricante. 14, 31–38 (2017).

Google Académico

Kutzer, MD, DeVries, LD & Blas, CD Monitoreo de piezas y evaluación de calidad de la fabricación aditiva conforme mediante reconstrucción de imágenes. En el Volumen 5B: 42.a Conferencia sobre Mecanismos y Robótica (Sociedad Estadounidense de Ingenieros Mecánicos, 2018).

He, K., Zhang, X., Ren, S. & Sun, J. Aprendizaje residual profundo para el reconocimiento de imágenes. En 2016, la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR) 770–778 (IEEE, 2016).

Goodfellow, I., Bengio, Y. y Courville, A. Aprendizaje profundo (MIT Press, 2016).

Jin, Z., Zhang, Z. & Gu, GX Corrección autónoma in situ de impresoras de modelado por deposición fundida mediante visión por computadora y aprendizaje profundo. Fabricante. Letón. 22, 11-15 (2019).

Artículo de Google Scholar

Jin, Z., Zhang, Z. & Gu, GX Detección y predicción automatizadas en tiempo real de imperfecciones entre capas en procesos de fabricación aditiva utilizando inteligencia artificial. Adv. Intel. Sistema. 2, 1900130 (2020).

Artículo de Google Scholar

Johnson, MV y cols. Una herramienta de inteligencia artificial generalizable para la identificación y corrección de estructuras autoportantes en procesos de fabricación aditiva. Añadir. Fabricante. 46, 102191 (2021).

Google Académico

Zhang, Z., Fidan, I. y Allen, M. Detección de fallas durante el proceso de extrusión de materiales mediante aprendizaje profundo. Invenciones 5, 25 (2020).

Artículo CAS Google Scholar

Saluja, A., Xie, J. & Fayazbakhsh, K. Un sistema de detección de deformación en proceso de circuito cerrado para la fabricación de filamentos fusionados utilizando redes neuronales convolucionales. J. Manuf. Proceso. 58, 407–415 (2020).

Artículo de Google Scholar

Delli, U. & Chang, S. Monitoreo automatizado de procesos en impresión 3D mediante aprendizaje automático supervisado. Fabricación Procedia. 26, 865–870 (2018).

Artículo de Google Scholar

Gardner, JM y cols. Máquinas como artesanos: optimización de la configuración de parámetros localizados para la impresión 3D de fabricación con filamento fundido. Adv. Madre. Tecnología. 4, 1800653 (2019).

Artículo de Google Scholar

Wang, Y. et al. Un sistema de monitoreo de superficie adaptativo basado en CNN para modelado de deposiciones fundidas. Trans. IEEE/ASME. Mecatrón. 25, 2287–2296 (2020).

Artículo de Google Scholar

Shorten, C. & Khoshgoftaar, TM Una encuesta sobre el aumento de datos de imágenes para el aprendizaje profundo. J. Big Data 6, 60 (2019).

Artículo de Google Scholar

Wang, F. y col. Red de atención residual para clasificación de imágenes. En 2017 Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (CVPR) (IEEE, 2017).

Springenberg, JT, Dosovitskiy, A., Brox, T. y Riedmiller, M. Luchando por la simplicidad: la red totalmente convolucional. En Conferencia Internacional sobre Representaciones del Aprendizaje (pista de talleres) (2015).

Selvaraju, RR et al. Grad-CAM: explicaciones visuales de redes profundas mediante localización basada en gradientes. En 2017 Conferencia Internacional IEEE sobre Visión por Computadora (ICCV) (IEEE, 2017).

Such, M., Ward, C., Hutabarat, W. & Tiwari, A. Disposición compuesta inteligente mediante la aplicación de tecnologías de proyección y seguimiento de bajo costo. Procedia CIRP 25, 122-131 (2014).

Artículo de Google Scholar

Ryu, H. y col. Mesoestructuras 3D transparentes y compatibles para una evaluación precisa de las características mecánicas de los organoides. Adv. Madre. 33, 2100026 (2021).

Artículo CAS Google Scholar

Grasso, M. & Colosimo, BM Defectos de proceso y métodos de monitoreo in situ en la fusión de lechos de polvo metálico: una revisión. Medidas. Ciencia. Tecnología. 28, 044005 (2017).

Artículo ADS CAS Google Scholar

Chen, Y. et al. Cuantificación por rayos X in situ del comportamiento del baño de fusión durante la fabricación aditiva por deposición de energía dirigida de acero inoxidable. Madre. Letón. 286, 129205 (2021).

Artículo CAS Google Scholar

Scime, L. & Beuth, J. Detección y clasificación de anomalías en un proceso de fabricación aditiva de lecho de polvo láser utilizando un algoritmo de visión por computadora entrenado. Añadir. Fabricante. 19, 114-126 (2018).

Google Académico

Silbernagel, C. y col. Resistividad eléctrica del cobre puro procesado mediante fabricación aditiva por fusión de lecho de polvo con láser de potencia media para su uso en aplicaciones electromagnéticas. Añadir. Fabricante. 29, 100831 (2019).

CAS Google Académico

Aroca, RV, Ventura, CEH, de Mello, I. & Pazelli, TFPAT Fabricación aditiva secuencial: manipulación automática de piezas impresas en 3D. Prototipo rápido. J. 23, 653–659 (2017).

Artículo de Google Scholar

Brockmeier, Ø., Westcott, C. & Bøhn, JH Carga y descarga automatizada de sistemas FDM. En Simposio sobre fabricación de formas libres sólidas 679–686 (Universidad de Texas en Austin, Austin, Texas, 1999).

Smith, LN Tasas de aprendizaje cíclico para el entrenamiento de redes neuronales. En la Conferencia de invierno del IEEE de 2017 sobre aplicaciones de visión por computadora (WACV) 464–472 (IEEE, 2017).

Kingma, DP & Ba, J. Adam: Un método de optimización estocástica. En la Tercera Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) (Actas de la Conferencia) (2015).

Loshchilov, I. & Hutter, F. Regularización desacoplada de la caída del peso. En 7ma Conferencia Internacional sobre Representaciones del Aprendizaje (ICLR) (2019).

Descargar referencias

Este trabajo ha sido financiado por el Consejo de Investigación en Ingeniería y Ciencias Físicas, PhD del Reino Unido. Beca EP/N509620/1 para DAJB, premio de la Royal Society RGS/R2/192433 para SWP, premio de la Academia de Ciencias Médicas SBF005/1014 para SWP, premio del Consejo de Investigación de Ingeniería y Ciencias Físicas EP/V062123/1 para SWP y Isaac Newton Trust premio al SWP

Departamento de Ingeniería, Universidad de Cambridge, Trumpington Street, Cambridge, CB2 1PZ, Reino Unido

Douglas AJ Brion y Sebastián W. Pattinson

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

DAJB y SWP concibieron la idea y diseñaron los experimentos. DAJB desarrolló el proceso de recopilación de datos y generó el conjunto de datos. DAJB construyó, entrenó y probó el modelo de aprendizaje profundo. DAJB diseñó el circuito de control y realizó experimentos. DAJB generó las visualizaciones de predicción del modelo. SWP proporcionó supervisión y orientación durante el proyecto. DAJB escribió el borrador original y preparó las figuras. DAJB y SWP contribuyeron a las discusiones sobre el experimento y editaron y revisaron el manuscrito.

Correspondencia a Douglas AJ Brion o Sebastian W. Pattinson.

DAJB es el fundador de Matta Labs Ltd., una empresa en el área de detección de errores de AM. DAJB y SWP son inventores de una patente presentada por Cambridge Enterprise a la Oficina de Propiedad Intelectual del Reino Unido (número de solicitud: 2204072.9) que cubre el contenido de este informe.

Nature Communications agradece a Mohammad Farhan Khan y a los demás revisores anónimos por su contribución a la revisión por pares de este trabajo. Los informes de los revisores pares están disponibles.

Nota del editor Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Brion, DAJ, Pattinson, SW Detección y corrección de errores de impresión 3D generalizables mediante redes neuronales de cabezales múltiples. Nat Comuna 13, 4654 (2022). https://doi.org/10.1038/s41467-022-31985-y

Descargar cita

Recibido: 20 de diciembre de 2021

Aceptado: 08 de julio de 2022

Publicado: 15 de agosto de 2022

DOI: https://doi.org/10.1038/s41467-022-31985-y

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt

Progresos en Fabricación Aditiva (2023)

Revista de fabricación inteligente (2023)

Revista internacional de tecnología de fabricación avanzada (2023)

Al enviar un comentario, acepta cumplir con nuestros Términos y pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.