El arte a menudo se anuncia como el mayor viaje al pasado, solidificando un momento en el tiempo y el espacio; El hermoso vehículo con el que podemos escapar del presente.

Con la riqueza ilimitada de pinturas, las conexiones entre estas obras de arte de diferentes períodos de tiempo y espacio a menudo se pueden pasar por alto. Es imposible incluso para los críticos de arte más experimentados grabar millones de pinturas durante miles de años y encontrar paralelos inesperados en temas, motivos y estilos visuales.

Para simplificar este proceso, un grupo de investigadores en los MIT Laboratorio de informática e inteligencia artificial. (CSAIL) y Microsoft han desarrollado un algoritmo para descubrir conexiones ocultas entre pinturas en el Museo Metropolitano de Arte (el Met) y el Rijksmuseum de Amsterdam.

Inspirado en una exposición especial «Rembrandt y Velázquez» en el Rijksmuseum, el nuevo sistema «MosAIc» encuentra trabajos emparejados o «analógicos» de diferentes culturas, artistas y medios de comunicación mediante el uso de redes profundas para comprender cómo están cerca «dos» imágenes . En esa exposición, los investigadores se inspiraron en una combinación improbable pero comparable: «El martirio de San Serapion» de Francisco de Zurbarán. y Jan Asselijns «El cisne amenazado», dos obras que representan escenas de altruismo profundo con una extraña similitud visual.

«Estos dos artistas no tuvieron correspondencia ni se conocieron en su vida, pero sus pinturas apuntaban a una estructura rica y latente subyacente en sus dos obras», dijo el candidato al doctorado CSAIL, Mark Hamilton, autor principal de un artículo sobre «Mosaic». »

Para encontrar dos pinturas similares, el equipo utilizó un nuevo algoritmo de búsqueda de imágenes para localizar la mejor coincidencia de un artista o cultura en particular. En respuesta a una pregunta sobre «qué instrumento musical está más cerca de esta pintura de un vestido azul y blanco», el algoritmo recupera una imagen de un violín de porcelana azul y blanco. Estas obras no solo son comparables en diseño y forma, sino que también tienen su origen en un intercambio cultural más amplio de porcelana entre holandeses y chinos.

«Los sistemas de recuperación de imágenes permiten a los usuarios encontrar imágenes semánticamente similares a una imagen de consulta, que forman la columna vertebral de los motores de búsqueda de imágenes inversas y muchos motores para recomendaciones de productos», dijo Hamilton. “Limitar un sistema de recuperación de imágenes a ciertos subconjuntos de imágenes puede proporcionar nuevas ideas sobre las relaciones en el mundo visual. Queremos estimular un nuevo nivel de participación en artefactos creativos. »

Cómo funciona

Para muchos, el arte y la ciencia son incompatibles: uno basado en la lógica, el razonamiento y las verdades comprobadas, y el otro motivado por la emoción, la estética y la belleza. Pero recientemente, la IA y el arte obtuvieron un nuevo coqueteo que se ha convertido en algo más serio en los últimos 10 años.

Por ejemplo, una gran rama de este trabajo se ha centrado anteriormente en generar un nuevo arte utilizando IA. Estaba el GauGAN proyecto desarrollado por investigadores del MIT, NVIDIA y la Universidad de California en Berkeley; Hamilton y otros GenStudio proyecto; e incluso una obra de arte generada por IA que se vendió en Sotheby’s por $ 51,000.

Sin embargo, MosAIc no tiene la intención de crear arte nuevo, sino ayudar a explorar el arte existente. Una herramienta similar, la de Google «X grados de separaciónEncuentra rutas de arte que conectan dos obras de arte, pero MosAIc difiere en que solo requiere una imagen. En lugar de encontrar caminos, descubre conexiones en cualquier cultura o medio que le interese al usuario, como encontrar la forma artística compartida de «Anthropoides paradisea» y «Seth Slaying a Serpent, Temple of Amun at Hibis».

Hamilton señala que construir su algoritmo fue un negocio complicado, ya que querían encontrar imágenes que fueran similares no solo en color o estilo, sino también en significado y tema. En otras palabras, les gustaría que los perros estuvieran cerca de otros perros, personas cercanas a otras personas, etc. Para lograr esto, investigan las «activaciones» internas de una red profunda para cada imagen en las colecciones combinadas de acceso abierto del Met y el Rijksmuseum. La distancia entre las ‘activaciones’ de esta red profunda, comúnmente conocida como ‘características’, fue cómo calificaron la coincidencia de imágenes.

Para encontrar imágenes analógicas entre diferentes culturas, el equipo utilizó una nueva estructura de datos de búsqueda de imágenes llamada ‘árbol KNN condicional’ que agrupa imágenes similares en una estructura similar a un árbol. Para encontrar una buena coincidencia, comienzan en el ‘tronco’ del árbol y siguen la ‘rama’ más prometedora hasta que estén seguros de haber encontrado la imagen más cercana. La estructura de datos mejora con respecto a sus predecesores porque el árbol puede ‘podarse’ rápidamente a una cultura, artista o colección específica, y puede responder rápidamente a nuevos tipos de preguntas.

Lo que sorprendió a Hamilton y sus colegas fue que este enfoque también podría usarse para ayudar a encontrar problemas con las redes profundas existentes relacionadas con la ola de falsificaciones profundas que han surgido recientemente. Han aplicado esta estructura de datos para encontrar áreas en las que los modelos probabilísticos, como las redes de confrontación generativa (GAN) utilizadas a menudo para crear falsificaciones profundas, se desmoronan. Llamaron a estas áreas problemáticas ‘puntos ciegos’ y notaron que nos dan una idea de cómo se puede influir en las GAN. Tales puntos ciegos demuestran que las GAN tienen dificultades para mostrar ciertas áreas de un conjunto de datos, incluso si la mayoría de sus falsificaciones pueden engañar a un humano.

Prueba MosAIc

El equipo evaluó la velocidad de MosAIc y cuán estrechamente coincide con nuestra intuición humana sobre las analogías visuales.

Para las pruebas de velocidad, querían asegurarse de que su estructura de datos ofreciera valor simplemente buscando en la colección con una búsqueda rápida con fuerza bruta.

Para comprender qué tan bien se alineó el sistema con las intuiciones humanas, crearon y lanzaron dos nuevos conjuntos de datos para evaluar los sistemas de recuperación de imágenes condicionales. Un conjunto de datos desafió a los algoritmos para encontrar imágenes con el mismo contenido incluso después de que fueron ‘estilizadas’ utilizando un método de transferencia de estilo neural. El segundo conjunto de datos desafió a los algoritmos para restaurar letras en inglés en diferentes fuentes. Poco menos de las dos terceras partes del tiempo, MosAIc pudo recuperar la imagen correcta de una vez desde un «pajar» de 5.000 imágenes.

«En el futuro, esperamos que este trabajo inspire a otros a reflexionar sobre cómo las herramientas de recuperación de información pueden ayudar a otras áreas como las artes, las humanidades, las ciencias sociales y la medicina», dijo Hamilton. “Estos campos son ricos en información que nunca se ha procesado con estas técnicas y pueden ser una fuente de gran inspiración tanto para los especialistas de TI como para los expertos en dominios. Este trabajo se puede ampliar en términos de nuevos conjuntos de datos, nuevos tipos de búsquedas y nuevas formas de entender las conexiones entre los trabajos. »

Hamilton coescribió el documento sobre MosAIc con el profesor Bill Freeman y los estudiantes del MIT Stefanie Fu y Mindren Lu. El sitio web de MosAIc fue construido por MIT, Fu, Lu, Zhenbang Chen, Felix Tran, Darius Bopp, Margaret Wang, Marina Rogers y Johnny Bui, durante el programa de exterminio de invierno de Microsoft Garage.



Source link