Adobe quiere causar un gran revuelo con sus nuevas herramientas de aprendizaje automático
Por James Vincent 20 de octubre de 2020. The Verge.
Imagen: Adobe
Una de las opciones de filtro neuronal le permite ajustar la edad de alguien con un simple control deslizante.
La inteligencia artificial está cambiando el mundo de la edición y manipulación de imágenes, y Adobe no quiere quedarse atrás. Hoy, la compañía está lanzando una actualización de Photoshop versión 22.0 que viene con una serie de funciones impulsadas por IA, algunas nuevas, algunas ya compartidas con el público. Estos incluyen una herramienta de reemplazo del cielo, una selección mejorada de bordes de AI y, la estrella del espectáculo, un conjunto de herramientas de edición de imágenes que Adobe llama “filtros neuronales”.
Estos filtros incluyen una serie de superposiciones y efectos simples, pero también herramientas que permiten ediciones más profundas, especialmente en los retratos. Con filtros neuronales, Photoshop puede ajustar la edad y la expresión facial de un sujeto, amplificando o reduciendo sentimientos como “alegría”, “sorpresa” o “ira” con sencillos controles deslizantes. Puedes quitarle las gafas a alguien o suavizar sus manchas. Uno de los filtros más extraños incluso te permite transferir el maquillaje de una persona a otra. Y todo se hace con solo unos pocos clics, con la salida fácilmente modificada o revertida por completo.
“AHORA PODEMOS DECIR QUE PHOTOSHOP ES LA APLICACIÓN DE IA MÁS AVANZADA DEL MUNDO”
“Aquí es donde siento que ahora podemos decir que Photoshop es la aplicación de inteligencia artificial más avanzada del mundo”, dijo a The Verge Maria Yap, vicepresidenta de imágenes digitales de Adobe. “Estamos creando cosas en imágenes que antes no existían”.
https://volume.vox-cdn.com/fcd04fa5-01d4-4029-8c08-b0dda0f7e8ec
Para lograr estos efectos, Adobe está aprovechando el poder de las redes generativas adversarias, o GAN, un tipo de técnica de aprendizaje automático que ha demostrado ser particularmente hábil para generar imágenes visuales. Parte del procesamiento se realiza localmente y parte en la nube, dependiendo de las demandas computacionales de cada herramienta individual, pero cada filtro tarda solo unos segundos en aplicarse. (La demostración que vimos se realizó en un Mac Book Pro antiguo y fue lo suficientemente rápida).
Muchos de estos filtros son familiares para quienes siguen la edición de imágenes con IA. Son el tipo de herramientas que han aparecido en periódicos y demostraciones durante años. Pero siempre es significativo cuando técnicas como estas van desde experimentos de vanguardia, compartidos en Twitter entre los que saben, hasta características de titulares en monstruos del consumidor como Photoshop.
Como siempre ocurre con este tipo de funciones, la prueba estará en la edición, y la utilidad real de los filtros neuronales dependerá de cómo reaccionen los usuarios de Photoshop. Pero en una demostración virtual que vio The Verge, las nuevas herramientas ofrecieron resultados rápidos y de buena calidad (aunque no vimos la herramienta de ajuste de la expresión facial). Estas ediciones impulsadas por inteligencia artificial no fueron perfectas, y la mayoría de los retocadores profesionales querrían intervenir y hacer algunos ajustes por su cuenta después, pero parecía que acelerarían muchas tareas de edición.
Los filtros neuronales se pueden usar para colorear fotos antiguas, una aplicación popular de aprendizaje automático.
Imagen: Adobe
TRATANDO DE VENCER EL SESGO DE LA IA
Las herramientas de IA como esta funcionan aprendiendo de ejemplos pasados. Entonces, para crear el filtro neuronal que se usa para suavizar las imperfecciones de la piel, por ejemplo, Adobe recopiló miles de tomas de antes y después de ediciones realizadas por fotógrafos profesionales, introduciendo estos datos en sus algoritmos. Los GAN operan como un estudiante y un maestro emparejados, con una parte tratando de copiar estos ejemplos mientras que la otra trata de distinguir entre esta salida y los datos de capacitación. Eventualmente, cuando incluso el GAN se confunde al tratar de diferenciar entre los dos, el proceso de capacitación se completa.
“Básicamente, estamos entrenando al GAN para que haga las mismas correcciones que haría un retocador profesional”, dijo a The Verge Alexandru Costin, vicepresidente de ingeniería de Adobe para Creative Cloud.
Suena sencillo, pero hay muchas formas en las que este entrenamiento puede salir mal. Uno de los más importantes son los datos sesgados. Los algoritmos solo conocen el mundo que les muestra, por lo que, si solo les muestra imágenes de, por ejemplo, caras blancas, no podrán realizar ediciones para nadie cuya complexión no se ajuste a este rango estrecho. Este tipo de sesgo es la razón por la que los sistemas de reconocimiento facial a menudo funcionan peor en mujeres y personas de color. Estas caras simplemente no están en los datos de entrenamiento.
Costin dice que Adobe es muy consciente de este problema. Si entrenó sus algoritmos en demasiadas caras blancas, dice, sus filtros neuronales podrían terminar empujando los retratos editados por IA hacia una complexión más blanca (un problema que hemos visto en el pasado con otras aplicaciones de ML).
“UNO DE LOS MAYORES DESAFÍOS QUE TENEMOS ES PRESERVAR EL TONO DE LA PIEL”.
“Uno de los mayores desafíos que tenemos es preservar el tono de la piel”, dice Costin. “Esta es un área muy sensible”. Para ayudar a erradicar este sesgo, Adobe ha creado equipos de revisión y un comité de ética de IA que prueban los algoritmos cada vez que se realiza una actualización importante. “Hacemos una revisión muy exhaustiva de cada función de AA, para analizar este criterio y tratar de subir el listón”.
Los usuarios podrán enviar resultados “inapropiados” a Adobe para mejorar los filtros.
Pero una ventaja clave que tiene Adobe sobre otros equipos que crean herramientas de edición de imágenes de IA es su catálogo de fotografías de archivo, una gran variedad de imágenes que abarcan diferentes edades, razas y géneros. Esto, dice Costin, facilitó a los investigadores de Adobe equilibrar sus conjuntos de datos para tratar de minimizar el sesgo. “Complementamos nuestros datos de entrenamiento con fotos de archivo de Adobe”, dice Costin, “y eso nos permitió tener un conjunto de entrenamiento distribuido lo mejor posible”.
Por supuesto, todo esto no es garantía de que los resultados sesgados no aparezcan en alguna parte, especialmente cuando los filtros neuronales salen de las pruebas beta y pasan a manos del público en general. Por esa razón, cada vez que se aplica un filtro, Photoshop preguntará a los usuarios si están satisfechos con los resultados y, si no lo están, les dará la opción de informar sobre contenido “inapropiado”. Si los usuarios eligen, también pueden enviar sus imágenes de antes y después de forma anónima a Adobe para su posterior estudio. De esa manera, la compañía espera no solo eliminar el sesgo, sino también expandir aún más sus datos de entrenamiento, llevando sus filtros neuronales a mayores niveles de fidelidad.
Seleccionar una nueva fuente de luz es otra aplicación de los filtros neuronales.
Imagen: Adobe
APRENDIZAJE AUTOMÁTICO A GRAN VELOCIDAD
Este tipo de actualización rápida basada en el uso del mundo real es común en el rápido mundo de la investigación de la IA. A menudo, cuando se publica una nueva técnica de aprendizaje automático (generalmente en un sitio llamado arXiv, una colección de acceso abierto de artículos científicos que aún no se han publicado en una revista), otros investigadores la leerán, adoptarán y adaptarán. en cuestión de días, compartiendo resultados y consejos en las redes sociales.
Algunos competidores de Photoshop centrados en la inteligencia artificial se distinguen por adoptar este tipo de cultura. Un programa como Runway ML , por ejemplo, no solo permite a los usuarios entrenar filtros de aprendizaje automático usando sus propios datos (algo que Photoshop no hace), sino que opera un “mercado” generado por el usuario que facilita a las personas compartir y experimentar con las últimas herramientas. Si un diseñador o ilustrador ve algo genial flotando en Twitter, querrá empezar a jugar con él de inmediato en lugar de esperar a que llegue a Photoshop.
ADOBE QUIERE LLEVAR EL RÁPIDO RITMO DE LA INVESTIGACIÓN DE IA A PHOTOSHOP
Como producto ampliamente utilizado entre los clientes que valoran la estabilidad, Adobe no puede competir realmente con este tipo de velocidad, pero con los filtros neuronales, la empresa está metiendo un dedo en estas aguas de rápido movimiento. Si bien dos de los filtros se presentan como funciones terminadas, seis están etiquetadas como herramientas “beta” y ocho más solo se enumeran como nombres, y los usuarios deben solicitar acceso. Puede ver una lista completa de los diferentes filtros y sus respectivos niveles a continuación:
Filtros neuronales destacados: suavizado de piel, transferencia de estilo
Filtros neuronales beta: retrato inteligente, transferencia de maquillaje, neblina consciente de la profundidad, colorear, super zoom, eliminación de artefactos JPEG
Futuros filtros neuronales: restauración de fotografías, polvo y arañazos, reducción de ruido, limpieza facial, fotografía para dibujar, dibujar a retrato, arte a lápiz, cara a caricatura
Yap dice que este tipo de enfoque es nuevo en Photoshop, pero con suerte permitirá que Adobe modere las expectativas de los usuarios sobre las herramientas de IA, dándoles la licencia para actualizar las herramientas más rápidamente. “Hemos construido este marco que nos permite llevar modelos [a los usuarios] más rápido, desde la investigación hasta Photoshop”, dice Yap. “Tradicionalmente, cuando hacemos funciones, como el reemplazo del cielo, están muy integradas en el producto y, por lo tanto, tardan más en madurar”. Con filtros neuronales, ese ciclo de actualización idealmente será mucho más rápido.
“Es este ritmo el que estamos tratando de llevar a Photoshop”, dice Costin. “Y vendrá a costa de que la función no sea perfecta cuando lancemos, pero contamos con nuestra comunidad de usuarios para que nos diga qué tan buena es […] y luego tomaremos esos datos y refinaremos y mejorarlo”.
En otras palabras: el volante del progreso de la IA, en el que más usuarios crean más datos que crean mejores herramientas, está llegando a Photoshop. Ajustar la edad de alguien es solo el comienzo.