В первой части этой статьи я исследовал более широкие концепции генеративного искусства и, в частности, искусства машинного обучения. Обязательно прочитайте его, если хотите получить полный контекст моделей машинного обучения GAN. Здесь, во второй части, я опишу свой процесс работы художником по машинному обучению.

T3RRA — это модель StyleGAN2-ADA, созданная путем смешивания сетей. Это сочетание модели, обученной текстурам, с моделью, обученной абстрактному и сюрреалистическому искусству.

Чтобы начать процесс, мне нужно было выбрать и подготовить наборы данных. Для модели текстур я использовал изображения из Flickr Materlia Database и Describable Textures Dataset. Из этих 6000+ изображений я отбросил многие, которые были либо низкого качества, либо не соответствовали стилю текстуры, которую я хотел, например, пластиковые, клетчатые и спиральные узоры. Я пропустил оставшиеся изображения через модель повышения разрешения машинного обучения, чтобы получить разрешение 1024x1024 пикселей, которое я использую для последовательного обучения. Для художественной модели я выбрал абстрактные и сюрреалистические изображения из набора данных WikiArt и прогнал их через аналогичный процесс улучшения.

Собрав эти наборы данных, я начал тренироваться и экспериментировать. Каждая тренировка длилась несколько дней. По мере прохождения обучения алгоритм выдает снимки, чтобы проверить результаты обучения. Эти снимки представляют собой случайную выборку из двадцати восьми изображений. В зависимости от того, как получились образцы изображений, я могу изменить тренировочную сессию. Иногда я возвращался и изменял наборы данных.

Иногда я менял параметры тренировки, например, настройки аугментации. Эти параметры расширения — то, что отличает StyleGAN2-ADA от других алгоритмов GAN. Они берут исходный набор данных и применяют фильтры, вращение или изменение размера, чтобы предоставить модели еще более богатые источники данных для обучения. Используя сетевое смешивание, я также экспериментировал с различными комбинациями различных художественных и текстурных моделей, которые я сделал. В общей сложности я потратил более 1000 часов на обучение этих экспериментальных моделей. Когда у меня было несколько готовых моделей, которые мне понравились, я начал генерировать несколько сотен изображений для каждой модели, чтобы лучше понять, что будет производить каждая модель. В конце концов остановился на окончательной модели, которую назвал T3RRA.

В общей сложности я потратил более 1000 часов на обучение этих экспериментальных моделей.

Чтобы получить лучшие предметы для коллекции, которые представляли бы модель T3RRA, я разработал многоэтапный процесс создания и отбора. Я начал с создания 777 случайных изображений из семян. Семена — это целые числа, которые инициализируют векторы или параметры модели. Для большинства моделей StyleGan2 это 512-мерный массив чисел, определяющий, какое изображение будет сгенерировано. Эти векторы по существу рандомизированы, но использование определенного начального числа всегда будет получать одни и те же рандомизированные векторы. Исходный номер всегда будет генерировать одно и то же изображение, но нет возможности сопоставить исходный номер с какой-либо категорией или типом изображения в модели.

Выбрав около пятидесяти изображений из этой партии, которые мне понравились, я создал собственные сценарии кода и графические интерфейсы для определения и изменения так называемых векторов признаков оставшихся семян. Векторы признаков подобны направлениям в модельном ландшафте, которые алгоритм определил как значимые. О значении этих направлений иногда трудно сказать, особенно если речь идет об абстрактном искусстве. Кроме того, они почти всегда переплетаются, а это означает, что при изменении одного аспекта изображения другой аспект всегда будет меняться вместе с ним. Таким образом, даже когда эти векторы признаков созданы, человеку необходимо определить, какие из них действительно полезны. Для этого я распечатал представления первых 100 векторов признаков изображения, над которым я работал, и выбрал векторы признаков, которые лично мне показались наиболее важными. Чтобы сделать эти представления, я создал два изображения вдоль пути вектора признаков как в положительном, так и в отрицательном направлении с оригиналом посередине, чтобы лучше понять, что изменилось.

Используя комбинации этих векторов признаков, я смог манипулировать и изменять исходные изображения, основанные на начальных значениях, получая некоторый контроль и направление над изображениями. Со всеми запутанностями и случайными комбинациями векторов признаков это был скорее процесс экспериментов и споров, чем детальный контроль и тонкая настройка. Поэкспериментировав таким образом с первоначальной партией изображений и получив больше изображений, я снова сократил их до тех, которые мне больше всего понравились. Здесь я пришел к окончательным изображениям, которые представляли бы всю модель и ставили под угрозу всю коллекцию.

Оттуда я взял изображения 1024x1024 и пропустил их через модель повышения разрешения, чтобы получить более четкие и подробные изображения с разрешением 4096x4096 пикселей. Последний шаг — поместить их в After Effects для постобработки. Это отличается для каждого изображения, но, вообще говоря, я настраиваю цвет, балансирую контраст и добавляю немного света и дополнительное текстурирование, когда это требуется.

Это был долгий и впечатляющий путь для меня. Это показало мне возможности использования ядра модели машинного обучения, а не только полученных результатов. Поскольку я просто подготовил почву для моделей, у меня также было чувство открытия каждый раз, когда я проходил через то, что было создано моделями. Даже при настройке векторов признаков я иногда приходил к совершенно неожиданным результатам. У меня было приключение на неизведанной территории с искусством, и я вышел с другой стороны с чем-то ценным.

Подпишитесь на меня в Твиттере и присоединяйтесь к моему дискорду, чтобы быть в курсе последних подробностей аукциона коллекции T3RRA.