DALL·E 2 — первые эксперименты и возможности нейросети

Еще в прошлом году я в свое время подавался в лист ожидания для того чтобы опробовать нейросеть GPT3 для генерации текстов, и спустя достаточно длительное ожидание она попала ко мне в руки, и даже в рабочем проекте мы с ней поэкспериментировали.

И когда Open AI открыли возможность получить доступ к их новой нейросети DALL·E 2 я конечно же воспользовался возможностью и вот на прошлой неделе и она попала мне в руки.

Введение — а что это за DALL·E 2 такая?

Немного про саму нейросеть DALL·E 2 — она создана для генерации изображений на основе пользовательского описания.

https://openai.com/dall-e-2/ — на сайте проекта достаточно подробно и с примерами показывается что эта штука уже может, но я добавлю пару примеров в статью, чтобы у вас как у читателя сразу был некоторый контекст.

Астронавт отдыхающий в тропическом отеле в космосе в фотореалистичном стиле

Тарелка супа которая является порталом в другое измерение как «digital art» («цифровое искусство»)

Астронавт верхом на лошади как карандашный рисунок

Также кроме создания изображений с нуля, данная нейросеть способна модифицировать изображения дорисовывая что-то на них, так и создавать варианты исходного изображения.

Пример создания вариантов из исходного изображения

Пример модификации изображения — нейросеть попросили дорисовать диван

Итак, после того как все мы поняли что же эта штука умеет, настало время проверить это на практике.

Тесты нейросети

Начнем с генерации изображений по запросам

Unreal engine 5 space station background inspired with space games and films
(unreal engine 5 фоновая космическая станция вдохновлённая космическими играми и фильмами)

Этот вариант генерации вышел несколько абстрактным, но в целом неплохо

DALL·E 2 — первые эксперименты и возможности нейросети, изображение №6 — **Viewst team (developers, designers, managers and so on) making coding and sales of they wysiwyg software what helps create animated banners in Leonardo da Vinci styles**
Как видно получается неплохо, задумка похожа на стоковые фотографии о командах которые делают свои дизайнерско\разработческие и прочие дела, но вот качество лиц конечно подкачало на «фотореалистичных вариантах»

Теперь перейдем к другим стилям

**Realistic oil painting of Doggy in medieval armor with viewst chameleon logo on shield fighting with dragon of low sales**
(Реалистичная масляная живопись изображающую Догги в средневековой броне с Viewst логотипом хамелеоном на щите сражающейся с драконом низких цен)
А вот это уже весьма круто выглядит и более чем соответствует запросу — не считая отсутствия дракона низких цен 🙂

**Photo of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance**
(Фото косплееров с костюмами по играм, фильмам и аниме перед тем как они выйдут на сцену показать свою работу и выступление)
Опять мы видим проблему с лицами людей (и любовь по всей видимости к аниме у нейросети 🙂 )

А теперь попробуем поменять стиль для такого запроса
**Digital art of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance**

И для картинки с девушкой с фиолетовыми волосами я решил посмотреть как сработает функция создания вариантов — и получилось более чем достойно

**Pixel art of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance**
И пиксель арт получается достаточно интересный

А теперь пришло время пейзажей. Как вариант я решил посмотреть что же может сделать нейросеть касательно моего родного города Рыбинска, и насколько это будет похоже на открыточные виды.

**An impressionist watercolor painting of Rybinsk with view from water on bridge, museum and church at summer time**
Этим результатом я был очень впечатлен, так как на многих фотографиях обычно как раз фигурирует собор, здание музея с красной крышей и мостом через волгу

И для примера фотография

Затем для того же запроса я попросил сделать еще вариантов, и вот что получилось

А затем я решил посмотреть на варианты пейзажей с осенью вместо лета и сменить стиль с акварели на масло
**An impressionist oil painting painting of Rybinsk with view from water on bridge, museum and church at autumn time**

Затем я решил попробовать режим работы с созданием вариантов по готовому изображению.
Я взял картинку медведя-пивовара из моего туристического пэт-проекта, и запросил нейросеть создать другие варианты эскиза. И получилось на удивление не плохо

Затем я опробовал вариант дорисовки\перерисовки изображения — взял картинку медведя, и запросил **Bear in engineering helmet and blueprints in hands** и разметив область головы и рук (вместо секиры)

Далее я решил посмотреть, что будет если разметить все изображение как возможное место для перерисовки с запросом **Bear in watercolor type with Rybinsk museum background**

И еще раз попробовал варианты, в этот раз вышло более коряво для медведя с секирой

Продолжим пробы с вариантами — тут я использовал свою фотографию с фестиваля в косплее на Иванушку из Морозко

Еще варианты косплейной фотографии, на этот раз с моим Айзеком из Dead Space 2

И еще немного перерисовки фотографии с запросом **Phot if Russian summer forest** *(да, я опечатался)*

А теперь продолжим с безумными запросами, часть из которых мне подсказали)
**Wrestler in ball gown** *(рестлер в бальном платье)*

**Wrestler in ball gown from renesanse time in style of Yan van Eyk**

**DND dwarf monk character who likes cats and use as iron apples to fight for balance in a world** (ДНД персонаж гном монах который любит котов и использует железные яблоки для того чтобы бороться за баланс в мире)

**DND dwarf monk character who likes cats and use as iron apples to fight for balance in a world in unreal engine 5 style**
И вот что будет если мы чуток поменяем запрос и попросим стиль Unreal Engine 5

**Warhammer elf mage character riding a white Chinese dragon in unreal engine 5 style** *(Warhammer персонаж маг-эльф верхом на белом китайском драконе в стиле Unreal Engine 5)*
Продолжим фэнтези тематику

**Warhammer elf mage character riding a white Chinese dragon** *(Warhammer персонаж маг-эльф верхом на белом китайском драконе)*

**“Warhammer elf mage character riding a white Chinese dragon” by Yan van Eyk**

**Проба работы с вариантами логотипа**

**Medieval cockatiel tapestry**
И еще один подсказанный запрос который вышел просто потрясающе

**Cockatiel in medieval marginalia**
Продолжаем тему

**Medieval cockatiel tapestry as wallpapers in modern house**
И вариант с попугаями выше в виде обоев

**Красивый лес в стиле Шишкина с гигантскими мухоморами и охотниками за шишками**
А теперь проверим как нейронка «понимает» другие языки, в частности русский — как мы видим в целом про лес и шишки и мухоморы понято, но уже не так хорошо.

**Photorealistic 3d render of donut with blue glaze and small yellow hearts and pearls on glaze in purple room**
Продолжим с вариантами генерации изображений. Данный запрос я составил, чтобы посмотреть получится ли что-то похожее на работу в 3d от @Troxx_cosplay

И вот что получилось

**Oil painting of landscape with road going through field surrounded by forest. Road goes to giant grey concrete building, with few small windows on top. All landscape is foggy**
Продолжаем тему пейзажей

**Еще немного работы с вариантами картинки**

**Young woman not tall with short blue hair and many earrings with feathers and stones in light jacket, brown shirts, high socks and army shoes in watercolor style**

**Кокадутиэль**
И тут отлично выглядящие пейзажи

**“Front end and backend developers arguing to create ultimate developer”by Leonardo da Vinci**

**Front end and backend developers arguing to create ultimate developer in medival style**

**Disco elisium detective fighting his destiny in medival style**

Что же можно сказать по итогу (после того как я потратил все доступные бесплатные лимиты).
Это уже очень интересный инструмент для тех же идей с референсами для художников, иногда (особенно с пейзажами) чуть ли не готовый инструмент чтобы сделать картину и повесить ее на стену, штука чтобы сделать себе иллюстрации для твоей статьи (как это к примеру часто сейчас делает Denis Sexy IT) а иногда генератор очень странных лиц и ситуаций.
Так что нас ждет очень интересное будущее 🙂

DALL·E 2 — первые эксперименты и возможности нейросети, изображение №11 — **Viewst team (developers, designers, managers and so on) making coding and sales of they wysiwyg software what helps create animated banners in Leonardo da Vinci styles**
Как видно получается неплохо, задумка похожа на стоковые фотографии о командах которые делают свои дизайнерско\разработческие и прочие дела, но вот качество лиц конечно подкачало на «фотореалистичных вариантах»

Теперь перейдем к другим стилям

**Realistic oil painting of Doggy in medieval armor with viewst chameleon logo on shield fighting with dragon of low sales**
(Реалистичная масляная живопись изображающую Догги в средневековой броне с Viewst логотипом хамелеоном на щите сражающейся с драконом низких цен)
А вот это уже весьма круто выглядит и более чем соответствует запросу — не считая отсутствия дракона низких цен 🙂

**Photo of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance**
(Фото косплееров с костюмами по играм, фильмам и аниме перед тем как они выйдут на сцену показать свою работу и выступление)
Опять мы видим проблему с лицами людей (и любовь по всей видимости к аниме у нейросети 🙂 )

А теперь попробуем поменять стиль для такого запроса
**Digital art of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance**

И для картинки с девушкой с фиолетовыми волосами я решил посмотреть как сработает функция создания вариантов — и получилось более чем достойно

**Pixel art of cosplayers with costumes from games, films, anime before they go on stage to show whey work and performance**
И пиксель арт получается достаточно интересный

А теперь пришло время пейзажей. Как вариант я решил посмотреть что же может сделать нейросеть касательно моего родного города Рыбинска, и насколько это будет похоже на открыточные виды.

**An impressionist watercolor painting of Rybinsk with view from water on bridge, museum and church at summer time**
Этим результатом я был очень впечатлен, так как на многих фотографиях обычно как раз фигурирует собор, здание музея с красной крышей и мостом через волгу

И для примера фотография

Затем для того же запроса я попросил сделать еще вариантов, и вот что получилось

А затем я решил посмотреть на варианты пейзажей с осенью вместо лета и сменить стиль с акварели на масло
**An impressionist oil painting painting of Rybinsk with view from water on bridge, museum and church at autumn time**

Затем я решил попробовать режим работы с созданием вариантов по готовому изображению.
Я взял картинку медведя-пивовара из моего туристического пэт-проекта, и запросил нейросеть создать другие варианты эскиза. И получилось на удивление не плохо

Затем я опробовал вариант дорисовки\перерисовки изображения — взял картинку медведя, и запросил **Bear in engineering helmet and blueprints in hands** и разметив область головы и рук (вместо секиры)

Далее я решил посмотреть, что будет если разметить все изображение как возможное место для перерисовки с запросом **Bear in watercolor type with Rybinsk museum background**

И еще раз попробовал варианты, в этот раз вышло более коряво для медведя с секирой

Продолжим пробы с вариантами — тут я использовал свою фотографию с фестиваля в косплее на Иванушку из Морозко

Еще варианты косплейной фотографии, на этот раз с моим Айзеком из Dead Space 2

И еще немного перерисовки фотографии с запросом **Phot if Russian summer forest** *(да, я опечатался)*

А теперь продолжим с безумными запросами, часть из которых мне подсказали)
**Wrestler in ball gown** *(рестлер в бальном платье)*

**Wrestler in ball gown from renesanse time in style of Yan van Eyk**

**DND dwarf monk character who likes cats and use as iron apples to fight for balance in a world** (ДНД персонаж гном монах который любит котов и использует железные яблоки для того чтобы бороться за баланс в мире)

**DND dwarf monk character who likes cats and use as iron apples to fight for balance in a world in unreal engine 5 style**
И вот что будет если мы чуток поменяем запрос и попросим стиль Unreal Engine 5

**Warhammer elf mage character riding a white Chinese dragon in unreal engine 5 style** *(Warhammer персонаж маг-эльф верхом на белом китайском драконе в стиле Unreal Engine 5)*
Продолжим фэнтези тематику

**Warhammer elf mage character riding a white Chinese dragon** *(Warhammer персонаж маг-эльф верхом на белом китайском драконе)*

**“Warhammer elf mage character riding a white Chinese dragon” by Yan van Eyk**

**Проба работы с вариантами логотипа**

**Medieval cockatiel tapestry**
И еще один подсказанный запрос который вышел просто потрясающе

**Cockatiel in medieval marginalia**
Продолжаем тему

**Medieval cockatiel tapestry as wallpapers in modern house**
И вариант с попугаями выше в виде обоев

**Красивый лес в стиле Шишкина с гигантскими мухоморами и охотниками за шишками**
А теперь проверим как нейронка «понимает» другие языки, в частности русский — как мы видим в целом про лес и шишки и мухоморы понято, но уже не так хорошо.

**Photorealistic 3d render of donut with blue glaze and small yellow hearts and pearls on glaze in purple room**
Продолжим с вариантами генерации изображений. Данный запрос я составил, чтобы посмотреть получится ли что-то похожее на работу в 3d от @Troxx_cosplay

И вот что получилось

**Oil painting of landscape with road going through field surrounded by forest. Road goes to giant grey concrete building, with few small windows on top. All landscape is foggy**
Продолжаем тему пейзажей

**Еще немного работы с вариантами картинки**

**Young woman not tall with short blue hair and many earrings with feathers and stones in light jacket, brown shirts, high socks and army shoes in watercolor style**

**Кокадутиэль**
И тут отлично выглядящие пейзажи

**“Front end and backend developers arguing to create ultimate developer”by Leonardo da Vinci**

**Front end and backend developers arguing to create ultimate developer in medival style**

**Disco elisium detective fighting his destiny in medival style**

Что же можно сказать по итогу (после того как я потратил все доступные бесплатные лимиты).
Это уже очень интересный инструмент для тех же идей с референсами для художников, иногда (особенно с пейзажами) чуть ли не готовый инструмент чтобы сделать картину и повесить ее на стену, штука чтобы сделать себе иллюстрации для твоей статьи (как это к примеру часто сейчас делает Denis Sexy IT) а иногда генератор очень странных лиц и ситуаций.
Так что нас ждет очень интересное будущее 🙂