Раскрасить фото нейросетью: как вернуть цвет старому снимку

Нейросеть не знает, какого цвета было платье вашей прабабушки. Она видит только оттенки серого и подбирает цвет, который чаще всего встречался в похожих местах на цветных фотографиях из обучения. Поэтому раскрасить фото нейросетью можно за минуту, а вот получить честный цвет без вашей помощи удаётся далеко не всегда.

Хорошая новость: модели можно подсказывать. Плохая: часть ошибок заложена ещё в самой плёнке, и о них мало кто знает. Разница между аккуратной раскраской и открыткой складывается из трёх вещей: понимания механики, выбора инструмента и подсказок, которые вы даёте модели.

Как нейросеть решает, каким был цвет

Модели для раскраски учат на парах: цветная фотография и её чёрно-белая версия. В одной из известных исследовательских работ о раскраске модель обучали на миллионе с лишним цветных изображений. Так она запоминает связи: небо обычно голубое, трава зелёная, кожа лежит в определённом диапазоне оттенков.

Авторы той же работы прямо называют задачу недоопределённой: у одного серого пикселя может быть много правильных цветов. Поэтому цель модели не истинный, а правдоподобный цвет. С небом и травой это работает. С одеждой, машинами, обоями и флагами модель гадает.

Отсюда практический вывод. Чем больше на снимке неба, воды и зелени, тем убедительнее результат. Чем больше рукотворных вещей, цвет которых мог быть любым, тем больше работы остаётся вам.

Автор открытой модели DeOldify разбирал показательный пример. Его раскраска снимка со строительства моста Золотые Ворота выглядела эффектно, и по исходнику казалось, что башни белые. Он проверил историю: к тому времени башни уже покрыли красной грунтовкой. Его вывод простой: историческая точность остаётся огромной проблемой.

Почему старые снимки сбивают модель с толку

Одна из ошибок сидит в самой плёнке. Многие ранние фотоматериалы были ортохроматическими: они чувствовали синий и зелёный свет, но не красный. На таких снимках синие предметы выглядят светлее, а красные темнее, чем были в жизни.

Модель же училась на цветных фотографиях, переведённых в серое. Для неё тёмное пятно означает тёмный предмет, а не красный. Поэтому красные губы, ленты и ткани на старых снимках она легко делает слишком тёмными, а синее слишком бледным. Чем старше снимок, тем выше шанс, что он снят на такой материал.

Вторая ловушка: тонирование и выцветание. Сепия, пожелтевшая бумага, пятна. Если отдать такой снимок модели как есть, она раскрасит и желтизну. Перед раскраской переведите скан в нейтральный серый, выровняйте контраст и уберите повреждения.

Чем раскрасить фото нейросетью

Инструменты отличаются главным: насколько вы управляете цветом.

Для семейного альбома часто хватает автоматического варианта. Для публикации, выставки или клиента берите инструменты, где цвет можно поправить. Универсальные модели заметно различаются тем, как держат лица и композицию при правке, и это хорошо видно в сравнении зарубежных генераторов изображений.

Как подсказать нейросети правильные цвета

Лучший способ улучшить раскраску: дать модели факты, которых нет на снимке.

1. Соберите сведения. Что помнят родственники, что написано на обороте, где и в какое время года сделан кадр. Цвета формы, наград и знаков различия сверяйте по музейным источникам и справочникам.
2. Описывайте цвета предметно. Не «сделай красиво», а «платье тёмно-синее, волосы русые, скатерть белая, стены зелёные». Как строить такие запросы, подробно показано в разборе промптов для нейросетей.
3. Покажите образец. Если сохранилась цветная вещь со снимка, цветная фотография того же места или открытка той эпохи, загрузите её вместе со снимком. Palette, например, поддерживает раскраску по референсному изображению.
4. Запрещайте лишнее. Попросите не менять лица, позы и композицию. Универсальные модели иногда перерисовывают снимок целиком, и это стоит пресечь прямо в запросе.
5. Работайте частями. Если модель упорно красит пиджак в коричневый, исправьте один объект отдельным запросом или вручную, а не перезапускайте всё заново.
6. Доводите вручную. В редакторе новый слой в режиме наложения «Цветность» перекрашивает область и сохраняет светотень оригинала.

Где раскраска ошибается чаще всего

• Одинаковая кожа. У всех людей на снимке один ровный оттенок, без румянца и загара.
• Блёклая одежда. Когда модель сомневается, она часто выбирает приглушённые оттенки, и яркий наряд превращается в унылый.
• Форма и награды. Цвета мундиров, петлиц и орденских лент модель придумывает. Для исторических снимков это самая болезненная ошибка.
• Затекание цвета. Цвет выходит за границы предмета: рука зеленеет от травы, лицо синеет от неба.
• Глаза. Цвет радужки по чёрно-белому снимку не определить. Если вы его не знаете, оставьте нейтральным.
• Машины, вывески, флаги. Цвет рукотворных вещей по серому кадру часто не угадать. Автор DeOldify заметил, что разные версии его моделей раскрашивают одежду и машины почти одинаково, словно улавливают скрытые подсказки в изображении. Но одинаковый ответ ещё не значит верный, и пример с башнями моста это хорошо показывает.

Проверяйте результат в полном масштабе, а если собираетесь печатать, то и на бумаге: на экране телефона ошибки прячутся. Покажите снимок тем, кто помнит людей и место. Одно замечание вроде «у деда волосы были рыжие» стоит больше десятка перезапусков.

И главное правило: раскрашенный снимок это интерпретация, а не документ. Храните оригинал рядом и подписывайте, что цвет добавлен нейросетью, особенно если публикуете кадр или передаёте его в музей.

Можно ли раскрасить фото бесплатно

Можно, но у каждого бесплатного варианта своя цена.

• Открытые модели. DeOldify распространяется под свободной лицензией MIT и запускается на своём компьютере. Платите вы временем на установку и настройку, зато снимки никуда не уходят.
• Онлайн-сервисы. Бесплатный режим обычно урезан: превью в низком разрешении, водяной знак или несколько пробных снимков. Полное качество продаётся по подписке или пакетами.
• Универсальные нейросети. Лимиты бесплатных тарифов меняются часто, поэтому проверяйте их на странице сервиса, прежде чем планировать обработку целого архива.

Для одного-двух семейных снимков бесплатного режима хватит. Для архива из сотен фотографий выгоднее один раз настроить обработку, чем платить за каждый кадр и вручную скачивать результаты.

Где раскраска работает на бизнес

Раскрашенные архивные снимки уместны там, где бизнесу нужна история: юбилей компании, музейная экспозиция, семейные заказы в фотостудии, серия постов о городе или бренде. Цвет делает прошлое ближе, но требует дисциплины: каждый кадр сверяется с фактами и подписывается. Для фотостудии это понятное продолжение реставрации: клиент приносит семейный снимок и получает две версии, восстановленную чёрно-белую и цветную.

Раскрашивают не только фотографии, но и старую кинохронику. DeOldify, например, умеет работать с видео, и его автор отдельно добивался того, чтобы цвет не мерцал от кадра к кадру.

Есть и другой путь к движению: нейросети для генерации видео собирают движущийся кадр из одной картинки, и раскрашенный портрет становится коротким роликом. Осторожность здесь та же: движение, как и цвет, придумано моделью.

С чего начать

1. Отсканируйте снимок в хорошем разрешении, уберите повреждения и переведите скан в нейтральный серый.
2. Прогоните его через автоматический сервис и через модель, которой можно описать цвета словами. Сравните результаты рядом: кожу, одежду, фон, границы предметов.
3. Для важного снимка соберите факты о цветах и доведите спорные места вручную.
4. Сохраните оригинал и раскрашенную версию вместе, с пометкой, что цвет восстановлен нейросетью.

Раскраска целого архива или серия публикаций и роликов на его основе это уже работа для конвейера. Если не хочется собирать его самому, такие задачи решает контент-завод под ключ.