Реставрация фото нейросетью: как спасти старый снимок

Трещина через всё лицо, жёлтое пятно от воды, оторванный уголок. Реставрация фото нейросетью закрывает такие дефекты за минуту, хотя ретушёр потратил бы на них вечер. Но у скорости есть цена: там, где на снимке не осталось деталей, модель их не восстанавливает, а придумывает.

Поэтому качество определяет не название сервиса, а порядок действий. Разница между бережной реставрацией и красивой подделкой закладывается ещё до нейросети: в скане, выборе инструмента и умении вовремя остановиться.

Что умеет реставрация фото нейросетью

Под словом «реставрация» сервисы прячут несколько разных операций. Их стоит различать, потому что каждая ошибается по-своему.

• Удаление повреждений. Царапины, трещины, пятна, следы от скрепок. Модель находит дефект и заполняет его тем, что логично продолжает окружение.
• Восстановление лиц. Отдельные модели обучены именно на лицах. Они возвращают резкость глазам, губам и волосам, опираясь на знание о том, как обычно выглядит человеческое лицо.
• Увеличение разрешения. Апскейл дорисовывает пиксели, чтобы маленький снимок можно было напечатать крупнее.
• Шумоподавление и резкость. Убирают зерно и мутность, а заодно иногда и фактуру бумаги, ткани, кожи.
• Раскраска. Отдельная задача со своими правилами: цвет модель угадывает, а не извлекает из снимка.

Принцип у всех операций общий. Нейросеть не знает, что было на фотографии. Она предсказывает самый правдоподобный вариант по тому, что видела при обучении. Если повреждение мелкое, догадка почти всегда совпадает с правдой. Если от лица осталось размытое пятно, догадка превращается в портрет другого человека.

Скан решает половину результата

Нейросеть работает с тем, что получила. Размытый снимок с бликом она превратит в чёткую, но выдуманную картинку. Поэтому первый шаг делается сканером, а не кнопкой «улучшить».

• Подготовка отпечатка. Протрите стекло сканера, снимите скрепки, скобы и остатки скотча, если это можно сделать без вреда для бумаги. Мыть, гладить и заклеивать надрывы не нужно: попытка подлечить бумагу может навредить сильнее, чем сама царапина.
• Разрешение. Библиотека Конгресса США в памятке по личным архивам советует сканировать обычные отпечатки с разрешением 300 dpi, а если снимок планируют увеличивать, 400 или 600 dpi. Для маленьких и сильно повреждённых фотографий берите с запасом: лишние пиксели обходятся дешевле дорисованных.
• Цветной режим. Даже чёрно-белый снимок сканируйте в цвете. Пожелтение, пятна и следы клея отличаются по оттенку, и программе проще отделить их от изображения.
• Файл без потерь. Сохраните мастер-копию в TIFF или PNG и больше её не трогайте. Все эксперименты делайте на дубликатах.
• Две копии в разных местах. Та же памятка советует держать минимум две копии коллекции и хранить их отдельно друг от друга. Для семейного архива это страховка на случай, если оригинал не переживёт очередной переезд.

Если сканера нет, подойдёт телефон. Снимайте без вспышки, при рассеянном дневном свете и строго параллельно отпечатку, иначе появятся искажения перспективы. С бликами на глянцевой бумаге справляется приложение PhotoScan от Google: оно делает несколько кадров и склеивает их так, чтобы отражение исчезло.

Какие инструменты выбрать

Инструменты делятся на четыре группы. Отличаются они не столько качеством, сколько степенью контроля: чем проще кнопка, тем меньше решений остаётся за вами.

Универсальные модели заметно различаются тем, насколько точно держат лицо и композицию при правке. Это хорошо видно в сравнении зарубежных нейросетей для картинок. Для реставрации выбирайте ту, что меньше всего «улучшает» то, о чём её не просили.

Перед тем как загружать семейный архив в онлайн-сервис, прочитайте, как он хранит и использует снимки. Если это принципиально, работайте с открытыми моделями на своём компьютере.

Порядок работы без потери сходства

1. Скан и мастер-копия. Всё дальнейшее делается на дубликате.
2. Кадрирование и выравнивание. Уберите поля сканера и выровняйте горизонт до обработки.
3. Повреждения. Сначала царапины и пятна. Если начать с резкости, дефекты станут чётче и въедятся в изображение.
4. Лица. Берите минимальную силу эффекта, которая даёт результат. В CodeFormer для этого есть параметр точности: чем он выше, тем ближе лицо к исходнику, чем ниже, тем чище картинка и тем дальше она может уйти от оригинала.
5. Цвет. Раскраска, если она нужна, идёт только после чистки. Иначе вместе со снимком нейросеть раскрасит и дефекты.
6. Увеличение. Последним шагом, когда изображение уже чистое.
7. Сверка. Откройте оригинал и результат рядом в полном масштабе. Смотрите на глаза, зубы, уши, линию волос. Если человек стал похож на кого-то другого, откатитесь на шаг назад.

Частая ошибка: прогонять снимок через улучшение несколько раз подряд. Каждый проход добавляет гладкости и дорисованных деталей. После третьего круга на экране уже не бабушка, а её усреднённый портрет.

Где нейросеть ошибается чаще всего

• Чужие лица. Когда лицо занимает на снимке несколько десятков пикселей, модель рисует его почти с нуля. Получается симпатичный незнакомец.
• Глаза, зубы, очки. Детали, которые модель легко «исправляет» под типовой вариант.
• Надписи и награды. Буквы на вывесках, номера, ордена и знаки различия превращаются в правдоподобную кашу. Такие места лучше оставить как есть или восстанавливать вручную по справочникам.
• Возраст и мимика. Сглаженные морщины молодят человека на снимке, а поправленные уголки губ меняют выражение лица.
• Фактура. Кожа становится пластиковой, ткань теряет плетение, а вместе с зерном плёнки уходит атмосфера снимка.
• Задний план. На групповых фото дальние лица совсем мелкие, и модель дорисовывает их почти целиком.

Отсюда правило: отреставрированная копия это иллюстрация, а не документ. Для генеалогии, архива или экспертизы храните исходный скан рядом и подписывайте, что снимок обработан нейросетью. Граница между реставрацией и подделкой тоньше, чем кажется, и разбор того, как отличить реальные фото от дипфейков, показывает, насколько легко обмануться.

Реставрация для бизнеса

Для частного человека реставрация это один дорогой сердцу снимок. Для бизнеса это поток, и задачи там другие.

• Фотостудии и ретушёры. Нейросеть делает черновую чистку, человек доводит лица и детали. Время мастера уходит на то, что требует его глаза.
• Музеи, архивы, библиотеки. Оцифровка фондов, подготовка снимков к выставкам и публикациям. Здесь нужна прозрачность: что исправлено, а что осталось как было.
• Компании с историей. Архивные кадры для юбилея, раздела «О компании», корпоративной книги. Живые снимки основателей и первых цехов отличают бренд от стоковых картинок.
• Контент. Посты, подборки, короткие ролики. Отреставрированный портрет можно оживить: нейросети для генерации видео умеют собирать движущийся кадр из одной картинки.

В потоке решает не отдельный сервис, а связка: оцифровка, обработка, проверка человеком, выпуск. Без проверки даже хорошая модель рано или поздно подложит чужое лицо в семейный альбом клиента. И ещё одно правило для студий: чужие семейные снимки чувствительны. Заранее договоритесь с клиентом, в каких сервисах их будут обрабатывать и когда удалят рабочие копии.

С чего начать

1. Выберите три-пять снимков разной сложности: с мелкими царапинами, с повреждённым лицом, групповой.
2. Отсканируйте их с запасом по разрешению и сохраните мастер-копии без сжатия.
3. Прогоните каждый через два разных инструмента и сравните с оригиналом в полном масштабе. Так быстро станет понятно, какой инструмент бережнее к вашим снимкам.
4. Для важных кадров оставьте ручную доводку: лица, надписи, награды.

Сотни снимков или серия публикаций и роликов из архива это уже конвейер. Если не хочется собирать его самому, такие конвейеры от оцифровки до готового контента настраивают в контент-заводе Neurounit.