Технология Deep Fusion в iPhone 11

В новой бета-версии iOS 13, вышедшей для iPhone 11, появилась технология создания и обработки снимков Deep Fusion. Ее принцип, с одной стороны, похож на HDR - создание нескольких снимков с разной экспозицией и объединение их с целью добиться как можно большей детализации, - однако HDR направлена прежде всего на расширение динамического диапазона и получения большего количества деталей в тенях, тогда как Deep Fusion направлена прежде всего на улучшение общей детализации снимков.

Работает это следующим образом. Еще до нажатия кнопки съемки камера делает три снимка с короткой выдержкой, а после нажатия - ещё четыре, один из которых делается на длинной выдержке. После этого семь снимков объединяются и обрабатываются попиксельно - с целью увеличения детализации, уменьшения шумов, убирания засветов и перетемненных участков.

В Сети уже появляются примеры снимков, сделанных по этой технологии. Вот здесь, например, можно найти такие снимки. Судя по ним, благодаря этой технологии действительно удается добиваться совершенно поразительной детализации. Однако в данном случае нет стопроцентной уверенности в том, что это именно снимки с iPhone 11. Буду ждать, когда кто-то из заслуживающих доверия обозревателей сделает свои тестовые снимки и покажет результаты.

На данных снимках я вижу детализацию, которую не даёт даже камера с Full Frame. Такой уровень четкости дает только среднеформат или Sigma DP2 Merrill. Почти невозможно представить, что такого можно добиться на малюсенькой матричке смартфона с помощью одних вычислительных методов. Но посмотрим, конечно, посмотрим. Вычислительная фотография действительно творит какие-то чудеса, в чем мы неоднократно убеждались.

P.S. Но заметим, конечно, что похожие технологии уже довольно давно применяют как минимум и Huawei, и Samsung. Вот и интересно будет сравнить. 

Комментарии 76

Во первых, никакой уж "запредельной" детализации там нет - как раз на уровне начальньго фулл фрейм (с дорогими prime lenses и с закрытой дыркой + постобработка - full frame даст даже значительно лучше детализацию.

С medium format сравнивать нет никакого смысла и даже не из за детализации - там просто совершенно другого уровня картинка по восприятию.

Во вторых, computational photography все равно дает картинку неравнозначную нормальной однокадровой фотографии - может быть даже лучше в ряде случаев, но это все равно будет не реальный снимок обьекта, а его "видение" процессором. Это не всегда и не всем подойдет.

В третьих, помимо качества картинки, хорошая камера обладает совершенно другой эргономикой чем смартфон (по всем параметрам - от удобства хвата до скорости и тд ). Более того, если снимать портреты - то даже поведение модели будет отличаться при сьемке на телефон и на про камеру. Поэтому классные камеры в смартфонах полностью убьют рынок мыльниц - но никак не повлияют на рынок профессиональных фото камер.
04.10.19 02:03
0 0

Ох ? «Начальный фуллфейм, средний формат, совершенно другого уровня картинка по восприятию» - астел&керн и тёплый ламповый звук какой-то. Ну да ладно, это ваше право, верить в особое нечто. Но да, вы правы в том, что нормальная камера даст больше детализации, вы правы про эргономику, но смартфон это камера (и видео-камера), которая всегда под рукой. Вот прямо всегда-всегда, и поэтому этим снимают больше, чаще и больше людей. И им не нужен ни ФФ, ни СФ, ни праймы за стопятьсот тысяч, ни вот это всё. Им постить FHD в инсту, постить сториз и накладывать масочки. Им снимать ночью и с плохим светом. И главное - им нужно всем этим делиться сразу. Камеры к этому до сих пор не готовы, на уровне массового потребителя. Их коммуникационные возможности на уровне каменного топора.

Но не стоит забывать, что и на современном ФФ/СФ то,что вы видите, не чистая картинка, а очень крепко додуманная процессором, и уже есть много примеров conputational photography в нормальных камерах. Просто они отстают в развитии.
04.10.19 02:38
0 1

Так я вроде и написал, что смартфоны полностью убьют point and shoot market и частично prosumer - и слава Богу, чтобы всякое отпиаренное говно типа Фуджи APS-C ушло с рынка. Но рынок про камер это вообще никак не коснется.

Computational photography обязательно появится в камерах, и это хорошо. Но вряд ли быстро - к сожалению, даже в про камеры ставят очень слабые процессоры.
04.10.19 07:05
0 0

А потом в рекламе напишут "Снято на смартфон"
03.10.19 20:54
0 12

Кому интересно, подробности про эту технологию. Она разрабатывалась командой GCam (Google Camera) с 2011 года, называлась fusion image.
03.10.19 19:23
0 2

давно применяют как минимум и Huawei, и Samsung
А ещё Google Camera. Google вообще были первые на этом поприще, даже раньше хуавея. Самсунг потом подключилась, потом Xiaomi. А теперь и Эпл.
Но опыт не пропьешь. С GCam на Mi 9 получаются фотографии лучше чем на той же технологии в родном приложении.
03.10.19 18:39
0 0

А как будет работать эта технология, если необходимо снимать на очень коротких выдержках? Не портреты и пейзажы, например, а спорт?
03.10.19 14:55
0 0

Думаю, что значительно хуже будет работать.
03.10.19 15:33
0 0

Эти фото только для статики и хороши для условий при недостатке освещения.
03.10.19 18:41
0 0

Смазанные части изображения не так хорошо проработаются.
04.10.19 16:17
0 0

Он уходит от нас... )
Вилса долго сравнивал с ноут 10+ фото и тп. Эпл не творит чудес, но получше стало, да.
?Сравнение iPhone 11 Pro Max и Galaxy Note 10+: от Wylsacom
03.10.19 13:33
2 1

Он уходит от нас... )Вилса долго сравнивал с ноут 10+ фото и тп. Эпл не творит чудес, но получше стало, да.?Сравнение iPhone 11 Pro Max и Galaxy Note 10+: от Wylsacom
да какое это нафиг сравнение. Там "нра-не-нра".
03.10.19 15:45
0 1

Вы конечно извините, но.... Всю жизнь Apple нам витрали, что на iPhone - лучшие камеры. Владельцы iPhone XR, у вас что, реально такие говенные снимки, как в примере выше???
03.10.19 13:23
6 3

С чего они вдруг лучшие-то? Камеру Apple реально только к восьмерке подтянула до уровня флагманов конкурентов.
03.10.19 15:35
0 3

Теперь на любой физиономии можно рассмотреть все прыщи и поры.
Прорыв так прорыв.
Кстати будет чем заняться инженерам в ближ 5 лет -- добавить аппаратный блур который всё это уберет.
03.10.19 12:46
4 5

А вы не в курсе, что бьютификаторы уже давным-давно встроены в смартфоны?
Попробуйте включить режим "улучшение", или "портрет", там есть ползунок "красоты".
04.10.19 16:16
0 0

Зашёл в комменты.
Ctrl-F "Gcam"

Не нашёл.
Тогда буду первым. В очередной раз Apple удачно скопировала известную технологию.
03.10.19 12:13
1 1

Ну да как с FaceID когда Apple сделала 3д датчик который очень сложно обмануть и работающий в темноте, а на китайцах давно был "аналог" но его было можно разблокировать фоткой и в темноте не работает, украла так украла, как всегда
03.10.19 12:27
4 8

А при чем здесь Gcam? На одной Gcam свет не сошелся.
03.10.19 15:19
1 1

давно был "аналог"
как в лужу пернул. ИК датчик уже больше года как ночью разблокирует без проблем на том же Сяоми
03.10.19 15:48
5 0

Только на айфоне этот датчик раньше появился.
03.10.19 16:05
0 3

Ну да как с FaceID когда Apple сделала 3д датчик который очень сложно обмануть и работающий в темноте,
Вообще urix верно написал, что технология эта появилась давно в Google Camera. То есть идея объединить несколько снимков, в сумме получая лучший результат. И технология самой съёмки такая же, когда смартфон уже начинает фотографировать ещё до нажатия на кнопку. При чём тут Face ID? Хотя по сути, использовать распознавание лица через фронтальную камеру - это идея ещё Самсунга от 2013 года. Тогда это было на моем Note 2. Apple взяла идею и добавила датчик глубины. Вот и всё.
03.10.19 18:49
0 0

Только на айфоне этот датчик раньше появился.
ну дак может уже нужно прекратить вздрачивать на этот датчик и придумать что-то новое? Кинб в меня помидор, но не кажется, все идеи покойного Джобса закончились и эппл из инноватора отрасли превратилась в "догонятеля" и "улучшателя" того, что есть у того же самсунга. Пока мантра "Эмйзинг сингс" из уст главного начальника Эппл работает, но "король голый" и это очевидно.
04.10.19 08:13
2 1

FaceID просто пример тех аргументов про "аналоги" и "давно было и в 5 раз дешевле", которые часто приводят эплохейтеры
04.10.19 11:01
0 0

При том, что Google - это очень и очень прогрессивная компания, которая вложила в эту технологию очень много человекочасов.
Остальные только догоняют, на данный момент.
04.10.19 16:14
0 1

FaceID просто пример тех аргументов про "аналоги" и "давно было и в 5 раз дешевле", которые часто приводят эплохейтеры
Ну, тут надо разделять, для объективности. Идею-то разблокировки они всё же заимствовали у других, но технологически её усовершенствовали.
Поэтому фотографией уже было не разблокировать. Разве что части фото наклеивать на маску, что несколько усложняет процесс. Да, надёжнее, но думаю, смысла в этом громоздком оборудовании нет. Скорее Apple в конечном итоге остановится на системе как, например Xiaomi Mi 9. Там обычная моментальная разблокировка по лицу (не 3d), но не совсем полная - скажем Google Pay при этом не работает - потребует отпечаток пальца на скане в экране.
05.10.19 04:13
0 0

Немного не понял про снимки, особенно про последний на более длинной выдержке... Работает ли этот режим без штатива? Также смутило сравнение с полнокадровыми камерами. Конечно, для смартфона это хорошая детализация (хотя камера Google делает, по ощущениям, не хуже), но вот по сравнению с современными ФФ-камерами, особенно теми, у которых нет фильтра низких частот перед матрицей, это просто фоточка с мыльницы. Тем более, если речь идет про съемку с фикс-объективом. Связки, которые приходят в голову в первую очередь: Nikon D750 + 50mm f/1.8G, Nikon D610 + Sigma 35mm f/1.4 Art. Это вот если из "дешевенького" (ну, то есть, по цене сравнимого с топовым айфоном), потому что если взять какой-нибудь Sony A7r IV с топовой GM-оптикой или Nikon D850 с чем-то вроде 35mm f/1.4G, то уровень детализации будет ещё выше. Что касается среднего формата, то не пришли ещё те времена, когда можно было бы сравнить современные цифровые СФ со смартфоном. Там просто другой уровень. В сети можно найти без проблем снимки с Fuji GFX-50S, особенно интересно смотреть пейзажные - просто что-то нереальное. Как это всё сравнить с камерой смартфона... да, никак пока что) Но, со временем, может и увидим прорыв, кто знает.
03.10.19 11:36
2 4

Я не сравнивал с полнокадровыми камерами. Я говорил об уровне детализации.
03.10.19 15:37
0 3

Так вот же я со знающими людьми вроде как и не спорю. В сравнении крутейшей FF-камеры с фиксом и каким-то галимым смартфоном.
03.10.19 23:48
0 0

Связки, которые приходят в голову в первую очередь
але, прием!? ну давай сравнивать соизмеримое хотя бы по одному параметру. Сколько стоит связка Nikon D750 + 50mm f/1.8G? Причем нет смысла специалисту доказывать что эта связка снимает объективно лучше чем любой смартфон. Но не надо забывать о цели - зачем это все? Если три года назад собираясь на отдых тащили с собой кофр со своим кэноном, к нему пару объективов, то сейчас смарт. И качество фоток, "я на фоне достопримечательности", порой даже лучше, чем выходили из камеры, так как снимки из камеры снимаешь в raw, потом сидишь над ними колдуешь в фотошопе. Удобство и решение текущих задач. И да, со смарта нынче вполне себе печатнуть фоточку а4 и подарить бабушке с дедушкой в не стыдном качестве.
04.10.19 08:19
1 0

але, прием!?
С орбиты, я так понимаю, ваш сигнал идет? Тогда "прием-прием".
Сколько стоит связка Nikon D750 + 50mm f/1.8G?
Я указал сразу, что цена сравнима с топовым айфоном, про который и была речь.
Но не надо забывать о цели - зачем это все?
У нас было обсуждение цели или детализации? Да и цели у людей разные, прямо скажем.
Если три года назад собираясь на отдых тащили с собой кофр со своим кэноном, к нему пару объективов, то сейчас смарт.
Опять вы за ВСЕХ говорите. Те, кто сейчас тащит смарт, раньше тащил какой-нибудь Sony RX100 или более простой компакт. Есть ряд про-фотографов, которые типа "мы устали, хотим отдыхать, а не фоткать". Они тоже могут взять rx100 или смарт, нормальная тема.

Опять же, всё ваше рассуждение ограничивается "съездить в отпуск, наделать фоток". Я вот, например, хочу получить фотографии в хорошем качестве с какого-нибудь детского утренника своего ребенка, мне что, на смартфон снимать? Меня такое качество не устроит. Вас устроит - нет проблем. Но изначально тут был разговор о сравнении детализации смартфона и ФФ-камеры, при чем тут ваши потребности и хотелки - не ясно. Была фактическая фраза в тексте: "На данных снимках я вижу детализацию, которую не даёт даже камера с Full Frame." Её я и прокомментировал в своем сообщении, по-моему достаточно корректно и с примерами отдельных связок.
04.10.19 12:31
0 0

в своем сообщении,
Разделю мух и котлет.
1. Я себя причисляю к "среднему" и как бы этот средний в гробу видел компакт беззеркальный, ибо нафиг? Тут вообще не аналитический отдел, но коли выйти на пляж, (испания\греция\турция), или в какой-нибудь милан\прагу\хельсинки, вот ну хрен ты увидишь там людей с фотиками кроме японцев, смарты в общей массе, а компакт какой-нибудь, прости господи, увидишь у какого-нибудь лютого деда из уруюпинска, да и то не факт.
2. Про комментирование про фуллфрейм ноль вопросов.
PS ну а кому что любо - это все личные предпочтения. 😉
07.10.19 15:31
0 1

Опять же,
и да, глянь сколько у наших с тобой постов лайков и дизлайков 😉))) 0 - два задрота от фотографии измеряют размер диафрагмы друг у друга 😉
07.10.19 15:33
0 0

Это для съемки со штатива?
03.10.19 11:07
0 1

Почти невозможно представить, что такого можно добиться на малюсенькой матричке смартфона с помощью одних вычислительных методов. Но посмотрим, конечно, посмотрим. Вычислительная фотография действительно творит какие-то чудеса, в чем мы неоднократно убеждались
Дело не в матрице 😄 Недавно на хабре была статья, Каково разрешение человеческого глаза (или сколько мегапикселей мы видим в каждый отдельный момент времени).
И автор делает вывод, что глаз человека можно сравнить всего лишь с одномегапиксельной камерой. Всё остальное - постобработка на уровне мозга.
Так что ничего удивительного в принципе работы вычислительной фотографии нет. Все та же биомиметика 😄
03.10.19 11:00
0 4

человека можно сравнить всего лишь с одномегапиксельной камерой
Я, грешным делом, думал, что глаз - аналоговое устройство...
03.10.19 13:01
1 2

Я, грешным делом, думал, что глаз - аналоговое устройство...
И напрасно. Палочки и колбочки дискретны, нейроны тоже.
03.10.19 13:10
1 6

Очень рекомендую прочесть не только статью, но и комментарии. мегапиксель там в 5 градусах. Это немножно не то же самое, что мегапиксели матрицы. Это как планшетный сканнер сравнивать с фотоаппаратом. И то, и другое дает изображение, но 1Mp на сканнере и 1Mp матрицы совсем разные вещи 😄
03.10.19 13:27
0 3

человека можно сравнить всего лишь с одномегапиксельной камеройЯ, грешным делом, думал, что глаз - аналоговое устройство...
Тут прямой аналогии быть не может. Аналог и цифра все-таки технические термины.
03.10.19 13:27
0 1

Это понятно. Но это ж, в целом аналогия. О чем, кстати, автор в комментариях отвечает.
03.10.19 17:03
0 0

Подождите - вот на iphone.ru написали: "Для работы Deep Fusion необходимо отключить опцию Захват фото вне кадра в меню Настройки -> Основные -> Камера."
Значит можно включать-отключать. Там же примеры на одном телефоне с Deep Fusion и без
03.10.19 10:47
0 0

И да, соглашусь с предыдущими комментаторами, про фф вы зря. Современное матрицестроение дает очень и очень хорошие результаты. То что сейчас на кропе 1.5, на фф лет 10 назад было недостижимо. На приложенных примерах разница не так уж разительна. Такое можно просто умным шарпом в фотошопе накрутить.

В свежей Sony A7R IV похожая, если не аналогичная технология.

Технология не нова, видел ее применение в любительской астросъемке. К телескопу просто подключалась любительская камера, и делалось несколько десятков снимков интересующего объекта. Света для матрицы ясное дело мало, каждый отдельный снимок дико зашумлен. Суть алгоритма в том, что он сравнивая симки между собой отделяет шум от изображения, т.е. если объект повторяется на снимках, то это целевое изображение, а шум рандомный и никогда не повторяется, этот участок удалялся. Таким образом из нескольких десятков дико шумных снимков получался один чистый и детальный и все это на кроп матрицу. Делалось это в фотошопе и не быстро. Сейчас у телефона хватает ресурсов что бы аналогичный процесс провести налету из 3-7 снимков. Вполне годная технология.

Технология не нова, видел ее применение в любительской астросъемке.
Так именно из профессиональной (даже не любительской) наблюдательной астрофизики это все и пришло - там это дело давным давно применяется для борьбы с атмосферными искажениями и т.п., причем благодаря современной электронике сейчас исчезает необходимость выносить телескопы в космос (зачем, если и с поверхности получается не хуже) - за исключением случаев, когда "телескоп" надо упрятать от помех Земли (в тепловом диапазоне, к примеру) или построить "базу" с плечом, превосходящим диаметр нашей планеты (LISA к примеру).

Первый снимок черной дыры, который недавно все обсуждали, тоже получен средствами вычислительной фотографии - для его получения пришлось обработать около двух с половиной тысяч терабайт данных.

Ну, про FF вы всё же зря так 😄
03.10.19 10:35
0 1

Пройдите по ссылке на обзор Сигмы и посмотрите на кропы с Сигмы и с полнокадровой зеркалки. Байеровский фильтр - это байеровский фильтр, знаете ли. Не добиться на FF такой детализации без обработки.
03.10.19 10:46
1 0

При чём тут Sigma?
Мне что, начинать сбрасывать в тред фото? Их есть у меня. Nikon D610, внутрикамерный .jpeg без постобработки.
Там просто ВСЁ лучше, чем на приведённых снимках с IPhone 😄
Другой вопрос что да, это ОЧЕНЬ круто, и мобильная фотография за последние лет 5 просто улетела в космос настолько, что возможности и качество фотографии у флагманов, да даже и в среднем ценовом сегменте - перекрывают потребности большинства пользователей на 110%
03.10.19 11:05
0 7

Мне что, начинать сбрасывать в тред фото? Их есть у меня. Nikon D610, внутрикамерный .jpeg без постобработки.
А давайте один примерчик, интересно посмотреть. Я-то сравнивал с довольно старой Sony Alpha.

Другой вопрос что да, это ОЧЕНЬ круто, и мобильная фотография за последние лет 5 просто улетела в космос настолько, что возможности и качество фотографии у флагманов, да даже и в среднем ценовом сегменте - перекрывают потребности большинства пользователей на 110%
Ну да, именно об этом и речь. Я же не говорю, что теперь зеркалки можно выкидывать 😄

Я просто удивляюсь тому, каких потрясающих успехов добивается нынче вычислительная фотография на малюсеньких матричках и крохотной оптике. Это все очень и очень интересно.
03.10.19 11:10
0 4

As is.
Специально нашёл натуру с бородой 😄
Причём стекло - обычный тревел-зум.
Если взять в тех же условиях что-то типа D810, да хорошую фиксу - результат будет сильно лучше.
03.10.19 11:16
0 1

Ну так на приведенном-то снимке с iPhone 11 детализация лучше. Понятно, что кадр с Никона не обрабатывался и шарпом, наверное, можно было бы добиться практически того же. Но тем не менее.
03.10.19 11:25
0 0

Детализация - хуже. Контрастность выше 😄
03.10.19 11:27
0 2

Ну, надо, конечно, предметно сравнивать, не буду спорить 😄
03.10.19 11:29
0 0

Технология Deep Fusion в iPhone 11
Заглавие хорошо сочетается с предыдущим постом 😄
03.10.19 10:30
0 3

Здесь еще примеры:

www.iphones.ru
03.10.19 10:06
0 0

Впечатляет, да. Очень интересно провести сравнение iPhone 11 и Huawei P30 Pro.
03.10.19 10:15
0 0

Хуавей и гугл с пикселем, кмк, раньше эту дорожку протоптали.
www.gsmarena.com
Вот здесь хорошо видно что по детализации примерно сравнялись но шумы разные, на хуавее их почти нет даже при плохой освещенности.
03.10.19 10:04
0 2

Да, там используются похожие технологии.

а вот здесь видно как этот дип фьюжн печать федеральной резервной системы белым фоном закрасил где его нет

ISO 640? этот тест типа делался на улице в дождь?
03.10.19 10:38
0 0

а дождь то зачем? на том же стенде но с низкой освещенностью
03.10.19 10:43
0 0

> а вот здесь видно как этот дип фьюжн

это когда же gsmarena успел положить кропы с дип фьюжн, если он только вчера в бете iOS появился? 😄

на мой взгляд этот дип фьюжен изначально в 13 оси, просто щас его допиливают и красивые названия в том числе

> на мой взгляд этот дип фьюжен изначально в 13 оси

ой бня... ))))))))))

ченетакто?

всё. Ну и в цели моей жизни явно не входит просвещение идиотов 😉
Интернет доступен всем.

сокровенные знания просвещенных улыбающихся идиотов? это скучно

Сравлил XR с 11 автор - молодец, чо! Нельзя было сравнить на той же 11 с отключенной Deep Fusion? Результат был бы не такой впечатляющий, да?
03.10.19 09:43
0 7

Сравлил XR с 11 автор - молодец, чо! Нельзя было сравнить на той же 11 с отключенной Deep Fusion? Результат был бы не такой впечатляющий, да?
Эээ... А ничего, что разговор идет именно об этой технологии?
03.10.19 09:47
5 0

Он прав, логичнее было бы сравнить снимок, сделанный на iPhone 11 без этой технологии и с ней. Она же по идее должна отключаться.
03.10.19 09:49
1 7

Он прав, логичнее было бы сравнить снимок, сделанный на iPhone 11 без этой технологии и с ней. Она же по идее должна отключаться.
Deep Fusion нельзя включить или отключить к сожалению. Она применяется автоматически в зависимости от условий при которых совершается съемка.
03.10.19 10:06
1 0

Ясно, спасибо. Ну тогда автор снимков прав, по-другому и не сравнить 😄
03.10.19 10:13
1 0

Deep Fusion нельзя включить или отключить к сожалению.
Очень по-эппловски 😄
03.10.19 10:13
1 15

в статье на iphonesру есть такая фраза "Для работы Deep Fusion необходимо отключить опцию Захват фото вне кадра в меню Настройки -> Основные -> Камера", исходя из которой можно предположить, что можно, таки, на одном тлф сделать фото С и БЕЗ этой технологии.

хотя, конечно, можно эту фразу трактовать как "для корректной работы DF необходимо бла бла бла".
03.10.19 10:41
0 2

Это кстати, может обернуться неприятным моментом. Аналогичная (условно) GCam с включенным HDR+, на динамичных сценах выдает смазы. Именно из-за необходимости делать кучу кадров.
aag
03.10.19 14:42
0 1

Это кстати, может обернуться неприятным моментом. Аналогичная (условно) GCam с включенным HDR+, на динамичных сценах выдает смазы. Именно из-за необходимости делать кучу кадров.
дак против физики то не попрешь, но тут включаются в работу все остижения современности в виде нейронных сетей 😉
04.10.19 08:20
0 0
Теги
Сортировать по алфавиту или записям
BLM 18
Calella 115
exler.ru 138
авто 358
видео 2876
вино 299
еда 386
игры 107
кино 1344
ПГМ 1
попы 148
РКН 2
РФ 1
РЩД 712
СМИ 1646
софт 778
США 22
тип 2
тмп 11
шоу 6