Адрес для входа в РФ: exler.click

Технология Deep Fusion в iPhone 11

03.10.2019 09:10  18061   Комментарии (75)

В новой бета-версии iOS 13, вышедшей для iPhone 11, появилась технология создания и обработки снимков Deep Fusion. Ее принцип, с одной стороны, похож на HDR - создание нескольких снимков с разной экспозицией и объединение их с целью добиться как можно большей детализации, - однако HDR направлена прежде всего на расширение динамического диапазона и получения большего количества деталей в тенях, тогда как Deep Fusion направлена прежде всего на улучшение общей детализации снимков.

Работает это следующим образом. Еще до нажатия кнопки съемки камера делает три снимка с короткой выдержкой, а после нажатия - ещё четыре, один из которых делается на длинной выдержке. После этого семь снимков объединяются и обрабатываются попиксельно - с целью увеличения детализации, уменьшения шумов, убирания засветов и перетемненных участков.

В Сети уже появляются примеры снимков, сделанных по этой технологии. Вот здесь, например, можно найти такие снимки. Судя по ним, благодаря этой технологии действительно удается добиваться совершенно поразительной детализации. Однако в данном случае нет стопроцентной уверенности в том, что это именно снимки с iPhone 11. Буду ждать, когда кто-то из заслуживающих доверия обозревателей сделает свои тестовые снимки и покажет результаты.

На данных снимках я вижу детализацию, которую не даёт даже камера с Full Frame. Такой уровень четкости дает только среднеформат или Sigma DP2 Merrill. Почти невозможно представить, что такого можно добиться на малюсенькой матричке смартфона с помощью одних вычислительных методов. Но посмотрим, конечно, посмотрим. Вычислительная фотография действительно творит какие-то чудеса, в чем мы неоднократно убеждались.

P.S. Но заметим, конечно, что похожие технологии уже довольно давно применяют как минимум и Huawei, и Samsung. Вот и интересно будет сравнить. 

Комментарии 75

А потом в рекламе напишут "Снято на смартфон"
03.10.19 20:54
0 12

Сравлил XR с 11 автор - молодец, чо! Нельзя было сравнить на той же 11 с отключенной Deep Fusion? Результат был бы не такой впечатляющий, да?
03.10.19 09:43
0 7

Это кстати, может обернуться неприятным моментом. Аналогичная (условно) GCam с включенным HDR+, на динамичных сценах выдает смазы. Именно из-за необходимости делать кучу кадров.
дак против физики то не попрешь, но тут включаются в работу все остижения современности в виде нейронных сетей 😉
04.10.19 08:20
0 0

Это кстати, может обернуться неприятным моментом. Аналогичная (условно) GCam с включенным HDR+, на динамичных сценах выдает смазы. Именно из-за необходимости делать кучу кадров.
aag
03.10.19 14:42
0 1

в статье на iphonesру есть такая фраза "Для работы Deep Fusion необходимо отключить опцию Захват фото вне кадра в меню Настройки -> Основные -> Камера", исходя из которой можно предположить, что можно, таки, на одном тлф сделать фото С и БЕЗ этой технологии.

хотя, конечно, можно эту фразу трактовать как "для корректной работы DF необходимо бла бла бла".
03.10.19 10:41
0 2

Deep Fusion нельзя включить или отключить к сожалению.
Очень по-эппловски 😄
03.10.19 10:13
1 15

Ясно, спасибо. Ну тогда автор снимков прав, по-другому и не сравнить 😄
03.10.19 10:13
1 0

Он прав, логичнее было бы сравнить снимок, сделанный на iPhone 11 без этой технологии и с ней. Она же по идее должна отключаться.
Deep Fusion нельзя включить или отключить к сожалению. Она применяется автоматически в зависимости от условий при которых совершается съемка.
03.10.19 10:06
1 0

Он прав, логичнее было бы сравнить снимок, сделанный на iPhone 11 без этой технологии и с ней. Она же по идее должна отключаться.
03.10.19 09:49
1 7

Сравлил XR с 11 автор - молодец, чо! Нельзя было сравнить на той же 11 с отключенной Deep Fusion? Результат был бы не такой впечатляющий, да?
Эээ... А ничего, что разговор идет именно об этой технологии?
03.10.19 09:47
5 0

Технология не нова, видел ее применение в любительской астросъемке. К телескопу просто подключалась любительская камера, и делалось несколько десятков снимков интересующего объекта. Света для матрицы ясное дело мало, каждый отдельный снимок дико зашумлен. Суть алгоритма в том, что он сравнивая симки между собой отделяет шум от изображения, т.е. если объект повторяется на снимках, то это целевое изображение, а шум рандомный и никогда не повторяется, этот участок удалялся. Таким образом из нескольких десятков дико шумных снимков получался один чистый и детальный и все это на кроп матрицу. Делалось это в фотошопе и не быстро. Сейчас у телефона хватает ресурсов что бы аналогичный процесс провести налету из 3-7 снимков. Вполне годная технология.

Технология не нова, видел ее применение в любительской астросъемке.
Так именно из профессиональной (даже не любительской) наблюдательной астрофизики это все и пришло - там это дело давным давно применяется для борьбы с атмосферными искажениями и т.п., причем благодаря современной электронике сейчас исчезает необходимость выносить телескопы в космос (зачем, если и с поверхности получается не хуже) - за исключением случаев, когда "телескоп" надо упрятать от помех Земли (в тепловом диапазоне, к примеру) или построить "базу" с плечом, превосходящим диаметр нашей планеты (LISA к примеру).

Первый снимок черной дыры, который недавно все обсуждали, тоже получен средствами вычислительной фотографии - для его получения пришлось обработать около двух с половиной тысяч терабайт данных.

Почти невозможно представить, что такого можно добиться на малюсенькой матричке смартфона с помощью одних вычислительных методов. Но посмотрим, конечно, посмотрим. Вычислительная фотография действительно творит какие-то чудеса, в чем мы неоднократно убеждались
Дело не в матрице 😄 Недавно на хабре была статья, Каково разрешение человеческого глаза (или сколько мегапикселей мы видим в каждый отдельный момент времени).
И автор делает вывод, что глаз человека можно сравнить всего лишь с одномегапиксельной камерой. Всё остальное - постобработка на уровне мозга.
Так что ничего удивительного в принципе работы вычислительной фотографии нет. Все та же биомиметика 😄
03.10.19 11:00
0 4

Это понятно. Но это ж, в целом аналогия. О чем, кстати, автор в комментариях отвечает.
03.10.19 17:03
0 0

человека можно сравнить всего лишь с одномегапиксельной камеройЯ, грешным делом, думал, что глаз - аналоговое устройство...
Тут прямой аналогии быть не может. Аналог и цифра все-таки технические термины.
03.10.19 13:27
0 1

Очень рекомендую прочесть не только статью, но и комментарии. мегапиксель там в 5 градусах. Это немножно не то же самое, что мегапиксели матрицы. Это как планшетный сканнер сравнивать с фотоаппаратом. И то, и другое дает изображение, но 1Mp на сканнере и 1Mp матрицы совсем разные вещи 😄
03.10.19 13:27
0 3

Я, грешным делом, думал, что глаз - аналоговое устройство...
И напрасно. Палочки и колбочки дискретны, нейроны тоже.
03.10.19 13:10
1 6

человека можно сравнить всего лишь с одномегапиксельной камерой
Я, грешным делом, думал, что глаз - аналоговое устройство...
03.10.19 13:01
1 2

Технология Deep Fusion в iPhone 11
Заглавие хорошо сочетается с предыдущим постом 😄
03.10.19 10:30
0 3

Хуавей и гугл с пикселем, кмк, раньше эту дорожку протоптали.
www.gsmarena.com
Вот здесь хорошо видно что по детализации примерно сравнялись но шумы разные, на хуавее их почти нет даже при плохой освещенности.
03.10.19 10:04
0 2

сокровенные знания просвещенных улыбающихся идиотов? это скучно

всё. Ну и в цели моей жизни явно не входит просвещение идиотов 😉
Интернет доступен всем.

ченетакто?

> на мой взгляд этот дип фьюжен изначально в 13 оси

ой бня... ))))))))))

на мой взгляд этот дип фьюжен изначально в 13 оси, просто щас его допиливают и красивые названия в том числе

> а вот здесь видно как этот дип фьюжн

это когда же gsmarena успел положить кропы с дип фьюжн, если он только вчера в бете iOS появился? 😄

а дождь то зачем? на том же стенде но с низкой освещенностью
03.10.19 10:43
0 0

ISO 640? этот тест типа делался на улице в дождь?
03.10.19 10:38
0 0

а вот здесь видно как этот дип фьюжн печать федеральной резервной системы белым фоном закрасил где его нет

Да, там используются похожие технологии.

Кому интересно, подробности про эту технологию. Она разрабатывалась командой GCam (Google Camera) с 2011 года, называлась fusion image.
03.10.19 19:23
0 2

Немного не понял про снимки, особенно про последний на более длинной выдержке... Работает ли этот режим без штатива? Также смутило сравнение с полнокадровыми камерами. Конечно, для смартфона это хорошая детализация (хотя камера Google делает, по ощущениям, не хуже), но вот по сравнению с современными ФФ-камерами, особенно теми, у которых нет фильтра низких частот перед матрицей, это просто фоточка с мыльницы. Тем более, если речь идет про съемку с фикс-объективом. Связки, которые приходят в голову в первую очередь: Nikon D750 + 50mm f/1.8G, Nikon D610 + Sigma 35mm f/1.4 Art. Это вот если из "дешевенького" (ну, то есть, по цене сравнимого с топовым айфоном), потому что если взять какой-нибудь Sony A7r IV с топовой GM-оптикой или Nikon D850 с чем-то вроде 35mm f/1.4G, то уровень детализации будет ещё выше. Что касается среднего формата, то не пришли ещё те времена, когда можно было бы сравнить современные цифровые СФ со смартфоном. Там просто другой уровень. В сети можно найти без проблем снимки с Fuji GFX-50S, особенно интересно смотреть пейзажные - просто что-то нереальное. Как это всё сравнить с камерой смартфона... да, никак пока что) Но, со временем, может и увидим прорыв, кто знает.
03.10.19 11:36
2 4

Опять же,
и да, глянь сколько у наших с тобой постов лайков и дизлайков 😉))) 0 - два задрота от фотографии измеряют размер диафрагмы друг у друга 😉
07.10.19 15:33
0 0

в своем сообщении,
Разделю мух и котлет.
1. Я себя причисляю к "среднему" и как бы этот средний в гробу видел компакт беззеркальный, ибо нафиг? Тут вообще не аналитический отдел, но коли выйти на пляж, (испания\греция\турция), или в какой-нибудь милан\прагу\хельсинки, вот ну хрен ты увидишь там людей с фотиками кроме японцев, смарты в общей массе, а компакт какой-нибудь, прости господи, увидишь у какого-нибудь лютого деда из уруюпинска, да и то не факт.
2. Про комментирование про фуллфрейм ноль вопросов.
PS ну а кому что любо - это все личные предпочтения. 😉
07.10.19 15:31
0 1

але, прием!?
С орбиты, я так понимаю, ваш сигнал идет? Тогда "прием-прием".
Сколько стоит связка Nikon D750 + 50mm f/1.8G?
Я указал сразу, что цена сравнима с топовым айфоном, про который и была речь.
Но не надо забывать о цели - зачем это все?
У нас было обсуждение цели или детализации? Да и цели у людей разные, прямо скажем.
Если три года назад собираясь на отдых тащили с собой кофр со своим кэноном, к нему пару объективов, то сейчас смарт.
Опять вы за ВСЕХ говорите. Те, кто сейчас тащит смарт, раньше тащил какой-нибудь Sony RX100 или более простой компакт. Есть ряд про-фотографов, которые типа "мы устали, хотим отдыхать, а не фоткать". Они тоже могут взять rx100 или смарт, нормальная тема.

Опять же, всё ваше рассуждение ограничивается "съездить в отпуск, наделать фоток". Я вот, например, хочу получить фотографии в хорошем качестве с какого-нибудь детского утренника своего ребенка, мне что, на смартфон снимать? Меня такое качество не устроит. Вас устроит - нет проблем. Но изначально тут был разговор о сравнении детализации смартфона и ФФ-камеры, при чем тут ваши потребности и хотелки - не ясно. Была фактическая фраза в тексте: "На данных снимках я вижу детализацию, которую не даёт даже камера с Full Frame." Её я и прокомментировал в своем сообщении, по-моему достаточно корректно и с примерами отдельных связок.
04.10.19 12:31
0 0

Связки, которые приходят в голову в первую очередь
але, прием!? ну давай сравнивать соизмеримое хотя бы по одному параметру. Сколько стоит связка Nikon D750 + 50mm f/1.8G? Причем нет смысла специалисту доказывать что эта связка снимает объективно лучше чем любой смартфон. Но не надо забывать о цели - зачем это все? Если три года назад собираясь на отдых тащили с собой кофр со своим кэноном, к нему пару объективов, то сейчас смарт. И качество фоток, "я на фоне достопримечательности", порой даже лучше, чем выходили из камеры, так как снимки из камеры снимаешь в raw, потом сидишь над ними колдуешь в фотошопе. Удобство и решение текущих задач. И да, со смарта нынче вполне себе печатнуть фоточку а4 и подарить бабушке с дедушкой в не стыдном качестве.
04.10.19 08:19
1 0

Так вот же я со знающими людьми вроде как и не спорю. В сравнении крутейшей FF-камеры с фиксом и каким-то галимым смартфоном.
03.10.19 23:48
0 0

Я не сравнивал с полнокадровыми камерами. Я говорил об уровне детализации.
03.10.19 15:37
0 3

И да, соглашусь с предыдущими комментаторами, про фф вы зря. Современное матрицестроение дает очень и очень хорошие результаты. То что сейчас на кропе 1.5, на фф лет 10 назад было недостижимо. На приложенных примерах разница не так уж разительна. Такое можно просто умным шарпом в фотошопе накрутить.

В свежей Sony A7R IV похожая, если не аналогичная технология.

Это для съемки со штатива?
03.10.19 11:07
0 1

Теперь на любой физиономии можно рассмотреть все прыщи и поры.
Прорыв так прорыв.
Кстати будет чем заняться инженерам в ближ 5 лет -- добавить аппаратный блур который всё это уберет.
03.10.19 12:46
4 5

А вы не в курсе, что бьютификаторы уже давным-давно встроены в смартфоны?
Попробуйте включить режим "улучшение", или "портрет", там есть ползунок "красоты".
04.10.19 16:16
0 0

Ну, про FF вы всё же зря так 😄
03.10.19 10:35
0 1

Ну, надо, конечно, предметно сравнивать, не буду спорить 😄
03.10.19 11:29
0 0

Детализация - хуже. Контрастность выше 😄
03.10.19 11:27
0 2

Ну так на приведенном-то снимке с iPhone 11 детализация лучше. Понятно, что кадр с Никона не обрабатывался и шарпом, наверное, можно было бы добиться практически того же. Но тем не менее.
03.10.19 11:25
0 0

As is.
Специально нашёл натуру с бородой 😄
Причём стекло - обычный тревел-зум.
Если взять в тех же условиях что-то типа D810, да хорошую фиксу - результат будет сильно лучше.
03.10.19 11:16
0 1

Мне что, начинать сбрасывать в тред фото? Их есть у меня. Nikon D610, внутрикамерный .jpeg без постобработки.
А давайте один примерчик, интересно посмотреть. Я-то сравнивал с довольно старой Sony Alpha.

Другой вопрос что да, это ОЧЕНЬ круто, и мобильная фотография за последние лет 5 просто улетела в космос настолько, что возможности и качество фотографии у флагманов, да даже и в среднем ценовом сегменте - перекрывают потребности большинства пользователей на 110%
Ну да, именно об этом и речь. Я же не говорю, что теперь зеркалки можно выкидывать 😄

Я просто удивляюсь тому, каких потрясающих успехов добивается нынче вычислительная фотография на малюсеньких матричках и крохотной оптике. Это все очень и очень интересно.
03.10.19 11:10
0 4

При чём тут Sigma?
Мне что, начинать сбрасывать в тред фото? Их есть у меня. Nikon D610, внутрикамерный .jpeg без постобработки.
Там просто ВСЁ лучше, чем на приведённых снимках с IPhone 😄
Другой вопрос что да, это ОЧЕНЬ круто, и мобильная фотография за последние лет 5 просто улетела в космос настолько, что возможности и качество фотографии у флагманов, да даже и в среднем ценовом сегменте - перекрывают потребности большинства пользователей на 110%
03.10.19 11:05
0 7

Пройдите по ссылке на обзор Сигмы и посмотрите на кропы с Сигмы и с полнокадровой зеркалки. Байеровский фильтр - это байеровский фильтр, знаете ли. Не добиться на FF такой детализации без обработки.
03.10.19 10:46
1 0

Подождите - вот на iphone.ru написали: "Для работы Deep Fusion необходимо отключить опцию Захват фото вне кадра в меню Настройки -> Основные -> Камера."
Значит можно включать-отключать. Там же примеры на одном телефоне с Deep Fusion и без
03.10.19 10:47
0 0

Зашёл в комменты.
Ctrl-F "Gcam"

Не нашёл.
Тогда буду первым. В очередной раз Apple удачно скопировала известную технологию.
03.10.19 12:13
1 1

FaceID просто пример тех аргументов про "аналоги" и "давно было и в 5 раз дешевле", которые часто приводят эплохейтеры
Ну, тут надо разделять, для объективности. Идею-то разблокировки они всё же заимствовали у других, но технологически её усовершенствовали.
Поэтому фотографией уже было не разблокировать. Разве что части фото наклеивать на маску, что несколько усложняет процесс. Да, надёжнее, но думаю, смысла в этом громоздком оборудовании нет. Скорее Apple в конечном итоге остановится на системе как, например Xiaomi Mi 9. Там обычная моментальная разблокировка по лицу (не 3d), но не совсем полная - скажем Google Pay при этом не работает - потребует отпечаток пальца на скане в экране.
05.10.19 04:13
0 0

При том, что Google - это очень и очень прогрессивная компания, которая вложила в эту технологию очень много человекочасов.
Остальные только догоняют, на данный момент.
04.10.19 16:14
0 1

FaceID просто пример тех аргументов про "аналоги" и "давно было и в 5 раз дешевле", которые часто приводят эплохейтеры
04.10.19 11:01
0 0

Только на айфоне этот датчик раньше появился.
ну дак может уже нужно прекратить вздрачивать на этот датчик и придумать что-то новое? Кинб в меня помидор, но не кажется, все идеи покойного Джобса закончились и эппл из инноватора отрасли превратилась в "догонятеля" и "улучшателя" того, что есть у того же самсунга. Пока мантра "Эмйзинг сингс" из уст главного начальника Эппл работает, но "король голый" и это очевидно.
04.10.19 08:13
2 1

Ну да как с FaceID когда Apple сделала 3д датчик который очень сложно обмануть и работающий в темноте,
Вообще urix верно написал, что технология эта появилась давно в Google Camera. То есть идея объединить несколько снимков, в сумме получая лучший результат. И технология самой съёмки такая же, когда смартфон уже начинает фотографировать ещё до нажатия на кнопку. При чём тут Face ID? Хотя по сути, использовать распознавание лица через фронтальную камеру - это идея ещё Самсунга от 2013 года. Тогда это было на моем Note 2. Apple взяла идею и добавила датчик глубины. Вот и всё.
03.10.19 18:49
0 0

Только на айфоне этот датчик раньше появился.
03.10.19 16:05
0 3

давно был "аналог"
как в лужу пернул. ИК датчик уже больше года как ночью разблокирует без проблем на том же Сяоми
03.10.19 15:48
5 0

Ну да как с FaceID когда Apple сделала 3д датчик который очень сложно обмануть и работающий в темноте, а на китайцах давно был "аналог" но его было можно разблокировать фоткой и в темноте не работает, украла так украла, как всегда
03.10.19 12:27
4 8

А как будет работать эта технология, если необходимо снимать на очень коротких выдержках? Не портреты и пейзажы, например, а спорт?
03.10.19 14:55
0 0

Смазанные части изображения не так хорошо проработаются.
04.10.19 16:17
0 0

Эти фото только для статики и хороши для условий при недостатке освещения.
03.10.19 18:41
0 0

Думаю, что значительно хуже будет работать.
03.10.19 15:33
0 0

давно применяют как минимум и Huawei, и Samsung
А ещё Google Camera. Google вообще были первые на этом поприще, даже раньше хуавея. Самсунг потом подключилась, потом Xiaomi. А теперь и Эпл.
Но опыт не пропьешь. С GCam на Mi 9 получаются фотографии лучше чем на той же технологии в родном приложении.
03.10.19 18:39
0 0

Здесь еще примеры:

www.iphones.ru
03.10.19 10:06
0 0

Впечатляет, да. Очень интересно провести сравнение iPhone 11 и Huawei P30 Pro.
03.10.19 10:15
0 0

Во первых, никакой уж "запредельной" детализации там нет - как раз на уровне начальньго фулл фрейм (с дорогими prime lenses и с закрытой дыркой + постобработка - full frame даст даже значительно лучше детализацию.

С medium format сравнивать нет никакого смысла и даже не из за детализации - там просто совершенно другого уровня картинка по восприятию.

Во вторых, computational photography все равно дает картинку неравнозначную нормальной однокадровой фотографии - может быть даже лучше в ряде случаев, но это все равно будет не реальный снимок обьекта, а его "видение" процессором. Это не всегда и не всем подойдет.

В третьих, помимо качества картинки, хорошая камера обладает совершенно другой эргономикой чем смартфон (по всем параметрам - от удобства хвата до скорости и тд ). Более того, если снимать портреты - то даже поведение модели будет отличаться при сьемке на телефон и на про камеру. Поэтому классные камеры в смартфонах полностью убьют рынок мыльниц - но никак не повлияют на рынок профессиональных фото камер.
04.10.19 02:03
0 0

Так я вроде и написал, что смартфоны полностью убьют point and shoot market и частично prosumer - и слава Богу, чтобы всякое отпиаренное говно типа Фуджи APS-C ушло с рынка. Но рынок про камер это вообще никак не коснется.

Computational photography обязательно появится в камерах, и это хорошо. Но вряд ли быстро - к сожалению, даже в про камеры ставят очень слабые процессоры.
04.10.19 07:05
0 0

Ох ? «Начальный фуллфейм, средний формат, совершенно другого уровня картинка по восприятию» - астел&керн и тёплый ламповый звук какой-то. Ну да ладно, это ваше право, верить в особое нечто. Но да, вы правы в том, что нормальная камера даст больше детализации, вы правы про эргономику, но смартфон это камера (и видео-камера), которая всегда под рукой. Вот прямо всегда-всегда, и поэтому этим снимают больше, чаще и больше людей. И им не нужен ни ФФ, ни СФ, ни праймы за стопятьсот тысяч, ни вот это всё. Им постить FHD в инсту, постить сториз и накладывать масочки. Им снимать ночью и с плохим светом. И главное - им нужно всем этим делиться сразу. Камеры к этому до сих пор не готовы, на уровне массового потребителя. Их коммуникационные возможности на уровне каменного топора.

Но не стоит забывать, что и на современном ФФ/СФ то,что вы видите, не чистая картинка, а очень крепко додуманная процессором, и уже есть много примеров conputational photography в нормальных камерах. Просто они отстают в развитии.
04.10.19 02:38
0 1

Он уходит от нас... )
Вилса долго сравнивал с ноут 10+ фото и тп. Эпл не творит чудес, но получше стало, да.
?Сравнение iPhone 11 Pro Max и Galaxy Note 10+: от Wylsacom
03.10.19 13:33
2 1

Он уходит от нас... )Вилса долго сравнивал с ноут 10+ фото и тп. Эпл не творит чудес, но получше стало, да.?Сравнение iPhone 11 Pro Max и Galaxy Note 10+: от Wylsacom
да какое это нафиг сравнение. Там "нра-не-нра".
03.10.19 15:45
0 1

Вы конечно извините, но.... Всю жизнь Apple нам витрали, что на iPhone - лучшие камеры. Владельцы iPhone XR, у вас что, реально такие говенные снимки, как в примере выше???
03.10.19 13:23
6 3

С чего они вдруг лучшие-то? Камеру Apple реально только к восьмерке подтянула до уровня флагманов конкурентов.
03.10.19 15:35
0 3
Теги
Сортировать по алфавиту или записям
BLM 20
Calella 140
exler.ru 245
авто 427
видео 3755
вино 346
еда 478
ЕС 56
игры 114
ИИ 19
кино 1542
попы 185
СМИ 2574
софт 902
США 77
шоу 6