Технологии обработки фото на смартфонах

Наверняка многие уже прочитали интереснейшую статью "Вычислительная фотография", в которой простым, понятным и веселым языком рассказывается, какие же именно технологии применяются в современных смартфонах, чтобы обойти физические ограничения на размер матриц и применяемую оптику.

Если кто-то пропустил эту статью - прочитайте, она очень интересная. Я об этих технологиях немало читал, но и для меня многие вещи, рассказываемые в статье, были в новинку.

Вещь, о которой многие не задумываются, но она важна для понимания всей мобильной и вычислительной фотографии: камера в современном смартфоне начинает делать фотографии сразу, как только вы открываете ее приложение. Что логично, ей ведь надо как-то передавать изображение на экран. Однако, помимо экрана, она сохраняет кадры высокого разрешения в свой собственный циклический буфер, где хранит их еще пару секунд.

Когда вы нажимаете кнопку «снять фото» — оно на самом деле уже снято, камера просто берет последнее фото из буфера.

Сегодня так работает любая мобильная камера. По крайней мере во всех флагманах не с помоек. Буферизация позволяет реализовать не просто нулевую задержку затвора, о которой так давно мечтали фотографы, а даже отрицательную — при нажатии на кнопку смартфон заглядывает в прошлое, выгружает 5-10 последних фото из буфера и начинает неистово анализировать их и клеить. Больше не нужно ждать, пока телефон нащелкает кадров для HDR или ночного режима, — просто забирай их из буфера, пользователь даже не узнает.

читать статью целиком

Комментарии 102

"Почему "настоящие фотоаппараты" не применяют вычислительную фотографию?
А патамушта матрица ФФ камеры в 30 раз больше матрицы смартфона, и, соответственно, собирает на несколько порядков больше коль-во фотонов (информации о свете). Чтобы обработать этот огромный массив информации как в смартфонах, нужны процессоры огромной мощности, которые сегодня недоступны для производителей фототехники.
17.08.19 21:49
0 1

А патамушта матрица ФФ камеры в 30 раз больше матрицы смартфона, и, соответственно, собирает на несколько порядков больше коль-во фотонов (информации о свете). Чтобы обработать этот огромный массив информации как в смартфонах, нужны процессоры огромной мощности, которые сегодня недоступны для производителей фототехники.
Количество фотонов, которое собирает матрица, связано с вычислением также, как расположение планет относительно друг-друга. Вычисления производятся над битами, их количество для матрицы фотокамеры не разительно больше, чем для смартфона, мощности на это вполне хватает. Более того, определённые вычисления вполне себе происходят, есть немало камер, обрабатывающих как единичные кадры, так и серии. Те же Olympus довольно много алгоритмов используют для создания композитных картинок. Более того, в той или иной степени вычислительная фотография используется для работы экспозамера, для работы автофокуса (см. фокус по глазам у Sony и различные виды трекинга определённых типов транспортных средств у Olympus), просто не стоит забывать, что разработка камер и прошивок для них процесс растянутый по времени, в коде есть проблема инерции (не с нуля пишется он, до сих пор из прошивок торчит наследие очень давних версий), ну и масса других проблем, включая менталитет компаний-разработчиков и японских инженеров всё усугубляет. В общем, фотоны это последнее, что тут играет роль ?
18.08.19 04:19
0 1

Ну и да, всевозможные улучшайзеры картинки в камерах, те же алгоритмы компенсации дифракции, программное удаление хроматики и т.д. это тоже вычислительная фотография. Следующие поколения камер научатся незаметно мультиэкспозицию в рав собирать для расширения дд, потом и бокешку рисовать, потом и другое у смартфонов перенимут. В экшен-камерах это уже происходит, в дроны начало приходить, а там уже и дюймовые сенсоры, и APS-C.

Глупо спорить. Зеркалки продули по одной простой причине. Смартфоны начали повторять функционал зеркалок а наоброт -- нет. Вот если-бы зеркалкой можно было звонить, в интернете лазить и злых птичек гонять -- большой вопрос кто-бы победил !
[/шутка]
17.08.19 03:23
0 0

бгг. да самая лохматая зеркалка выдает картинку лучче любого телефона - там площадь пикселя больше. плюс она сама не пытается ниче мылить и не строить китайские глазки в вмде выкручивания саиурейшена. наш экслер продался сяоми и топовым хуавеям )
17.08.19 02:46
0 1

Смотря что считать лучшей картинкой. В статье этот вопрос поднимается. Большей части людей не нужна достоверная картинка - им нужна более яркая (не в плане освещённости), впечатляющая, эффектная. Разумеется, в определённых границах.
17.08.19 16:58
0 0

Прямо без обработки? Не выдаёт. Докрутить можно, но на выходе в базовом варианте УГ, и это ещё одна причина ухода - этими чёрными кирпичами нужно уметь пользоваться. Они сами небо не подсинят, фон не размоют, из серии смаза резкий кадр не выберут, в облако не зальют и подруженции на эйрдропнут. Человек выбирает то что проще, а проще и лучше то, что выдают смартфоны, у которых функции фото и видео ещё и прилагаются бесплатно к основному набору умений 😄

Да что вы привязались так к несчастным зеркалкам? Вон, у последних бюджетных моделей работа через видоискатель имеет смысл только для экономии электричества или в сильное солнце. Для всего остального лайв-вью эффективнее и удобнее. Умирают они, снизу давят смартфоны, а сверху - беззеркалки.

К слову, я сейчас в самом разгаре отпуска, у моей Сони А7М3 сдох объектив, снимаю на телефон в результате. И вожу 1,5 кг балласта...
16.08.19 23:06
0 0

Разница между зеркалками и беззеркалками на сегодняшний день непринципиальна.
16.08.19 23:36
0 0

Поэтому зеркало и отмирает. Оно было очень нужно на плёнке, а также пока технологии полупроводников в части сенсоров, процессоров и эл. видоискателей хромали. Сейчас зеркало уже больше мешает, чем помогает.
16.08.19 23:42
0 1

Нормальный видоискатель в сто раз удобнее экрана. До сих пор не могу приспособиться снимать экраном - дико медленно.
17.08.19 01:29
3 0

бггг. в зеркалке в видоискателе показывается настоящая картинка а в электроннов видоискателе это то что кмера сама за тебя додумывает. evf это как безалкогольное пиво или релиновая тетка (пока не пробывал)
17.08.19 03:00
2 1

бггг. в зеркалке в видоискателе показывается настоящая картинка а в электроннов видоискателе это то что кмера сама за тебя додумывает. evf это как безалкогольное пиво или резиновая тетка (пока не пробывал)
17.08.19 03:17
1 0

Вот ровно противоположное ощущение уже который год - после нормального электронного видоискателя в оптический заглядывать никакого желания
17.08.19 17:02
0 0

. в зеркалке в видоискателе показывается настоящая картинка а в электроннов видоискателе это то что кмера сама за тебя додумывает.
Ага, и в интернет тоже выкладывается "настоящая", а не "то что камера сама за тебя додумает"? ?

Вот ровно противоположное ощущение уже который год - после нормального электронного видоискателя в оптический заглядывать никакого желания
Вы сравниваете электронный видоискатель с оптическим.
А Camel писал про оптический и экран.
У экрана ВИ, хоть оптический, хоть электронный выигрывает в 9 из 10 случаев.
Проигрывает - когда нужно снимать с очень низкой или высокой точки.
aag
17.08.19 22:04
1 1

Упс, точно - это я невнимательно прочёл. Извиняюсь. Но, кстати, по моим наблюдениям всё больше фотографов предпочитает снимать по экрану, а не глядя в видоискатель. Уже кто-то из известных "читателей лекций про фотографию" подводил под это теорию работы двух полушарий, другие считают этот способ более коммуникативным при общении с клиентом, есть и другие версии 😄 Мне так снимать менее привычно, но... это пока, думаю.
18.08.19 04:37
0 0

По поводу картинки в посте с преимуществами и недостатками зеркальных камер и телефонов:
- процессоры: процессор современной камеры перемалывает примерно от 500 мегабайт до гигабайта данных с сенсора в секунду, имеет с хорошей вероятностью ту же архитектуру ARM, и, в качестве операционной системы вполне может иметь Linux. Не очень понятно, в каком месте он ужасный.
- многие зеркальные камеры имеют электронный затвор, не очень понятно, почему это записано в преимущества телефона.
16.08.19 20:58
0 4

процессор современной камеры перемалывает примерно от 500 мегабайт до гигабайта данных с сенсора в секунду, имеет с хорошей вероятностью ту же архитектуру ARM, и, в качестве операционной системы вполне может иметь Linux
Это в какой камере процессор работает под Linux?
И откуда данные про мегабайты?
Поясню, для процессора фотокамеры, время в секунду - это недопустимо много.
aag
16.08.19 23:20
0 1

Непонятно, с чего взяли, что в зеркалках слабое железо. К тому же RAW-ы потом можно обрабатывать на любом железе, какое только есть.
16.08.19 20:56
0 3

это он так народ троллит. сам же в курсе что картинка с милипиздрических матриц смартов полное гуано. но он же тоже кушать хочет.
17.08.19 02:48
3 1

...и всё это чтобы сфоткать тарелку с очередным хрючевом для инстаграма.
Ну или кусок улицы и фарфорового зайца для обзора.
16.08.19 20:35
2 2

А весь этот интернет, все это, чтобы написать очередной никчемный комментарий.
16.08.19 23:24
1 3

Мне жаль, что у тебя нет других источников для фотографирования.
17.08.19 00:02
3 4

[утирая скупую слезу] у меня этих нет ((( ну разве что улицы кусок. да и то короткий
А если серьезно -- смысл фотографии изначально был фотографировать для памяти.
То-есть фотография как будто открывает в голове ячейку памяти с кучей информации, впечатлений, воспоминаний там или эмоций. А в этом плане что зеркалка за 5 тыщ, что айфон, что чернобелый ФЭД -- никакой разницы. Нет ?
17.08.19 03:15
2 0

[утирая скупую слезу] у меня этих нет ((( ну разве что улицы кусок. да и то короткийА если серьезно -- смысл фотографии изначально был фотографировать для памяти.То-есть фотография как будто открывает в голове ячейку памяти с кучей информации, впечатлений, воспоминаний там или эмоций. А в этом плане что зеркалка за 5 тыщ, что айфон, что чернобелый ФЭД -- никакой разницы. Нет ?
У фотографии много социальных ниш. Например, мы недавно ходили смотреть на кондоров, лезли на гору и в конце-концов нашли одного, сидел на скале. Хорошо, что с собой была нормальная камера - ни телефоном, ни мыльницой такое не снимешь даже "на память". Другие варианты - играющие дети. Издалека трудно снять, а подойдешь поближе - помешаешь. Или художественная фотография - тоже требует качества. При этом неважно, что не получится "как у профессионала" - самому поубражняться и поделиться успехом с друзьями/родственниками тоже приятно.
17.08.19 16:48
0 0

Я могу другой пример привести 😄 Мы весной ездили снимать нерп на Байкал, и самые интересные кадры получились не с 600-800 миллиметровых телевиков и больших камер, а с дрона, просто потому что он мог подобраться ближе и быть ниже к воде. А это ведь сенсор смартфонного размера. Есть у меня знакомый, снимающий всевозможную социальщину, детдомовских, людей с улицы и подобное, фотовыставки персональные, работы отличные - снимает принципиально на смартфон, говоря что его "модели" воспринимают человека с камерой как чужого, не из своего круга, не могут раскрыться.
18.08.19 04:43
0 1

Все носятся сейчас с ИИ, но толком никто так и не может объяснить, что это. Хотя, в мире много маркетинговой чепухи. Назвали обычную постобработку ИИ, напугали нейросетями, и вот вам, новинка, срочно покупать.
16.08.19 18:58
3 1

А вот тут вы в корне неправы.
ИИ, конечно, ещё крайне далеки от "абсолютного совершенства". Но вот новые алгоритмы постобработки на их основе – весьма и весьма впечатляют.

Это вам не прежние фотошоповские фильтры, которые работали только лишь строго с исходными пикселями. Совершенно новый уровень – не тупо экстраполируют, а дорисовывают...

ниче они там не дорисовывают - просто идет сравнение основной камеры и второй - шарокоугольной смещенной с оптической оси. и получается в итоге фигня и порнография. но для лохов для вконтактика покатит )

Все носятся сейчас с ИИ, но толком никто так и не может объяснить, что это
См "тест Тьюринга". Если железяка сможет обдурить человека притворившись по телефону другим человеком -- значит это настоящий ИИ.
17.08.19 03:18
1 0

ниче они там не дорисовывают - просто идет сравнение основной камеры и второй - шарокоугольной смещенной с оптической оси. и получается в итоге фигня и порнография. но для лохов для вконтактика покатит )
Вы удивитесь, но "ИИ" много чего "дорисовывают". И много на что способны (порой даже в положительном смысле).
Это даже не считая всех игрищ-манипуляций со склеиванием "честных" кадров со всех камер в один нормальный – там же тоже ИИ, только самый "младшенький-глупенький" из всего семейства... )))

Статья отличная, но, мне кажется, автор слишком уверен в светлом будущем разных AR,VR и прочей чепухи. Технически, возможно, что-то этих технологий и останется. Но явно не в том виде, в каком это пытаются впарить сейчас.
Мне кажется, что программная часть будет развиваться параллельно с железной, иначе ничего не получится хорошего. Да и идея заменять части фоток вырезками из удачных кадров-ну это хрень же. Смысл, тогда, вообще фотографировать?
16.08.19 18:38
0 1

Смысл, тогда, вообще фотографировать?
В 99,9% случаев - никакого. Проще купить открытку.
16.08.19 19:14
0 7

Авто просто сосредоточился на том, что ему кажется интересным, и про развитие железок не упоминал. Нельзя обьять необьятное.
aag
16.08.19 23:17
0 0

но и нельзя отрицать что например спорт или самолеты - люди все еще снимают на зеркалки с мех затворами, глядя в оптические видоискатели через телевики классической схемы. это просто 99 процентов народу это не надо. ну и алексу тоже )
17.08.19 03:05
0 0

но и нельзя отрицать что например спорт или самолеты - люди все еще снимают на зеркалки с мех затворами, глядя в оптические видоискатели
И это тоже меняется. Часть уже ушла с механики на электронный затвор, уйдут и остальные. Это лишь вопрос времени и технологий. Одна из проблем этого контингента - невозможность, а зачастую и олдскульное нежелание пробовать новое, плюс низкий уровень знаний в аппаратной части. Проще говоря снимают как привыкли и на что дали

(пожимая плечами) У этих людей уже есть зеркалки. Есть парк обьективов, общая стоимость которых порой в два-три-пять раз больше камеры. Зачем им их менять?
При всем невероятном рывке в фотографии в смартфонах, снимать фото по-прежнему удобнее зеркалкой (но вот носить - смарт 😄)
aag
17.08.19 22:00
0 0

А давайте, наконец, не побоимся
и впендюрим уже в какую-нибудь зеркалку с отличной матрицей и огромным объективом типа Sony
отличный софт, достойное железо и мощный многоядерный процессор от смартфонов.
Будет бомба!
16.08.19 17:48
0 3

А там это просто не нужно. Смартфонные технологии, как я выше написал, создаются из-за имеющихся ограничений. В нормальных фотоаппаратах таких ограничений нет, так что постобработка остается в руках фотографа.
16.08.19 18:12
0 2

А там это просто не нужно
Там это тоже нужно. Конечно, больший пиксель позволяет получить в нормальных условиях нормальную картинку без ухищрений, но условия-то бывают разные.
Стекинг по ISO, по выдержке, HDR на уровне RAW, изменение точки фокусировки после сьемки. И в общем, в каких-то камерах отдельные фичи вводят. Только наполовину.
aag
16.08.19 23:03
0 1

Если бы к зеркалке добавили (отключаемые по желанию) хорошие возможности постобработки сравнимые с теми, что нынче в каждом смартфоне, то у фотографов освободилась бы масса времени на то, чтобы творчески обрабатывать небольшое количество самых удачных кадров на компьютере до совершенства, а к остальным десяткам применять прямо в камере какой-нибудь из custom пресетов и больше ничего не трогать. Я например много небоскрёбов и другой архитектуры снимаю. Смартфонный фотошоп позволяет в один клик поправить перспективу. В камере такой фичи нет. Значит надо загружать в компьютер и править там. Полезной работы тоже на несколько секунд, но весь ритуал перетаскивания файлов занимает много времени и неудобен.
16.08.19 23:26
0 1

А давайте, наконец, не побоимся и впендюрим уже в какую-нибудь зеркалку с отличной матрицей и огромным объективом типа Sonyотличный софт, достойное железо и мощный многоядерный процессор от смартфонов.Будет бомба!
Не я один о таком подумал после статьи. Я бы купил такой фотик
17.08.19 02:04
0 1

а чем стандартные зеркалки не устраивают ? один хрен в лайтруми и на компе фотки обрабатываются
17.08.19 02:52
2 0

а чем стандартные зеркалки не устраивают ? один хрен в лайтруми и на компе фотки обрабатываются
Вот не все хотят этим заниматься, тем более на компе)

Возможно, нечто подобное в конце концов и будет.
Только это впендюрят не в зеркалку, и вообще скорее всего это будет исходить не от традиционных фото-гигантов.
aag
17.08.19 21:56
0 1

Если бы к зеркалке добавили (отключаемые по желанию) хорошие возможности постобработки сравнимые с теми, что нынче в каждом смартфоне, то у фотографов освободилась бы масса времени на то, чтобы творчески обрабатывать небольшое количество самых удачных кадров на компьютере до совершенства, а к остальным десяткам применять прямо в камере какой-нибудь из custom пресетов и больше ничего не трогать... Полезной работы тоже на несколько секунд, но весь ритуал перетаскивания файлов занимает много времени и неудобен.
Точняк.
19.08.19 10:29
0 0

Очередное "открытие Америки" и "изобретение велосипеда" в одном флаконе. Разумеется, для смартфона, где гламурной курочке нужна только одна кнопка "сделать хорошо", такой подход несомненно интересен: периодически нажал кнопку и получил "типа" нормальное фото. Но законы оптики не менялись уже несколько сотен лет и особых прорывов пока что не предвидится. Никакие нейросети не способны обмануть физику, а потому, современные смартфоны только сейчас приблизились по качеству к самым слабым зеркалкам. Да и то, исключительно на разрешениях годных для выкладки в Инстаграм или веб. Что, несомненно, серьезный прорыв, но до "революции" еще очень далеко.
В мире нормальной фотографии, стекинг по экспозиции, по ББ и фокусу существует уже очень давно. Эксперименты с затворами и типа фильтров - тоже далеко не новость, это и Фуджи пытались сделать и Сони. Пока что без особых успехов, разве что беззеркалки у них прикольные.
Статья интересная конечно, но говорить о том. что мир будет двигаться в направлении, в котором он уже давно двигался, но ничего не произошло - как минимум наивно. Смартфонография все так же догоняющая и никаких прорывов там не предвидится.
16.08.19 17:39
17 0

Такое впечатление, что вы статью то и не читали.
16.08.19 17:43
0 16

Никакие нейросети не способны обмануть физику
Вот астрофизики-то дебилы и гламурные кисо! Вместо того чтобы взять и построить уже нормальный радиотелескоп с тарелкой в пару тысяч километров, берут кучу мелких тарелок и накручивают маркетинговой шелухи про "интерферометры со сверхдлинной базой".
16.08.19 18:01
0 12

Насколько я за этим наблюдаю последние лет семнадцать, смартфонография очень серьезно развилась и то, что сейчас выдают топовые смартфоны - это просто небо и земля по сравнению с тем, что было еще каких-то пять-семь лет назад. Не говоря уж о появлении в смартфонах телевиков в 3-х, 5-х и даже 8-х, что казалось совершеннейшей фантастикой.

И насчет "по качеству к самым слабым зеркалкам" - это тоже совершенно не так.

Так что похоже, что вы как-то не очень в теме.
16.08.19 18:04
0 4

Что, несомненно, серьезный прорыв, но до "революции" еще очень далеко.
Смартфонография все так же догоняющая и никаких прорывов там не предвидится.
Когда-то точно такими же словами говорили про цифровую фотографию в целом. И ведь совсем недавно было – даже двадцати лет ещё не прошло... ))

мир будет двигаться в направлении, в котором он уже давно двигался
Смысл в том, что пока смартфотография движется и развивается, традиционная топчется на месте.
А статью вы не читали.
aag
16.08.19 22:55
0 1

мы то очень в теме))) на единицу сенсора в матрице зеркалки света попадает в сотни раз больше чем в смартфоне на его крохотулечную матрицу. и пункт что софт в зеркалках странный это вы откровенно джинсите. рав он и в африке рав - обрабатывается или в лайтруме или в фотошопе на нормальном компе )
17.08.19 03:12
0 0

и пункт что софт в зеркалках странный это вы откровенно джинсите
М-да. Тяжелый случай.
17.08.19 10:50
0 0

на единицу сенсора в матрице зеркалки света попадает в сотни раз больше чем в смартфоне на его крохотулечную матрицу.
На единицу сенсора? Это как? Если речь идёт о единице площади, то света на каждый квадратный миллиметр приходит ровно столько же, а то и больше, учитывая светосилу смартфонного объектива, а если об общей площади сенсора, то она не играет той роли, которую ей отводят некоторые маркетологи от фотографии, в особенности маркетологи одной конторы, с недавних пор выпускающей камеры с сенсором капелюшечку больше фуллфрейма - свет улавливается, таки, не всем сенсором как единым элементом, а его составляющими, грубо говоря субсенселями. Общая площадь влияет на другие вещи, ГРИП там, скорость считывания и ряд других вещей.

Алекс, спасибо.
Весь блог там нереально крутой.
16.08.19 17:06
0 9

Да, тоже там завис надолго.
16.08.19 17:40
0 0

Когда вы нажимаете кнопку «снять фото» — оно на самом деле уже снято, камера просто берет последнее фото из буфера.

Вот тут обидно, то есть ловить интересный момент не получится?
16.08.19 16:43
1 2

Почему? Это "последнее фото" - именно тот самый интересный момент.
16.08.19 17:10
0 5

прям машина времени ) айнштайн и хоккинг нервно курят. идея для вашей новой книги кстати алекс.
17.08.19 03:02
0 0

Когда вы нажимаете кнопку «снять фото» — оно на самом деле уже снято, камера просто берет последнее фото из буфера.
То-то я думаю почему мой Галакси Нот 4 так тормозит при фотках.
Это он апдейт продвинутой камеры накатил.
Зараза.
17.08.19 03:25
0 0

Вот тут обидно, то есть ловить интересный момент не получится?
Как раз получится. Ведь у нас тоже есть "задержка". Передача нервных импульсов от глаз к мозгу, распознавание картинки, передача нервных импульсов от мозга к пальцу занимают время (тут подробнее).
17.08.19 16:51
0 0

Вот тут обидно, то есть ловить интересный момент не получится?
Тут вопрос задачи - у одних она в том, чтобы ловить момент, а у других в том, чтобы поймать 😄 Если смарт или какая-то определённая камера, чисто технически, позволяет это делать проще - я только за
17.08.19 17:59
0 1

А кто мешает, собственно, софт и железо смартфона вставить в сменную незеркалку и получить все это в одном флаконе? И почему так никто не делает?
16.08.19 16:33
0 2

Видимо, потому что это вряд ли будет пользоваться спросом.
16.08.19 16:36
0 1

Видимо, потому что зеркалками и смартфонами занимаются разные фирмы (кроме Sony, да и там, полагаю, это совсем разные подразделения) и скооперироваться им непросто. Такая же фигня с бытовой техникой и автомобилями.
16.08.19 17:12
0 2

А кто мешает, собственно, софт и железо смартфона вставить в сменную незеркалку и получить все это в одном флаконе? И почему так никто не делает?
Получить что, простите? Все те технологии, которые описаны в статье - это всего лишь "слабая замена правой руки". Это эмуляция того, что фотографы делают давно после появления самой цифровой фотографии. Это обычный стекинг по экспозиции, фокусу, ББ. Плюс эксперименты с другим типом фильтра. Припудрили нейросетями вместо мозга фотографа и ву-а-ля - типа "новшество". На самом деле нет.
К тому же, если все это барахло встроить в зеркалки или незеркали (собственно и встраивают), то во первых эта зеркалка будет дохнуть где то за час, два съемки, а во вторых, будет МЕШАТЬ фотографу, а не помогать.
16.08.19 17:32
9 2

Это эмуляция того, что фотографы делают давно после появления самой цифровой фотографии. Это обычный стекинг по экспозиции, фокусу, ББ. Плюс эксперименты с другим типом фильтра. Припудрили нейросетями вместо мозга фотографа и ву-а-ля - типа "новшество". На самом деле нет.
Я понял, статью вы ни хрена не прочитали, а только посмотрели несколько картинок. Бывает.
16.08.19 18:05
0 7

> почему так никто не делает?

Потому что современные полупроводниковые технологии пока не позволяют реализовать то же самое (глобал шаттер, непрерывная съёмка в буфер и т. д.) на матрицах большого размера. Чем больше матрица, тем сложнее с неё считывать информацию в реальном времени.

Вон, у полнокадровых Кенон видео 4К возможно только в 30р, с кропа 1.8 (это практически 4/3" на минуточку), с ужасным роллинг шаттером, и вдобавок без фазового АФ. И все это в разрешении всего 8 МП. Какая тут нафиг вычислительная фотография.
16.08.19 20:36
0 9

Это эмуляция того, что фотографы делают давно после появления самой цифровой фотографии
фотограф это делали еще в эру пленочной фотографии
во первых эта зеркалка будет дохнуть где то за час, два съемки, а во вторых, будет МЕШАТЬ фотографу
Или наоборот, зеркалка будет жить в два раза дольше, а фотографы будут кипятком писать.
Я считаю, мое мнение более аргументировано.
aag
16.08.19 22:24
1 0

Какая разница, какой физический размер матрицы? Физический размер влияет на величину одного пикселя (при заданном разрешении), а это в свою очередь определяет величину светового потока и соотношение сигнал/шум. Но считывается-то с пикселя один сигнал, и в этом отношении, 30 Мпикс - что на ФФ, что на 1/3.8". У Canon EOS R буфера хватает на 47 кадров RAW.
Думаю, главные причины маркетинговые. Canon не считает это нужным. По крайней мере, не так остро необходимым, как для смартфонов. Если посмотреть на их новые модели, то развитие крайне осторожное и эволюционное. И да, они явно не сильны в математике, в технологиях вычислительной фотографии, а их процессоры уступают ARM.
aag
16.08.19 22:45
0 0

Какая разница, какой физический размер матрицы?
Сильно завязано на тепловыделение. Говорят, что именно проблемы с теплом не позволяют выжать 4К/60 из полного кадра на данный момент. Хотя теоретически сенсоры это уже давно поддерживают. И уже любая китайская гоупрошка средней руки это умеет.

Кроме того, большие физически сенсоры не позволяют считывать с них информацию быстро. В разрешении 4К с полного кадра считывание занимает около 25 мс у типовых сенсоров (у Кенона больше, у Сони А9 меньше), а это весьма много. Поэтому электронный затвор невозможно использовать для съёмки динамики, не считая той же А9. Спящие дети - норм.
16.08.19 22:56
0 1

Сильно завязано на тепловыделение
не-не-не.
Тепловыделение - это вопрос видео, когда с матрицы снимают информацию в течении длительного времени. Это другая проблема. А мы говорим про пост-обработку уже считанной информации.
В разрешении 4К с полного кадра считывание занимает около 25 мс у типовых сенсоров
Электронный затвор есть у полнокадровых Sony, Никон и EOS R. Последняя по скорострельности не уступает 3-му и 4-му марку. И потом, вычислительная фотография имеет слабое отношение к электронному затвору. Очень грубо приближая, 30 Мпик - это 30 Мб. В компьютерной индустрии это уже давно за обьем не считается.
aag
16.08.19 23:14
0 0

Видео или фото - разница лишь в разрешении и частоте кадров...

Проблема у электронного затвора не в том, сколько кадров в секунду камера может выдать (моя - 10), а в построчном считывании, скорость которого не очень велика. В результате, любые движущиеся объекты в кадре искажаются. Гуглите "роллинг шаттер". Пока скорость считывания не будет кардинально (минимум в разы, а лучше - на порядки) увеличена, вычислительной фотографии будет не из чего браться.

А до того - представьте себе картину, когда вы включаете камеру, и она тут же начинает лупить механическим затвором непрерывно. Кстати, у неё через десяток-два секунд буфер закончится.
16.08.19 23:24
0 0

точняк. зеркалки точно живут дольше чем смартфоны. у сапога 50к срабатываний затвора - у меня жива еще ребел) столько некоторые даже юзера смартов не живут если селфачи рубят на крыше сапсана )))
17.08.19 02:51
0 0

А кто мешает, собственно, софт и железо смартфона вставить в сменную незеркалку и получить все это в одном флаконе? И почему так никто не делает?
1. Это сложно. Вспомним эксперимент Sony с их аппстором на камеры, который убрали из последнего поколения

2. Пока можно этого не делать - рынок позволяет

3. Скорее всего, будущее камер в тесной их связке со смартфоном. Они станут эдаким аддоном, внешним беспроводным модулем съёмки. Реализовать на них удобный интерфейс, подобный смартфону, не говоря уже о планшете, вряд ли будет возможно. Но за счёт быстрой связи следующего поколения может стать возможным сильно расширить функциональность и вычислительную мощь
17.08.19 18:12
0 0

Видео или фото - разница лишь в разрешении и частоте кадров...
Нет, разница принципиальная. Подходы, описанные в статье к видео применимы лишь частично.
Гуглите "роллинг шаттер"
Я знаю что такое роллинг шаттер. Во-первых, эта беда более характерна для видео (которое мы не рассматриваем). Во-вторых, насколько слышал, в топовых полнокадровых беззеркалках проблема отчасти решена.
Вообще, мне кажется вы переключились на другие проблемы, слабо связанные с вычислительной фотографией. Первоначальный ваш тезис был - что большой размер матрицы не позволяет обрабатывать сигнал. Я вам ответил, что на скорость обработки сигнала размер матрицы влияет слабо. А тепловыделение, роллинг-шаттер - это все есть, с этим борятся, но эти вещи в другой плосткости, на этом этапе еще не дошли до обработки.
представьте себе картину, когда вы включаете камеру, и она тут же начинает лупить механическим затвором
Ну да. И? За эти пару десятков секунду она нащелкивает 20-50 кадров.
aag
17.08.19 21:50
0 0

Пока можно этого не делать - рынок позволяет
Я думаю, это ключевое.
aag
17.08.19 21:50
0 0

Обалденная статья. Давно такого кайфа не испытывал, и от стиля, и от информации.
Правда, вопрос остается - снимать-то на что?
16.08.19 16:19
0 2

Обалденная статья. Давно такого кайфа не испытывал, и от стиля, и от информации. Правда, вопрос остается - снимать-то на что?
Да никакого вопроса. Снимай на что хочешь, лишь бы нравилось 😄
16.08.19 16:30
0 1

вопрос остается - снимать-то на что?
Алекс, а ты как думаешь?
16.08.19 16:32
0 0

Мне для подавляющего большинства обычных задач вполне хватает смартфона. Тем более что у меня сейчас Huawei P30 Pro, а у него одна из лучших камер на рынке.
16.08.19 16:35
0 0

А есть ли какие-нибудь смартфоны с хорошими камерами, большим зумом, но так чтобы при этом "не настолько китайские" - чтобы по краю санкций не ходить? 😄 И желательно официально поставляемые в США, с гарантией и ремонтом если что...
16.08.19 23:50
0 0

Круче Huawei P30 Pro я пока ничего не встречал. Они вроде официально поставляются. И уже выпущены, так что по краю санкций не ходят.
17.08.19 00:01
0 0

Там у Вастрика в статье еще ссылка есть на статью о Lytro в кинематографе - вообще удивительная вещь: Вычисляемое видео
16.08.19 16:14
0 1

"128-ядерный процессор (3 штуки)"

Рыдал.
16.08.19 15:26
1 1

Ну, если считать ядра графического процессора, то уже и не очень шутка
16.08.19 18:33
0 1

Слово гипербола вам не знакомо?
Он пишет абсолютно правильно, по процессорной мощности и софту любой смарт уделывает зеркалки.
aag
16.08.19 22:19
0 1

Классная статья, спасибо! Наконец-то я понял, почему все так писают кипятком от камер на Pixel'ях, хотя Google вроде бы ни в матрицы, ни в линзы особо не умеет. А вот в вычисления, алгоритмы, нейросети и ИИ Google очень даже умеет, поэтому и снимают их телефоны хорошо.

А к вопросу, поднятому в конце статьи, про автоматическое улучшение, а то и замену объектов на фоне: у меня давно есть мысль съездить куда-нибудь в отпуск и ничего там не фотографировать, а желающим потом показывать подобранные в гуглокартинках фотографии тех же мест. Что-то мне подсказывает, что итоговый результат будет лучше (и собственные впечатления не будут испорчены необходимостью их увековечить на фотографии, и окружающие получат качественный продукт).
16.08.19 15:18
0 6

Тяжело будет в каждую фотографию вставить себя любимого.
16.08.19 15:25
0 5

Тут мне проще - я не являюсь сторонником мнения, что фото из поездки без себя любимого - это не фото, а фигня какая-то. Для чистоты эксперимента можно съездить в одно лицо, тогда и аргумент будет - снимать больше некому, а селфи-палка - ересь.
16.08.19 15:30
0 4

Можно просто сказать, где отдыхал, пусть сами фотки гуглят. Фотогоафируют, вообщем-то, то, что интересно, а это может быть, что угодно, и, как бы, каждая секунда жизни уникальна)
16.08.19 19:00
0 1

Можно даже никуда не ездить. Пусть сами гуглят, куда мог поехать и какие фотки привести.
aag
16.08.19 22:17
0 5

У. Спасибо. Сложновато, но интересно.
16.08.19 14:19
0 0

Оригинал статьи тут vas3k.ru
И вообще у Вастрика очень много интересных статей.
16.08.19 13:55
0 7

Да, на 3DNews стоит ссылка. Просто там сверстано намного удобнее.
16.08.19 14:36
1 1

Я стесняюсь спросить, то что слева (3dnews) правда лучше сверстано чем у Вастрика?
16.08.19 15:07
0 7

Справа лучше, да. Поменял ссылку. Просто мне, видимо, давали ссылку на какую-то перепечатку, где была ужасная верстка.
16.08.19 15:37
0 0

Я вроде сразу на Вастрика дал. 😄
16.08.19 15:52
0 0

Справа лучше, да. Поменял ссылку. Просто мне, видимо, давали ссылку на какую-то перепечатку, где была ужасная верстка.
В конце поста "читать статью целиком" ссылка все еще на 3dnews.
16.08.19 17:07
0 1

Точно, спасибо, исправил.
16.08.19 17:11
0 0
Теги
Сортировать по алфавиту или записям
BLM 18
Calella 115
exler.ru 138
авто 358
видео 2876
вино 299
еда 386
игры 107
кино 1344
ПГМ 1
попы 148
РКН 2
РФ 1
РЩД 712
СМИ 1646
софт 778
США 22
тип 2
тмп 11
шоу 6