Адрес для входа в РФ: exler.bar
Технологии обработки фото на смартфонах
Наверняка многие уже прочитали интереснейшую статью "Вычислительная фотография", в которой простым, понятным и веселым языком рассказывается, какие же именно технологии применяются в современных смартфонах, чтобы обойти физические ограничения на размер матриц и применяемую оптику.
Если кто-то пропустил эту статью - прочитайте, она очень интересная. Я об этих технологиях немало читал, но и для меня многие вещи, рассказываемые в статье, были в новинку.
Вещь, о которой многие не задумываются, но она важна для понимания всей мобильной и вычислительной фотографии: камера в современном смартфоне начинает делать фотографии сразу, как только вы открываете ее приложение. Что логично, ей ведь надо как-то передавать изображение на экран. Однако, помимо экрана, она сохраняет кадры высокого разрешения в свой собственный циклический буфер, где хранит их еще пару секунд.
Когда вы нажимаете кнопку «снять фото» — оно на самом деле уже снято, камера просто берет последнее фото из буфера.
Сегодня так работает любая мобильная камера. По крайней мере во всех флагманах не с помоек. Буферизация позволяет реализовать не просто нулевую задержку затвора, о которой так давно мечтали фотографы, а даже отрицательную — при нажатии на кнопку смартфон заглядывает в прошлое, выгружает 5-10 последних фото из буфера и начинает неистово анализировать их и клеить. Больше не нужно ждать, пока телефон нащелкает кадров для HDR или ночного режима, — просто забирай их из буфера, пользователь даже не узнает.
И вообще у Вастрика очень много интересных статей.
А к вопросу, поднятому в конце статьи, про автоматическое улучшение, а то и замену объектов на фоне: у меня давно есть мысль съездить куда-нибудь в отпуск и ничего там не фотографировать, а желающим потом показывать подобранные в гуглокартинках фотографии тех же мест. Что-то мне подсказывает, что итоговый результат будет лучше (и собственные впечатления не будут испорчены необходимостью их увековечить на фотографии, и окружающие получат качественный продукт).
Рыдал.
Он пишет абсолютно правильно, по процессорной мощности и софту любой смарт уделывает зеркалки.
Правда, вопрос остается - снимать-то на что?
Вообще, мне кажется вы переключились на другие проблемы, слабо связанные с вычислительной фотографией. Первоначальный ваш тезис был - что большой размер матрицы не позволяет обрабатывать сигнал. Я вам ответил, что на скорость обработки сигнала размер матрицы влияет слабо. А тепловыделение, роллинг-шаттер - это все есть, с этим борятся, но эти вещи в другой плосткости, на этом этапе еще не дошли до обработки.
2. Пока можно этого не делать - рынок позволяет
3. Скорее всего, будущее камер в тесной их связке со смартфоном. Они станут эдаким аддоном, внешним беспроводным модулем съёмки. Реализовать на них удобный интерфейс, подобный смартфону, не говоря уже о планшете, вряд ли будет возможно. Но за счёт быстрой связи следующего поколения может стать возможным сильно расширить функциональность и вычислительную мощь
Проблема у электронного затвора не в том, сколько кадров в секунду камера может выдать (моя - 10), а в построчном считывании, скорость которого не очень велика. В результате, любые движущиеся объекты в кадре искажаются. Гуглите "роллинг шаттер". Пока скорость считывания не будет кардинально (минимум в разы, а лучше - на порядки) увеличена, вычислительной фотографии будет не из чего браться.
А до того - представьте себе картину, когда вы включаете камеру, и она тут же начинает лупить механическим затвором непрерывно. Кстати, у неё через десяток-два секунд буфер закончится.
Тепловыделение - это вопрос видео, когда с матрицы снимают информацию в течении длительного времени. Это другая проблема. А мы говорим про пост-обработку уже считанной информации.
Кроме того, большие физически сенсоры не позволяют считывать с них информацию быстро. В разрешении 4К с полного кадра считывание занимает около 25 мс у типовых сенсоров (у Кенона больше, у Сони А9 меньше), а это весьма много. Поэтому электронный затвор невозможно использовать для съёмки динамики, не считая той же А9. Спящие дети - норм.
Думаю, главные причины маркетинговые. Canon не считает это нужным. По крайней мере, не так остро необходимым, как для смартфонов. Если посмотреть на их новые модели, то развитие крайне осторожное и эволюционное. И да, они явно не сильны в математике, в технологиях вычислительной фотографии, а их процессоры уступают ARM.
Я считаю, мое мнение более аргументировано.
Потому что современные полупроводниковые технологии пока не позволяют реализовать то же самое (глобал шаттер, непрерывная съёмка в буфер и т. д.) на матрицах большого размера. Чем больше матрица, тем сложнее с неё считывать информацию в реальном времени.
Вон, у полнокадровых Кенон видео 4К возможно только в 30р, с кропа 1.8 (это практически 4/3" на минуточку), с ужасным роллинг шаттером, и вдобавок без фазового АФ. И все это в разрешении всего 8 МП. Какая тут нафиг вычислительная фотография.
К тому же, если все это барахло встроить в зеркалки или незеркали (собственно и встраивают), то во первых эта зеркалка будет дохнуть где то за час, два съемки, а во вторых, будет МЕШАТЬ фотографу, а не помогать.
Вот тут обидно, то есть ловить интересный момент не получится?
Это он апдейт продвинутой камеры накатил.
Зараза.
Весь блог там нереально крутой.
В мире нормальной фотографии, стекинг по экспозиции, по ББ и фокусу существует уже очень давно. Эксперименты с затворами и типа фильтров - тоже далеко не новость, это и Фуджи пытались сделать и Сони. Пока что без особых успехов, разве что беззеркалки у них прикольные.
Статья интересная конечно, но говорить о том. что мир будет двигаться в направлении, в котором он уже давно двигался, но ничего не произошло - как минимум наивно. Смартфонография все так же догоняющая и никаких прорывов там не предвидится.
А статью вы не читали.
И насчет "по качеству к самым слабым зеркалкам" - это тоже совершенно не так.
Так что похоже, что вы как-то не очень в теме.
Мне кажется, что программная часть будет развиваться параллельно с железной, иначе ничего не получится хорошего. Да и идея заменять части фоток вырезками из удачных кадров-ну это хрень же. Смысл, тогда, вообще фотографировать?
При всем невероятном рывке в фотографии в смартфонах, снимать фото по-прежнему удобнее зеркалкой (но вот носить - смарт 😄)
Это даже не считая всех игрищ-манипуляций со склеиванием "честных" кадров со всех камер в один нормальный – там же тоже ИИ, только самый "младшенький-глупенький" из всего семейства... )))
ИИ, конечно, ещё крайне далеки от "абсолютного совершенства". Но вот новые алгоритмы постобработки на их основе – весьма и весьма впечатляют.
Это вам не прежние фотошоповские фильтры, которые работали только лишь строго с исходными пикселями. Совершенно новый уровень – не тупо экстраполируют, а дорисовывают...
Ну или кусок улицы и фарфорового зайца для обзора.
А если серьезно -- смысл фотографии изначально был фотографировать для памяти.
То-есть фотография как будто открывает в голове ячейку памяти с кучей информации, впечатлений, воспоминаний там или эмоций. А в этом плане что зеркалка за 5 тыщ, что айфон, что чернобелый ФЭД -- никакой разницы. Нет ?
- процессоры: процессор современной камеры перемалывает примерно от 500 мегабайт до гигабайта данных с сенсора в секунду, имеет с хорошей вероятностью ту же архитектуру ARM, и, в качестве операционной системы вполне может иметь Linux. Не очень понятно, в каком месте он ужасный.
- многие зеркальные камеры имеют электронный затвор, не очень понятно, почему это записано в преимущества телефона.
И откуда данные про мегабайты?
Поясню, для процессора фотокамеры, время в секунду - это недопустимо много.
К слову, я сейчас в самом разгаре отпуска, у моей Сони А7М3 сдох объектив, снимаю на телефон в результате. И вожу 1,5 кг балласта...
А Camel писал про оптический и экран.
У экрана ВИ, хоть оптический, хоть электронный выигрывает в 9 из 10 случаев.
Проигрывает - когда нужно снимать с очень низкой или высокой точки.
[/шутка]
А патамушта матрица ФФ камеры в 30 раз больше матрицы смартфона, и, соответственно, собирает на несколько порядков больше коль-во фотонов (информации о свете). Чтобы обработать этот огромный массив информации как в смартфонах, нужны процессоры огромной мощности, которые сегодня недоступны для производителей фототехники.