Sobre o Space Zoom da linha Galaxy S

[MarcosSilveiraX]

Estão veiculando noticias com base em testes de fotos com "space zoom", no ano passado (com o S21 Ultra) e novamente nesse ano (com o S22 Ultra), provando que as fotos da lua são potencialmente recriadas e melhoradas com inteligência artificial.

Em outras palavras, as fotos tiradas com o zoom do corpo celeste, não são "reais", mas fruto de uma foto ruim retocada com auxilio de ferramentas. Da mesma forma, conseguiram simular "fotos da lua", com **bleep** de pingpong, outro objetos similares (como um dente de alho!) e até com uma foto de baixíssima resolução da lua em um monitor. Tudo ganha detalhes de manchas e crateras como se fosse a lua, conforme podemos ver nas matérias sobre os testes:

https://www.inverse.com/input/reviews/is-samsung-galaxy-s21-ultra-using-ai-to-fake-detailed-moon-pho...

https://www.reddit.com/r/Android/comments/11nzrb0/samsung_space_zoom_moon_shots_are_fake_and_here/

Confesso que fiquei um tanto decepcionado ao replicar alguns testes com o Galaxy S22 Ultra.

Como fã da marca, gostaria uma resposta da própria Samsung. Até porque, acho importante saber até onde as ações da Inteligência artificial vão nas fotos, aonde esses dados são processados (no aparelho ou na nuvem - no Aviso de Privacidade não deixa claro onde a IA trata essas informações) e se podemos limitar ou desligar o acesso da IA nas fotos capturadas, seja por questões de privacidade, ou por mera economia de bateria.

[OPF67]

Marcos,

todas as fotos tiradas com as linhas S2x (x = 0, 1, 2, 3) usam IA no pós processamento, com ou sem zoom, ótico ou digital. E não é só a Samsung que faz isso, a Apple é demais também fazem. As fotos não dão artificiais, o nome disso é tecnologia no estado da arte, que tem como objetivo o realismo da foto e não criar pixels inexistentes.

[Makizo]

Isso é fotografia computacional. É por isso que os Pixels são conhecidos por terem a melhor qualidade das fotos. Quando eu tinha um RN8, ficava impressionado que a Gcam conseguia tirar informação de uma imagem escura, onde nem meus olhos conseguiam enxergar, sem precisar ficar 30 segundos esperando pra foto ficar pronta.

A Google tem uma base gigante de imagens e pôde criar ótimos algoritmos com isso. A Samsung também. De certa forma está correto dizer que as imagens são melhoradas, mas acho exagero eles dizerem na noticia q são fakes.

Você pode tirar suas conclusões. Tire uma foto com o zoom de 100x das coisas mais aleatórias. Um prédio, uma árvore há alguns km de distância, etc. Em todos eles, o smartphone precisa fazer um pós processamento e deixar os contornos mais refinados, mas a foto não deixa de ser de algo que você tirou.

[Makizo]

Se a foto da Lua é "fake", as outras todas fotos com 100x de zoom também seriam.

[MarcosSilveiraX]

Outras fotos com zoom alto sofrem realce. Mas fotos de qualquer coisa que o celular identifica como lua (nesse caso uma foto em baixa resolução em fundo preto fotografada do outro lado da sala) é automaticamente preenchida com detalhes da lua (manchas de cratera). A 3a foto foi uma captura recente.

Não estou dizendo que não é legal. Mas explica pq fotos da lua ficam perfeitas e fotos de outros objetos não ficam tão bons assim.

[Makizo]

Isso é normal. Se o algoritmo tem um objeto que não muda o seu formato, como a Lua (tirando as fases de iluminação), é mais fácil de eles conseguirem melhorar os contornos dela, pois todo mundo tira foto da Lua, tem uma base gigante no algoritmo de IA pra isso. Dando um exemplo bem grosseiro, é quase como se vc tivesse uma imagem da Lua com uma folha de carbono embaixo e precisasse apenas contornar em cima. Já no caso do navio, eles podem até ter navios no algoritmo, até mesmo esse exato modelo aí, mas não tem esse exato enquadramento da foto que você tirou, oq poderíamos colocar, no exemplo que citei, que vc não tem uma folha de carbono embaixo, então o smartphone vai ter mais trabalho de pós processamento para realçar os contornos.

Agora, isso não faz a imagem ser uma "fraude". Tanto que na época do eclipse de maio, muita gente tirou ótimas fotos dele com o S22 Ultra e compartilhou aqui na comunidade.

[Hyenna]

Ao meu entender, e de forma resumida, o que acontece é que os algoritmos da câmera responsáveis por detectar a Lua acabam recriando os detalhes da mesma e de suas crateras ao detectá-la, o que explica o porquê do resultado final sair tão melhor do que a câmera é de fato capaz de ver.

Ainda assim, isso não seria a mesma coisa que a Huawei supostamente fez no passado, por exemplo, onde o algoritmo dela supostamente colava literais texturas (imagens) da Lua em cima da foto original, como se estivesse colando um sticker, a grosso modo. No caso da Samsung, porém, o algoritmo apenas tenta recriar os detalhes que a câmera já consegue ver de uma forma mais nítida e refinada baseado nos modelos de aprendizado de máquina nos quais ele foi treinado. Na minha interpretação, é como se um artista visse uma foto em baixa definição da Lua e tentasse pintar as crateras e os detalhes por cima pra deixá-los mais refinados, nítidos e visíveis, ao invés de recortar e colar uma imagem já existente da Lua em cima (como no caso da Huawei).

E bem, você na verdade pode desativar essa "pintura por cima" ao ir nas configurações da câmera e desativar o Otimizador de Cena. A partir daí, ao dar um zoom de 100x na Lua, você vai vê-la como a câmera do seu Galaxy realmente a vê.

[MarcosSilveiraX]

Hoje a Samsung deu explicações sobre o assunto.

https://www.samsungmobilepress.com/feature-stories/how-samsung-galaxy-cameras-combine-super-resoluti...

Em resumo, endossou as reportagens e os testes realizados que resumiram que as fotos "são e não são falsas". Existe sim uma sobreposição da imagem realizada por IA.
Nas amostras mostradas pela própria Samsung, as imagens da lua sem o otimizador de cenas ficam notoriamente abaixo das imagens veiculadas como "Space Zoom", um dos pontos de referência da família Galaxy S Ultra.

Sei que o aparelho possui outros atributos, mas restou a Samsung responder se o "space zoom, poderia estar no resto da linha Galaxy S (visto que o resultado é fruto do IA, não do conjunto de lentes)? E se sim, a "feature" só foi uma estratégia para agregar preço à linha Ultra?

[joao45666]

Colocar essa tecnologia em outros celulares, e aprimorar para funcionar para qualquer ambiente seria bem interessante, seria uma inovação