Hace 7 años | Por xiobit a itespresso.es
Publicado hace 7 años por xiobit a itespresso.es

Lo ha adaptado a su sensor de visión dinámica para crear una cámara que puede grabar a una velocidad de 2.000 frames por segundo.

Comentarios

D

Quiero aclarar un par de cosas sobre la noticia: la foto no se corresponde con el sensor de visión de samsung... lo de la foto es una Gear 360; el aparato de visión de samsung es más como un cubito magenta con dos ojitos; lo que reconoce por ahora está al nivel de la kinect; que capte a 2000 fps no quiere decir que guarde a 2000 fps... de hecho no guarda nah, lo que está calculando es posición de manos y sus movimientos. Así que mejor no pensar que será una camaraza guay para grabar, porque no, básicamente es una kinect que calcula movimiento de manos mucho más eficientemente.

G

#9 Bueno realmente si guardan , el frame tiene que enviarse al ordenador y en el ordenador se guarda en la memoria para su procesamiento, una vez procesado se deshecha o más bien se sobreescribira con el siguiente frame. Pero realmente se guarda, aunque sea temporalmente, posiblemente hasta se guarden varias frames en una cola.


Por cierto me pregunto si dará el USB3.0 para tal cosa.

D

#10 Por lo que vi durante la presentación, no envían todos los frames, los usan para procesar y envían al PC un heat map del movimiento, diría que a unos 60 fps. Aunque enviasen los 2000 frames, la pantalla no los podría representar, así que sería un gasto inútil de datos. La cámara tiene su propio procesador para los cálculos, diría que calcula sobre una cache L2, y escupe los resultados de procesar. Para el movimiento de manos o cuerpo no veo necesario 2000 fps de input, lo había visto para cosas que requieren procesado rápido, por ejemplo coches autónomos. Pero vamos, que para calcular por ejemplo que he movido la mano en "swipe left", no veo que necesiten tanto. Pero creo que es por el roadmap que tiene samsung, no lo quieren limitar a movimiento corporal sino hacer un sistema de visión genérico, pero por ahora están en el punto de movimiento corporal. No sé si esto contesta tu duda...

G

#11 Realmente no tengo duda era por ser quisquilloso con el tema de "guardar"

"Procesar" no quiere decir que los representes en pantalla, pero para detección de movimiento tienes que hacer los calculos en tu equipo, no que te vengan hechos. Y claro que toda la camaras tienen procesador de imagenes ya que es el encargado de la captura, comprimirla y enviarla pero que haga la detección nada de nada. Aunque hay camaras que tienes algun algoritmo de detección en su memoria pero suelen ser camaras de seguridad que tienen su propio programa de detección no te vale para utilizar el tuyo.

Realmente 2000fps dudo que ni para el movimiento de las manos ni para un coche autonomo.

La ventaja que suele tener eso suele ser sobre la latencia, yo por ejemplo recientemente necesite una camara con poca latencia (aun no me puse), y una de 30fps aunque me llegaba de FPS para el tipo de detección no así su latencia, entonces lo que queda es ir a por una 120fps, y aunque te quedes con 1fps sabes que la camara procesa 120fps y vas a tener ese frame en nada de retraso de la realidad, cosa que una de 30fps ni de coña.

O sea en un coche autonomo posiblemente los 2000fps a grosso modo no te valga para nada pero si la latencia que ello conserva, por que medio segundo de una 120fps en determinados casos posiblemente no sea suficiente, sobretodo para el tracking de objetos a altas velocidades.

Y aun así me pregunto si se necesita algo más doble de la actual 240fps actualmente ...

#12 nooo... los fps son lo más importante en las camaras de detección, claro que a más resolución más trabajo y reduce la latencia y menos FPS puede procesar. La resolución es importante desde el punto de vista de que empeora la latencia.

Lekuar

#14 Perdón, me explique demasiado brevemente.
Me refería a que para que el USB 3.0 soporte el flujo de datos de la cámara hay que tener en cuenta tanto el framerate, como el tamaño del cuadro como la profundidad de color, y la compresión (suponiendo que tenga), para conocer el bitrate final, en caso de que la cámara envie los datos "en crudo" por el USB, cosa que tampoco se.

G

#17 Tampoco lo se, aunque dare por sentado que ira comprimido, cogiendo mi camara de fotos que de 6000x4000 en RAW deben ser 20mb de media por foto, a muy pocos X fps ya es poco asumible, para una fotico bien pero para X frames por segundo oO

Lekuar

#18 Ya, la cámara profesional más bestia que conozco es la RED ONE, captura 4k@60fps o 2k@120fps, y codifica en 12bits-RAW, y estamos hablando de 50.000$ de cámara, sólo el cuerpo de cámara, optica, visor y grabador van aparte.

G

#22 Esas son supongo más centradas en el cine, fotografía, hay cámaras más baratas con alto FPS y resolución suficiente (quizas no 4k), no si cabe demasiada profundidad de color. Tambien hay camaras de 1000fps para cine. oO

De todas formas para el procesamiento y detección de imágenes lo más importante es la latencia y fps y tampoco interesa demasiada una GRAN resolución por que una vez tengas la imagen tienes que procesar dicha imagen y si esperas procesar una image 4k con 16bit en un tiempo minimo ya puedes tener una computadora. de 100 veces el precio de esas camara lol
y realmente no creo que necesites tanto detalle en una imagen, lo que necesitas (a mi modo de ver sin casi nada de experiencia todavía en eso) es una resolución aceptable y si quieres en RT una latencia mínima.

Lekuar

#25 Si, está claro que en la captación no está el problema, está en la potencia de procesado, ahora imagínate lo mismo pero con visión estereoscópica para poder calcular también profundidad, no hay procesador ni bus de datos que aguante eso.

Lekuar

#10 Pues todo dependerá del tamaño del cuadro y la profundidad de color, al final lo que cuenta es el bitrate no los fps.

D

#10 Y por completar un poquito más, te envío imagen del dispositivo (abajo a la izquierda) y de lo que detecta (la mano de colorcillos). Como ves por las 5 cositas que detecta, por ahora está en pañales, kinect ya hacía todo esto hace años, pero supongo que están inviertiendo en ello porque tienen posibilidad de hacer mejores cosas con ello... o puede ser otro proyecto de R&D más que termina en callejón sin salida y se va a un cajón. Ya lo veremos. Por ahora no veo que sea noticia, nada nuevo bajo el sol excepto que el chip es innovador y puede darles mucho juego. Pero cuando le saquen partido será noticia, ahora mismo... meh.

Por cierto, en la misma charla hubo una presentación de análisis big data de venta de productos en supermercados para controlar la expansión de enfermedades causadas por norovirus... esa sí era interesante. Para entenderlo, supongamos un brote de salmonela, entonces mucha gente va a los hospitales y se les entrevista para ver si son potencialmente contagiados. Para reducir tiempos de entrevista y afinar más, se puede saber dónde compraron comida los contagiados, y así saber con mucha más probabilidad si puedes estar contagiado... simplemente sabiendo dónde has comprado o entregando el ticket. Esa sí debería ser noticia.

G

#15 El kinect (que tengo un cajon) de hace años es bastante malo para capturar en RT (real time), yo personalmente lo utilizaba para MOTION CAPTURE (no RT), y escáner de profundidad que es la ventaja del kinect. Pero la publicidad de Microsoft como de costumbre era un engaño, nunca funciono tan bien como decían ni de lejos.

Tienes el Leap motion del que personalmente desarrolle un par de aplicaciones de tracking de las manos para RV (realidad virtual), si bien los primeros años se notaba una latencia de las manos de 1s en el ultimo año metieron una mejora considerable, aparte en paginas chinas lo encuentras por 30€, si mal no recuerdo en optimas condiciones y con ordenador suficiente iba a 200fps.
También tienen en el cajón de desarrollo su próxima apuesta que es el Dragonfly. Posiblemente sea de las cámaras detección más económicas si la compras en china, a ellos creo que esta en 99€, y aun así posiblemente plug&play sea de las más baratas y no modulos de camaras para boards sea de lo más economico.

Luego había una creo que de Sony de altos FPS pero que valía una burrada.

D

#16 Gracias Tengo tanto kinect 2 como leap motion, ambas en cajón también, criando polvo desde 2013 y 2014 respectivamente. Últimamente estube con desarrollo de hololens, pero no tengo propias así que fue el poco tiempo que tuve unas, y ahora estoy esperando por unas Meta AR que sí disfrutaré a tiempo completo. Serán mi tesoro. Lo de detección de movimiento me interesó porque tuve que hacer una PoC de control de apps usando movimiento, por ejemplo para entornos de laboratorio médico. También hice una PoC para mismo sector con Google Glass, para protocolos de laboratorio, poder seguirlos mientras estás trabajando con las manos. Como opinión personal... bueno, está bien para matar el rato, pero no es algo que diga "me superencanta programar esto". Ahora estoy con bots inteligentes, que entienden lenguaje natural o reconocen fotos, y sí estoy disfrutando como un enano.

G

#19 Con el kinect 2 creo que si mejoro bastante el tema RT pero tampoco suficiente, aunque yo no tuve ocasión de meterle mano al igual que los otros temas AR, aparte de muy caros aun es una tecnologia que esta muy en pañales y salvo que tengas/trabajes en una empresa fuerte a largo plazo no le veo yo salida a corto plazo de años como para "jugar" con ellos. Eso si es una inversión de futuro buena "jugar" con ellos.

En reconocimiento de imagenes es lo que me quiero liarme yo próximamente, con OpenCV, ya tengo el hardware pero me falta el tiempo para liarme la manta a la cabeza y empezar un poco seriamente.

D

#20 Con OpenCV no necesitas un hardware especial... yo lo uso con una webcam salchichera de 20€, y reconoce genial caras, posición de ojos, boca, etc. Lo que sí necesitarás será una iluminación correcta, con focos muy directamente se equivoca e identifica caras dónde no las hay (uso Haar Cascade). Durante una demo en un lugar con una iluminación muy fuerte de neones, identificaba caras en la pared de detrás de mí... y la gente decía que si serían las caras de Bélmez. Lo que necesites avisa, si te vas a poner con ello, siempre te puedo echar una mano para arrancar (en mi caso NodeJS + OpenCV + Socket.io y el front con Angular + Socket.io).

G

#21 Si necesitas una de 120fps mínimo si quieres hacer algo en RT de detección + reconocimiento.
Las salchicheras tienen una latencia de 1-2segundos sin contar el tema de procesado en tu ordenador.

Sobre lenguajes tirare por C++ supongo, y librerías pues OpenCV y no se que más necesitare aun como dije lo tengo en la cabeza pero no empece solo verlo por encima lo que si evitare es todo lo que tenga que ver con java, soy alérgico lol

Ya hice proyecto en C++ + Unreal Engine de capturar el escritorio y presentarlo en un entorno 3D , y utilizar Leap Motion para manejarlo con las manos, tambien meti la captura de frames de una camara de por medio para una toma de contacto y para saber el coste (grande) de procesamiento, sobre este tema me quedo ver en profundidad solo el tema de procesar por cuadros en vez de toda la imagen para que sea asumible y estuvo entretenido pero fue lo maximo que me acerque, nada de reconocimiento (quitando las manos pero eso era con API del leap) ni OpenCV de momento.

D

#23 Con OpenCV tienes un emulador por ahí que emula la GB camera en una GameBoy

https://github.com/AntonioND/giibiiadvance

G

2.000 frames a full resolution no hice cuentas pero seguro que se encontraran con el problema de un disco que consiga guarda todos esos frames a velocidad suficiente.

Por cierto 2.000 frames parece una burrada, 120fps ya consiguen capturar bastante precisamente el movimiento de objetos, vale que igual en algunas cosas más precisión vendra bien... pero vamos viendo como trabajan 120fps pues doblando ya sería magnifico,

borteixo

#7 si es para IA no hay que volcarlos a disco, hay q aplicarles algoritmos de reconocimiento de imagen, pero sigueexistiendo el mismo problema, el algoritmo deberá procesar cada frame en menos de 0.5 ms, un tiempo bastante jodido. Al final todo depende de la resolución y el propósito.

G

#24 Y la resolución tiene que ser la justa para el propósito, cuanto más baja mejor siempre que sea suficiente para el propósito por que si quieres RT el tiempo de procesamiento es primordial y con una alta resolución no lo vas a conseguir por muy baja latencia o muchos fps que tenga la cámara.

Unos cuantos millones de pixeles por segundo, desmadrados millones si utilizas altas resolución no los procesa cualquier ordenador del mercado ni quemando la tarjeta de credito.

borteixo

#26 cierto, aunque habría q ver si con hardware añadido, por ejemplo para temas de deteccion de movimiento estaria interesante un comparador hardware para cada uno de los píxeles.

D

¿Soy yo, o se parece demasiado ese ojo a este?

Casanotra

#1 De hecho, de lejos parece una lavadora

Nividhia

http://www.samsung.com/global/galaxy/gear-360/ La foto no se corresponde con el articulo.

G

#4 por que sera una foto de referencia no de su nueva camara pues seguramente aun sea un prototipo.

Nividhia

#8 De referencia nada, simplemente la han puesto para confundir y hacer pensar que la camara de la foto, que parece un ojo, es lo construido. Es como lo de 'no te creeras lo que paso' pero con foto

Moléculo

Es interesante sobre todo el chip. Con unos cuantos de esos sí que se podría crear tal vez una IA de verdad.

Spartan67

4 comentarios y en portada.

D

No me parecen suficientes fps.

Imaginemos unos seres vivos cuyo metabolismo les permite existir a velocidades absurdas para nosotros, percibiéndonos ellos a nosotros, como nosotros percibimos a las plantas, inmobiles a simple vista.

Dichos seres, desplazándose a una velocidad cercana a la luz, serían indetectables incluso con semejante dispositivo.

e

#29 En conclusión, esta cámara es insuficiente para detectar a seres imaginarios.

CyberAnt

-Haz girar la cápsula, HAL
-...