La idea
En lugar de pedir al usuario que se detenga y describa la pantalla, el sistema extrae continuamente contexto visual útil y decide cuándo es lo bastante relevante para mostrarlo.
AMS - LabAsistente de visión en tiempo real
Un flujo en vivo de OCR y visión que lee la pantalla o una capturadora y convierte el contexto visual en asistencia útil y oportuna.
Resumen
La meta es un asistente personal capaz de comprender lo que está visible en este momento. La entrada puede venir de una computadora, una cámara o una capturadora y convertirse en contexto para ofrecer ayuda inmediata.
OCRVisión por computadoraCaptura de pantallaModelos de IAPython
Experiencias posibles
Podría explicar un error de aplicación, resumir un tablero, identificar texto en un video o ayudar a superar una misión difícil de GTA usando la señal de una capturadora.
Enfoque de ingeniería
La latencia, la privacidad, la captura selectiva, la precisión del OCR, el manejo de señales y evitar respuestas ruidosas o innecesarias son tan importantes como el propio modelo.
Más sistemas. Más preguntas.
Explorar todos los proyectos ↗