Login
SenseCAP Watcher – El Agente de IA Física para Espacios Inteligentes
Ver+Escuchar, Comprender y Reaccionar | IA Integrada | ChatGPT / LLM | Interacción por
Voz | Animación | Implementación Privada | HTTP | + Sensores.
un espacio específico; entonces, los LLM podrían entender lo que está sucediendo allí.
Por ejemplo, puede detectar a una persona sosteniendo un Nintendo Switch frente a un
estante o a dos personas con trajes leyendo. Esta capacidad podría desencadenar
automáticamente muchas acciones basadas en las escenas, como sugerir los juegos más
recientes a la persona con el Switch o enviar un mensaje al vendedor para que venga a
ayudar.
Así que, traer los LLMs al mundo físico puede elevar significativamente la inteligencia
en edificios y hogares inteligentes. Sin embargo, ¿cómo añadir esta capacidad a los
sistemas de automatización existentes de manera fácil?
Nuestra solución es SenseCAP Watcher, el primer agente físico LLM del mundo para
espacios inteligentes.
SenseCAP Watcher está construido sobre ESP32S3, incorporando un chip de IA
Himax WiseEye2 HX6538 con Arm Cortex-M55 & Ethos-U55, que sobresale en el
procesamiento de imágenes y datos vectoriales. Equipado con una cámara, micrófono y
altavoz, SenseCAP Watcher puede ver, oír y hablar. Además, con la suite SenseCraft
habilitada por LLM, SenseCAP Watcher entiende tus comandos, percibe su entorno y activa
acciones en consecuencia.
Simplemente PRONUNCIA tu comando
Simplemente habla con Watcher, dile qué observar, y te notificará cuando ocurra el evento
especificado.
Puedes enviar comandos fácilmente presionando para hablar o desde la aplicación
SenseCraft.
Entendiendo lo que vé
Con modelos de IA integrados en el dispositivo, SenseCAP Watcher puede detectar
diferentes cosas: personas, manzanas, mascotas, etc. Sin embargo, la característica más
destacada de Watcher es su integración con LLMs.
Al aprovechar los LLMs, Watcher puede capturar los eventos precisos que especificaste, lo
que significa ir más allá de las simples detecciones de objetivos, ya que analiza
completamente comportamientos y estados. Como “perro + jugando con la pelota, 0
personas + en la habitación”, o “La persona + con uniforme de DHL ha llegado”, etc.
¡Watcher realmente entiende la escena bajo su vigilancia!
Llamar constantemente a los LLMs como ChatGPT genera un costo elevado. Por
lo tanto, utilizamos una arquitectura de IA en el dispositivo + LLMs. El modelo de IA en el
Watcher detecta el objetivo, que luego es analizado por LLM para generar ideas precisas y
accionables.
Con la tarea “dime si el perro está rompiendo papel”, cuando el modelo del dispositivo
detecta perros, esta escena clave se envía al LLM para un análisis más profundo: ¿está
rompiendo papel? Los LLM no se activarán por personas, gatos, ardillas u otros. Esto
reduce enormemente el costo de los LLM.
Responde por voz
Después de detectar el evento especificado, Watcher puede interactuar con los objetivos a
través de la voz. Por ejemplo, puedes configurarlo de la siguiente manera:
Evento especificado: alguien toma el teclado rosa;
Dos reacciones especificadas:
1. una respuesta por voz que diga: ‘¡Buena elección! Esta es nuestra versión más
reciente, inspirada en la máquina de escribir Pink Royal’;
2. la otra reacción es un mensaje de texto a los vendedores: ‘¡Alguien está interesado
en el teclado más reciente! Por favor, vayan al estante lo antes posible’.
Colocar Watcher en diferentes escenarios permite respuestas versátiles. Al ver un perro
rompiendo pañuelos, dile “¡Para, Cooper!”, o si ve a una persona fumando en áreas donde
no está permitido, dile “¡No fumar!”
¿Cómo mejorar tus sistemas? Solo necesitas un complemento
sencillo.
Una vez detectado el evento objetivo, puede activar diferentes acciones, por ejemplo, enviar
mensajes push en la aplicación SenseCraft o hacer que las luces LED de Watcher
parpadeen. Por supuesto, entendemos que quieres ir más allá de las funcionalidades en la
app o el dispositivo. ¡No hay problema! ¡Hay infinitas posibilidades para explorar!
Añade Watcher a Home Assistant.
Conectado a plataformas IoT como Home Assistant, tu Watcher actúa como un
sensor de comportamiento, activando acciones personalizadas en diversos contextos. Por
ejemplo, cuando detecta personas, Watcher analiza la situación y automáticamente
desencadena acciones: luces encendidas para leer y luces apagadas para dormir.
Más que un sensor de visión, Watcher se puede ampliar con otros sensores
para habilitar la detección multimodal. En la parte trasera de Watcher, el I2C está
reservado para acomodar más de 100 sensores Grove. Esta flexibilidad permite queWatcher integre una amplia gama de fuentes de datos para un análisis exhaustivo y
acciones apropiadas. Podrás construir aplicaciones como detectar la temperatura de la
habitación y ajustar el aire acondicionado en consecuencia: cambiarlo a 22°C cuando llevas
traje, o a 26°C cuando estás en shorts.
Añade Watcher a tu flujo de Node-RED
A solo 3 bloques de distancia, puedes transmitir los resultados detectados por tu Watcher a
cualquier lugar en internet a través de Node-RED, ¡tan fácil como hacer clic!
Añade Watcher a tu Arduino | ESP32 y otros sistemas de
hardware.
¿Quieres añadir un agente de IA a los MCU y SBC populares como
Arduino/ESP32/Raspberry Pi? Simplemente conéctalo a Watcher a través de UART, HTTP o
USB, y podrás explorar la nueva frontera de la inteligencia.
Dato curioso: Aquí en Seeed, Watcher tiene el apodo de “Nobody,” simbolizando
un robot sin cuerpo. Esto transmite un mensaje poderoso: ¡Dale a Watcher un cuerpo!
¡Watcher puede ser una cabeza genial para tu robot!
Para los fans de XIAO, ¡tenemos un paquete especial! Apoya a SenseCAP
Watcher y podrás añadir un XIAO ESP32C6 por solo $1.
XIAO ESP32C6 es un MCU compacto, nativo de Matter, para hogares inteligentes. Basado
en ESP32-C6 de Espressif, soporta diversas conectividades inalámbricas: Wi-Fi 6 a 2.4
GHz, BLE 5.0, Zigbee y Thread.
Por ejemplo, puedes hacer un sensor de emociones añadiendo Watcher a XIAO.
Al detectar tu mal humor, florece para animarte.
Dale emociones únicas a tu Watcher
SenseCAP Watcher se adapta a tus comandos con “modos” únicos. Primero ESCUCHA tus
instrucciones, luego cambia al modo de VIGILANCIA para proteger el espacio designado,
etc. ¡Pero la diversión no termina aquí! Puedes subir tus propios diseños de emociones
para darle a tu Watcher una personalidad única. ¡Prepara un archivo PNG y súbelo a
Watcher en segundos! ¡Es tu decisión!
Los emojis predeterminados de Watcher están inspirados en C-3PO, en homenaje a uno de
nuestros mayores ayudantes.
Puedes subir los tuyos fácilmente en formato .PNG
Incluso puedes diseñar una interfaz de usuario (UI) única para tu SenseCAP
Watcher. Nuestra interfaz actual está impulsada por Squareline.
Open Source y despliegue On-Premise.
Como un dispositivo de IA, es fundamental respetar la privacidad. Y adoptamos e
implementamos dos estrategias clave en este ingenioso dispositivo.
1. SenseCAP Watcher es de código abierto, lo que te brinda acceso completo para
entender a fondo cómo funciona.
2. Soporta despliegue on-premise. La columna vertebral de SenseCAP Watcher es la
suite de software SenseCraft, que se utiliza para configurar Watcher, interpretar tus
comandos y acceder a los LLMs. Por lo tanto, todo está almacenado y ejecutándose
de manera privada, garantizando que tus modelos y datos no se envíen a ningún
LLM o nube pública. SenseCraft puede ejecutarse en Windows/MacOS/Linux. Dado
que SenseCraft contiene LLMs, ciertos criterios de rendimiento son necesarios para
la computadora, como se detalla a continuación.
Puedes desplegar SenseCraft en tus computadoras de repuesto. Sin embargo, si
buscas aplicaciones que requieran confiabilidad a nivel comercial y bajo consumo de
energía, la combinación de SenseCAP Watcher + NVIDIA® Jetson AGX Orin es perfecta
para ti.
En comparación con las tarjetas gráficas de consumo (como la RTX 4090) para
tareas de IA, NVIDIA® Jetson AGX Orin destaca con ventajas clave:
1. Confiabilidad a nivel industrial: Diseñada para aplicaciones industriales y
comerciales, la serie Jetson AGX cuenta con un MTBF (tiempo medio entre fallas)
más largo. Diseñada para operar las 24 horas del día, ofrece una confiabilidad
superior para aplicaciones de funcionamiento continuo, en comparación con las
tarjetas gráficas de consumo.
2. Compacta y de bajo consumo: Con aplicaciones de computación embebida y en el
borde en mente, la serie Jetson AGX está diseñada en un formato más pequeño y
consume más de 3 veces menos energía que las tarjetas gráficas de consumo. Es
adecuada para espacios reducidos, genera menos calor y ayuda a reducir los costos
operativos. Esto es crucial para los sistemas embebidos.
¿Suscripción? ¡Tú decides!
Los Servicios de IA de SenseCraft están diseñados para tus necesidades.
Empieza con Basic, completamente GRATIS para baja frecuencia: 15 minutos/solicitud para
análisis de imágenes, 200 chats/mes con LLMs.
¿Necesitas más? Solo $6.90 para la versión Pro, paga solo por lo que consumes, ¡SIN
compromiso de tarifas recurrentes! Además, ¡cada dispositivo NUEVO incluye un
paquete Pro GRATIS de $6.90! Recarga según sea necesario.
¿Quieres evitar tarifas por completo? Elige On-Premise. Simplemente despliega y usa sin
costos adicionales.
Dos modelos
Soporte para varios métodos de montaje.
Se puede colocar sobre un escritorio o montarlo en paredes como una expansión
inteligente. O también se puede transformar en la cabeza de un robot.
Otros lo usaron como
Personalización – El camino más rápido para construir hardware
con IA.
El próximo dispositivo debería estar impulsado por IA. ¡El hardware con IA incorporada
conectada a LLMs es la tendencia!
Con SenseCAP Watcher, hemos desarrollado un marco revolucionario que lleva potentes
LLMs al borde del mundo físico. Este marco acelera el prototipado de hardware con IA. Con
nuestros servicios de personalización, ¡puedes dar vida a tu hardware de IA más rápido que
nunca!
¡Es hora de aumentar la inteligencia de tu espacio! Estamos en
Discord.
¡Bienvenido a unirte a nuestra comunidad! Si tu prefieres escribirnos, puedes hacerlo por
medio del correo electrónico sensecap@seeed.cc.
Riesgos y desafíos
Hemos realizado pruebas exhaustivas con SenseCAP Watcher, y estamos completamente
comprometidos a entregarlo a tiempo a nuestros patrocinadores, con todo funcionando sinproblemas. No obstante, como sucede con cualquier nuevo producto, existen riesgos
potenciales asociados al lanzamiento.
Sin embargo, como una empresa consolidada con un historial probado de éxito en el
desarrollo de cientos de productos, sabemos cómo superar estos desafíos. Ten la seguridad
de que, si surgen problemas de producción, seremos completamente transparentes con
nuestros patrocinadores y los mantendremos informados durante todo el proceso.
Uso de la IA
Tengo pensado usar contenido generado por IA en mi proyecto.
¿Qué partes de tu proyecto utilizarán contenido generado por IA? Responde con la
mayor precisión posible.
Usaremos contenido generado por IA de MidJourney para crear imágenes que destaquen
las características de nuestro producto y muestran cómo puede ser usado en escenarios
reales. Además, utilizaré ChatGPT para la corrección de estilo de nuestra campaña.
¿Tienes el consentimiento de los propietarios de los trabajos que se usaron (o se
usarán) para producir la parte de tu proyecto generada por IA? Por favor, explica.
Para las imágenes que necesitamos, primero buscaremos en bibliotecas existentes en
Google. Si encontramos imágenes que puedan ser usadas directamente, verificaremos sus
licencias para determinar los pasos apropiados a seguir. Si las imágenes no pueden ser
usadas directamente, generamos nuestras propias imágenes.
The post SenseCAP Watcher – El Agente de IA Física para Espacios Inteligentes appeared first on Latest Open Tech From Seeed.
