Miembro del equipo técnico, agentes Member of Technical Staff, Agents
- Remoto (EE. UU.)
- $200,000 – $300,000 por año
- Tiempo completo
- Publicado hace 2 días
Se postulará en el sitio web original.
Sobre este empleo
Acerca del puesto
Únete a un equipo pequeño y sénior que desarrolla agentes autónomos de IA capaces de gestionar flujos de trabajo ejecutivos reales. Desarrollarás capacidades para los agentes y los sistemas de evaluación necesarios para verificar su confiabilidad antes de que los cambios lleguen a los usuarios.
Lo que harás
Desarrollar agentes que completen de principio a fin el trabajo que se les delegue, sin que los usuarios tengan que revisar cada paso.
Diseñar medidas confiables del éxito de los agentes y mantener evaluaciones representativas de tareas del mundo real.
Desarrollar nuevas capacidades para los agentes en las herramientas que los ejecutivos ya usan y verificar que estén listos antes del lanzamiento.
Investigar fallas en producción, identificar sus causas raíz y ofrecer soluciones que eviten que vuelvan a ocurrir.
Desarrollar métodos escalables para detectar fallas conocidas y patrones inesperados mediante herramientas de evaluación y monitoreo.
Mejorar la capacidad de recuperación de los agentes cuando una herramienta o un sitio web falla.
Crear flujos de trabajo repetibles para que los ingenieros puedan medir si los cambios en los agentes mejoran su rendimiento.
Lo que buscamos
Al menos 3 años de experiencia en puestos de ciencia de datos o aprendizaje automático, desarrollando o implementando sistemas de evaluación, métricas o mediciones de la calidad de productos.
Dominio de Python y SQL a nivel de producción para análisis, grandes conjuntos de datos y canalizaciones automatizadas.
Experiencia en el diseño de marcos de evaluación, incluidos criterios de éxito, conjuntos de datos representativos, métricas adecuadas y puntos de referencia confiables.
Experiencia en el uso de estadísticas, diseño de experimentos y simulaciones realistas de principio a fin para evaluar cambios en agentes.
Experiencia en desarrollar u operar agentes para usuarios reales y mejorar su confiabilidad; se valorará la experiencia con entrenamiento posterior, ajuste fino o aprendizaje por refuerzo.
Experiencia asumiendo la responsabilidad de sistemas y lanzándolos para los usuarios, con resultados demostrables; familiaridad con Django, React y TypeScript.
Historial de contribuciones y crecimiento sostenidos en un puesto, de fundación de una startup o de ascenso laboral.
Compensación y beneficios
Salario base: de $200,000 a $300,000 anuales. No se ofrece patrocinio de visa.
Ubicación
Presencial en Palo Alto, California, con cuatro días por semana en la oficina.
Publicado originalmente en Himalayas
Anuncio original en inglés
About the Role
Join a small, senior team building autonomous AI agents that handle real executive workflows. You will develop agent capabilities and the evaluation systems needed to verify reliability before changes reach users.
What You'll Do
Build agents that complete delegated work end to end without requiring users to check every step.
Design reliable measures of agent success and maintain representative evaluations for real-world tasks.
Develop new agent capabilities for tools executives already use, and verify their readiness before launch.
Investigate production failures, identify root causes, and deliver fixes that prevent recurrence.
Build scalable failure detection for known issues and unexpected patterns using evaluation and monitoring tools.
Improve agent recovery when a tool or website fails.
Create repeatable workflows so engineers can measure whether agent changes improve performance.
What We're Looking For
At least 3 years in data science or machine learning roles building or delivering evaluation systems, metrics, or product quality measurement.
Production-level Python and SQL skills for analysis, large datasets, and automated pipelines.
Experience designing evaluation frameworks, including success criteria, representative datasets, appropriate metrics, and trustworthy benchmarks.
Experience using statistics, experiment design, and realistic end-to-end simulations to evaluate agent changes.
Background building or operating agents for real users and improving their reliability; experience with post-training, fine-tuning, or reinforcement learning is valuable.
Experience owning and shipping systems to users, with demonstrated impact; familiarity with Django, React, and TypeScript.
A track record of sustained contribution and growth in a role, founding a startup, or earning a promotion.
Compensation & Benefits
Base salary: $200,000 to $300,000 annually. Visa sponsorship is not available.
Location
On-site in Palo Alto, California, with four days per week in the office.
Originally posted on Himalayas
Los empleadores en JOBUS nunca le pedirán pagar, comprar equipo ni compartir datos bancarios o de Seguro Social antes de una oferta formal. Confianza y seguridad