
Ahora podés medir qué tan bueno es tu agente de IA (y es gratis)
Notes de l’épisode
¡Bienvenidos a Desplegando.cloud! 🚀
Desplegando.cloud es tu fuente semanal en español para mantenerte al día con lo más relevante de AWS y Serverless.
Esta semana les traigo como siempre un montón de noticias destacadas, pero me gustaría resaltar el video que publiqué, ya que puede ayudar a mucha gente que está empezando a construir agentes en AWS. Lo puedes encontrar en la sección de video de la semana.
✏️ ¡Comparte tus recursos! Si has escrito en un blog o creado algo interesante sobre AWS o Serverless, envíamelo. A veces es imposible encontrarlo todo en internet, y me encantaría destacar tu trabajo.
🎧También puedes escuchar esta newsletter en formato podcast, donde resumo cada edición. Búscalo en las principales plataformas o en cada correo que recibas.
🗓 ¿Organizas un evento en español sobre AWS o Serverless? Escríbeme en redes o en los comentarios, y con gusto lo mencionaré.
📢 Si te gusta esta newsletter, compártela con tus colegas para que más personas puedan estar al día con el mundo serverless.
Si tienes comentarios o sugerencias, escríbeme en LinkedIn, X, o Instagram.
¡A desplegar! 🚀
📰 Noticias Relevantes
🚀 AWS lanza aws-bench: un referente de código abierto para medir agentes de IA en AWS
AWS ha dado a conocer una vista previa de aws-bench, un referente de código abierto diseñado para medir la precisión y eficiencia con que los agentes de IA completan tareas reales en AWS. Este nuevo recurso busca ofrecer a los proveedores de modelos e investigadores de IA una manera objetiva y reproducible de evaluar el rendimiento de los agentes en las tareas de infraestructura de AWS.
Este referente se basa en un análisis del uso real de AWS e incluye casos de prueba para la investigación, resolución de problemas y creación de infraestructura. Cada caso de prueba combina un prompt en lenguaje natural con un estado de recurso en la nube definido y una respuesta verdadera, lo que permite puntuar a los agentes o modelos de manera consistente y verificable.
AWS afirma que aws-bench puede ayudar a mejorar el rendimiento de los modelos base en tareas de AWS, fortalecer los arneses de agentes y rastrear el progreso a lo largo del tiempo. La entrega también incluye una herramienta CLI para configurar entornos de prueba, ejecutar evaluaciones, puntuar resultados y restablecer el estado de los recursos. El proyecto está disponible en GitHub con instrucciones de instalación en el README.
🔗 Para más información, visita el anuncio oficial de AWS
📧 Amazon SES lanza nuevos planes de precios para simplificar la gestión de correos
AWS ha anunciado la introducción de un nuevo modelo de planes de precios para Amazon Simple Email Service (SES), que agrupa características de entrega y gestión de correos en paquetes progresivamente más completos. Los tres planes, Essentials, Pro y Enterprise, están diseñados para ofrecer más capacidades a un precio reducido en comparación con la compra por separado.
El plan Essentials incluye insights sobre entrega; el Pro agrega IPs dedicadas gestionadas, validación de correos y visibilidad global de colocación de correos en bandeja de entrada; y el Enterprise introduce resiliencia en múltiples regiones, aislamiento de reputación a nivel de carga de trabajo, y una evaluación anual de entregabilidad.
🔗 Para más detalles, visita la página oficial de Amazon SES.
📊 Amazon CloudWatch lanza ‘Coding Agent Insights’ para medir el uso de herramientas de codificación AI
Amazon CloudWatch ha presentado ‘Coding Agent Insights’, una nueva funcionalidad que permite a los líderes de ingeniería entender cómo se utilizan las herramientas de codificación AI y el valor que aportan. Esta capacidad se integra con el gateway de aplicaciones Claude para AWS, recopilando telemetría de Claude Code sin necesidad de instrumentación adicional. Además, ofrece soporte para OpenAI Codex y GitHub Copilot.
Al combinar las métricas de OpenTelemetry emitidas por los agentes de codificación con los datos operativos existentes de CloudWatch, los equipos pueden vincular la actividad de codificación AI con resultados de ingeniería como el rendimiento de los commits y la eficiencia de costo por producción.
Esta funcionalidad permite a los líderes evaluar dónde expandir el acceso a los agentes de codificación en función de su impacto en la velocidad de entrega y gestionar de manera efectiva los presupuestos de tokens a través de los departamentos.
🔗 Para más información, visita el anuncio de Amazon CloudWatch.
📈 Amazon Kinesis Data Streams ahora permite reducir la capacidad de ingestión.
Amazon Kinesis Data Streams ha presentado una actualización que permite a los usuarios reducir la capacidad de ingestión ajustando el valor de throughput en modo On-demand. Esta nueva característica permite al stream ajustarse a la capacidad solicitada o a la demanda máxima registrada en la última hora, lo que permite reducir la capacidad excesiva y proteger el tráfico actual de posibles restricciones.
Este avance otorga a los equipos un mayor control sobre el throughput de escritura en ambas direcciones. Anteriormente, el throughput se utilizaba para escalas proactivas en picos de tráfico, pero ahora también se puede reducir cuando la demanda baja, mejorando la eficiencia de costos y el rendimiento.
🔗 Para más información, visita el anuncio oficial de AWS.
🔗 Otras noticias que te pueden interesar
📈 AWS Organizations incrementa la cuota de RCP a 2,000 por organización → Leer más
🔒 AWS Lambda durable functions ahora soporta encriptación con claves gestionadas por el cliente → Leer más
📊 Amazon CloudWatch Logs ahora soporta logs de Application Load Balancer → Leer más
🚀 AWS Lambda durable execution SDK para .NET ya está disponible de forma general → Leer más
🤖 Claude Opus 5 ya está disponible en AWS → Leer más
✉️ Amazon SES simplifica el envío de correos electrónicos a través de SMTP utilizando Mail Manager → Leer más
📝 AWS Lambda ahora publica logs para proveedores de capacidad de instancias gestionadas por Lambda → Leer más
🔔 AWS Secrets Manager ahora publica notificaciones de actualización de secretos a Amazon EventBridge → Leer más
🔍 Amazon Bedrock AgentCore ahora ofrece observabilidad unificada con trazas y logs en un solo grupo de logs → Leer más
📦 Anotaciones de Amazon S3: añade contexto rico y consultable directamente a tus objetos → Leer más
🎬 Video de la Semana
Si estás construyendo agentes en AWS y no sabés bien qué pieza va dónde, esta semana te dejo el mapa. Spoiler: no arranca por el modelo. Arranca por tres capas que casi nadie menciona y que son las que te salvan cuando algo sale mal en producción.
📚 Artículos Interesantes
🤖 Evaluando Agentes de IA: Un Plan de Producción con Strands y AgentCore
Este artículo explica cómo evaluar agentes de IA de una forma lista para producción utilizando una estrategia combinada: evaluaciones de Strands para pruebas a nivel de construcción y evaluaciones de Amazon Bedrock AgentCore para el monitoreo continuo en producción. Presenta un marco de evaluación de tres capas que considera el uso de herramientas, el razonamiento y la calidad de salida.
Puntos clave:
* Uso de dos capas de evaluación: pruebas previas al despliegue más monitoreo en producción.
* Medir más que la salida: evaluar el uso de herramientas, el razonamiento y la calidad de respuesta en conjunto.
* Desplegar gradualmente con puertas de calidad: validar en etapa, modo sombra, pruebas A/B, y luego realizar el despliegue completo solo si los métricas se mantienen por encima del umbral.
🎯 Reflexión: La evaluación de los agentes de IA no es solo un paso; es un proceso continuo que requiere adaptación y refinamiento constante. Implementar evaluaciones adecuadas asegura no solo la calidad, sino también la confianza en el rendimiento de los agentes en un entorno de producción.
🚀 Mejores Prácticas para Aplicar Amazon Bedrock Guardrails en Flujos de Generación de Código
Este artículo se centra en cómo utilizar Amazon Bedrock Guardrails de manera más eficiente en flujos de generación de código.
This is a public episode. If you would like to discuss this with other subscribers or get access to bonus episodes, visit desplegando.substack.com