la propagación de sistema autónomotecnología que permite la toma de decisiones y la acción No se requiere intervención humana directay su creciente influencia en decisiones de alto impacto, como la gestión de la red, el control del tráfico urbano o la asignación de recursos, impulsó a un grupo de investigadores del campo Instituto de Tecnología de Massachusetts (MIT) desarrollar Establecer semillasun nuevo método de detección automatizado riesgo de acciones existir AI antes del despliegue.
La herramienta está diseñada para resaltar situaciones de la fase de prueba en las que se tomaron decisiones del sistema a pesar de su optimización frente a métricas objetivas como el costo o la confiabilidad. Puede entrar en conflicto con valores humanos fundamentales, p. justicia. De esta forma, el responsable puede prever dilema moral Potencial relacionado con la implementación Algoritmo de protagonista autónomoSegún informa el sitio web del portal profesional de innovación científica y tecnológica Exploración tecnológica.
SEED-SET permite evaluar la coherencia moral de sistemas autónomos a gran escala
La aplicabilidad de este método se ha verificado en escenarios como la gestión inteligente de la red eléctrica y la selección de rutas urbanas, donde las recomendaciones generadas por IA afectan a múltiples objetivos simultáneamente.
El método SEED-SET radica en Separe la evaluación de los resultados objetivos (como el costo o la estabilidad energética) de los valores humanos subjetivos.por lo general no se puede medir directamente matemáticamente.
Para incorporar esta dimensión moral, los autores utilizaron Modelo de lenguaje básico (LLM) Capacidad para modelar las preferencias de los grupos afectados, permitiendo comparar situaciones en función de criterios como las percepciones de justicia.
En la práctica, la herramienta crea una jerarquía de evaluación. Primero, los modelos objetivos evalúan qué tan bien un sistema cumple con métricas cuantificables. Luego, basándose en ese diagnóstico, el modelo subjetivo utiliza instrucciones definidas por el usuario humano para guiar al LL.M. en la comparación moral de alternativas.
de acuerdo a Anjali ParasharEl autor principal del estudio dijo que esta estructura de dos niveles puede producir la situación deseada y al mismo tiempo reducir la cantidad de evaluaciones requeridas.
Por ejemplo, las pruebas de simulación revelaron cómo ciertas estrategias de distribución de energía Priorizan suministro a zonas de altos ingresos durante los periodos de máxima demandalo que pone a las comunidades vulnerables en mayor riesgo de sufrir perturbaciones. SEED-SET facilita la identificación de estos casos y demuestra la flexibilidad del enfoque para adaptarse a los cambios en las preferencias éticas de quienes definen la política operativa.
Emplear modelos lingüísticos como evaluadores puede acelerar y profundizar el análisis ético
Uno de los obstáculos comunes a la evaluación ética de los sistemas autónomos es Falta de datos subjetivos etiquetados estándar y situaciones en las que los evaluadores humanos se agotan o se vuelven inconsistentes después de analizar una gran cantidad de escenarios.
Para superar este obstáculo, los investigadores programaron modelos de lenguaje Instrucciones específicas Esto refleja el perfil ético de diferentes grupos de usuarios (por ejemplo, comunidades rurales o centros de datos) y les permite elegir entre alternativas basadas en estos valores.
«Al modificar las preferencias del usuario, Los conjuntos de escenas producidos por SEED-SET varían ampliamente.. Esto demuestra que el método Responder con precisión a las prioridades éticas de todas las partes.«, dijo Parashar.
Perspectivas de aplicación y etapas futuras.
Hasta ahora, los resultados de SEED-SET se han basado en simulaciones. El equipo está preparando pruebas adicionales para demostrar que los escenarios generados por el sistema se traducen en mejores decisiones en el mundo real, así como para incorporar modelos más efectivos capaces de gestionar sistemas más grandes y evaluar decisiones tomadas por otros modelos de lenguaje subyacentes.
Este método fue presentado en la Conferencia Internacional sobre Representaciones del Aprendizaje. La investigación contó con la participación del equipo del MIT y la empresa sueca Saab.
