Aprender por qué es importante que el modelo se ajuste
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Explorar por qué es importante que el modelo se ajuste a su tarea específica.
- Aplicar principios de selección de modelos.
- Probar modelos de forma eficaz para encontrar el que mejor se ajuste a su tarea.
- Tomar decisiones fundamentadas basadas en datos, no en suposiciones.
Por qué es importante que el modelo se ajuste
En Prompt Builder puede elegir qué modelo potencia su solicitud. Tener opciones implica tomar decisiones y el modelo más reciente o más potente no siempre es el más adecuado para su tarea. Lo que importa es el rendimiento del modelo en su caso de uso específico. Esto significa que debe realizar pruebas y verificar.
Imagínese que tiene que elegir el horno adecuado. Un horno de convección es ideal para asar, pero es posible que un bizcocho salga demasiado seco en lujar de esponjoso. La herramienta adecuada depende de lo que se esté haciendo y la única forma de saberlo con certeza es realizando pruebas.
Cuatro principios de selección de modelos
Principio 1: Especificidad de la tarea: distintos modelos destacan en distintas tareas. Es posible que un modelo sea fantástico para realizar un resumen pero que no sea el mejor para la escritura creativa. Pruebe su caso de uso específico.
Principio 2: Rendimiento y no antigüedad: lo más nuevo no siempre es lo mejor. Lo que importa es el rendimiento del modelo en su tarea específica. Mida resultados reales.
Principio 3: Equilibrio entre coste y precisión: los modelos más potentes suelen tener un coste más elevado. A veces, un modelo más rápido y económico produce resultados suficientemente buenos. Realice pruebas para encontrar su equilibrio.
Principio 4: Coherencia y fiabilidad: para uso en producción, se necesitan resultados coherentes. Pruebe un modelo varias veces para asegurarse de que se consigue la calidad que necesita de forma fiable.
Ejemplo de comparación de traducciones
Vamos a revisar un ejemplo que muestra por qué las pruebas son importantes.
Tarea: traducir conversaciones de del servicio de atención al cliente del inglés al español para los miembros del equipo de habla hispana.
Modelos probados:
- Modelo A (más antiguo, de uso generalizado)
- Modelo B (versión más nueva)
Resultados:
- Modelo A: 95 % de precisión en 100 traducciones de prueba
- Modelo B: 87 % de precisión en 100 traducciones de prueba
Conclusión: para esta tarea de traducción específica, el Modelo A más antiguo supera al Modelo B más nuevo en 8 puntos porcentuales. El equipo eligió el Modelo A, no por ser más reciente, sino porque ofrecía resultados superiores para su necesidad específica.
Directrices de selección de modelo
Tipo de tarea | Enfoque recomendado |
|---|---|
Resumen de texto | Probar varios modelos; medir la precisión de los puntos clave conservados |
Generación de correos electrónicos para clientes | Prueba de coherencia de tono y precisión de personalización |
Extracción de datos | Prueba de precisión (respuestas correctas) frente a exhaustividad (todas las respuestas encontradas) |
Reescritura de contenido | Prueba de coherencia de estilo y seguimiento de instrucciones |
Tareas en varios idiomas | Pruebe siempre los modelos específicos para cada idioma; no asuma que los modelos generales funcionan igual |
La metodología de prueba
Para elegir su modelo.
- Defina criterios de éxito. ¿Qué significa que su tarea se complete bien? Identifique entre 2 y 3 criterios mensurables.
- Cree datos de prueba. Prepare entre 10 y 20 ejemplos representativos que se correspondan con el uso real.
- Pruebe cada modelo. Ejecute su solicitud con cada modelo candidato utilizando los datos de prueba.
- Mida los resultados. Puntúe los resultados según sus criterios de éxito.
- Analice los datos. ¿Qué modelo es el mejor según sus criterios? ¿Es significativa la diferencia?
- Elija basándose en los datos. Seleccione el modelo que mejor haya funcionado para su caso de uso real, no en función de su reputación o fecha de lanzamiento.
La selección de modelos no tiene por qué ser difícil. Defina qué significa un buen resultado, realice pruebas con datos reales y deje que los resultados guíen su decisión. En la unidad final, reunirá todo lo aprendido y descubrirá cómo probar, iterar e implementar sus solicitudes para su uso en el mundo real.