Aprender por qué es importante el ajuste del modelo
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Explorar por qué el ajuste del modelo es importante para su tarea específica.
- Aplicar principios de selección de modelos.
- Probar modelos de manera eficaz para encontrar el que mejor se adapte a su tarea.
- Tomar decisiones fundamentadas basadas en datos, no en suposiciones.
Por qué es importante el ajuste del modelo
En el Generador de solicitudes, puede elegir cuál modelo potencia su solicitud. Tener opciones implica tomar decisiones, y el modelo más nuevo o más potente no siempre es el adecuado para su tarea. Lo que importa es qué tan bien funciona un modelo en su caso de uso específico. Esto significa que debe probar y verificar.
Piénselo como elegir el horno adecuado. Un horno de convección es excelente para asar, pero puede resecar un delicado bizcocho. La herramienta adecuada depende de lo que esté preparando, y la única manera de saberlo con certeza es probarlo.
Cuatro principios para la selección de modelos
Principio 1: Especificidad de la tarea: Diferentes modelos se destacan en diferentes tareas. Un modelo excelente para resumir puede no ser el mejor para la escritura creativa. Pruebe su caso de uso específico.
Principio 2: Desempeño, no fecha de lanzamiento: Más reciente no significa mejor. Lo que importa es el desempeño del modelo en su tarea específica. Mida los resultados reales.
Principio 3: Equilibrio entre costo y precisión: Los modelos más potentes suelen costar más. A veces, un modelo más rápido y económico produce resultados suficientemente buenos. Haga pruebas para encontrar su equilibrio.
Principio 4: Coherencia y confiabilidad: En el caso de producción, se necesitan resultados coherentes. Pruebe un modelo varias veces para asegurarse de que ofrece de manera confiable la calidad que necesita.
El ejemplo de comparación de traducciones
Analicemos un ejemplo que muestra por qué las pruebas son importantes.
Tarea: Traducir conversaciones de Soporte al cliente del inglés al español para los miembros de habla hispana del equipo.
Modelos probados:
- Modelo A (más antiguo, de uso generalizado)
- Modelo B (versión más reciente)
Resultados:
- Modelo A: Un 95% de precisión en 100 traducciones de prueba
- Modelo B: Un 87% de precisión en 100 traducciones de prueba
Conclusión: Para esta tarea específica de traducción, el modelo A, más antiguo, superó al modelo B, más reciente, por 8 puntos porcentuales. El equipo eligió el Modelo A, no por ser más nuevo, sino porque ofreció resultados superiores para su necesidad específica.
Directrices para la selección del modelo
Tipo de tarea | Enfoque recomendado |
|---|---|
Resumen de texto | Probar varios modelos; medir la precisión de los puntos clave retenidos |
Generación de emails para clientes | Probar la coherencia en el tono y la precisión de la personalización |
Extracción de datos | Probar la precisión (respuestas correctas) frente a la recuperación (todas las respuestas encontradas) |
Reescritura de contenido | Probar la coherencia en el estilo y la observancia de instrucciones |
Tareas en distintos idiomas | Probar siempre los modelos específicos por idioma; no suponer que los modelos generales funcionan de la misma manera |
La metodología de prueba
Para elegir su modelo, haga lo siguiente:
- Definir los criterios de lo que es correcto. ¿Cómo se ve un resultado “correcto” para su tarea? Identifique de 2 a 3 criterios medibles.
- Crear los datos de prueba. Prepare de 10 a 20 ejemplos representativos que correspondan al uso real.
- Probar cada modelo. Ejecute su solicitud con cada modelo a elegir usando los datos de prueba.
- Medir los resultados. Evalúe cada resultado según sus criterios de lo que es correcto.
- Analizar los datos. ¿Qué modelo obtuvo los mejores resultados según sus criterios? ¿Fue significativa la diferencia?
- Elija según los datos. Seleccione el modelo que tuvo el mejor desempeño en su caso de uso real, no en función de su reputación o fecha de lanzamiento.
La selección del modelo no tiene que ser complicada. Defina cómo se ve un buen resultado, pruebe con datos reales y deje que los resultados guíen su decisión. En la unidad final, integrará todo lo aprendido y descubrirá cómo probar, iterar e implementar sus solicitudes para su uso en el mundo real.