Configurar Modelos LLM
- Como seleccionar una plataforma y modelo para tu agente LLM
- Que hace cada configuracion en la pestana General
- Como ajustar la temperatura, limites de tokens y opciones avanzadas
Cuando defines el Assistant Type de un agente como llm, AutoTalk muestra un conjunto completo de opciones de configuracion. Lo primero que eliges es la plataforma de IA, luego configuras el modelo y su comportamiento a traves de la pestana General.
Seleccionar una plataforma
El dropdown Type de plataforma (Tipo de Plataforma) determina que proveedor de IA alimenta tu agente. AutoTalk soporta cinco plataformas:
| Plataforma | Descripcion |
|---|---|
| openai (predeterminado) | Modelos de OpenAI incluyendo GPT-4.1 y otros. La opcion mas popular con una amplia variedad de modelos en diferentes niveles de precio y calidad. |
| deepseek | Modelos DeepSeek, que ofrecen precios competitivos para un rendimiento de IA capaz. |
| gemini | Modelos Google Gemini, parte del ecosistema de IA de Google. |
| custom | Conectate a un endpoint de API personalizado o de terceros. Usalo para proveedores no listados arriba, o para tus propios modelos ajustados servidos a traves de una API compatible. |
| node-llama-cpp | Ejecuta un modelo de lenguaje de gran escala localmente en tu propio hardware usando node-llama-cpp. No se realizan llamadas a API externas, lo que mantiene los datos completamente on-premises. Ideal para organizaciones con requisitos estrictos de residencia de datos. |
Despues de seleccionar una plataforma, aparecen cuatro pestanas de configuracion: General, Messages, Actions y Tools. Esta pagina cubre la pestana General; consulta Mensajes del Sistema y Herramientas para las otras pestanas.
Configuracion de la pestana General
La pestana General contiene la configuracion principal del modelo:
Modelo (Model)
Selecciona el modelo especifico a usar desde una lista dropdown. Cada modelo muestra metadatos utiles incluyendo:
- Una etiqueta de nivel de calidad (ej.: "Medio" para calidad media)
- Precio por 1K tokens tanto para entrada como para salida, para que puedas estimar costos
Por ejemplo, seleccionar gpt-4.1 muestra su clasificacion de calidad y precio por token. Los modelos mas ligeros cuestan menos pero pueden producir respuestas de menor calidad; los modelos mas pesados cuestan mas pero manejan mejor las conversaciones complejas.
Temperatura (Temperature)
Controla que tan creativas o deterministicas son las respuestas del modelo. El valor predeterminado es 1.
- Valores mas bajos (0.0 a 0.5): El agente da respuestas mas enfocadas, predecibles y consistentes. Ideal para soporte al cliente factual.
- Valores mas altos (0.8 a 1.5): El agente produce respuestas mas variadas y creativas. Util para lluvia de ideas o conversaciones casuales, pero puede reducir la precision.
Token
Un campo con busqueda donde puedes seleccionar un token de API existente o crear uno nuevo. Este token autentica tu agente con la plataforma de IA elegida. Si aun no has agregado una clave de API para la plataforma, puedes crear una directamente desde este campo.
Maximo de tokens (Max Tokens)
Establece el limite superior de cuantos tokens puede generar el modelo en una sola respuesta. Usalo para controlar la longitud de la respuesta y el costo. Si se deja vacio, el modelo usa su maximo predeterminado.
Maximo de caracteres de entrada (Max Input Characters)
Limita cuantos caracteres del mensaje del usuario se envian al modelo. El valor predeterminado es 1024 caracteres. Aumentalo si tus clientes tienden a enviar mensajes mas largos y quieres que el agente considere el texto completo; disminuyelo para reducir costos en entradas extensas.
Opciones avanzadas
La pestana General tambien incluye tres casillas de verificacion opcionales para comportamiento avanzado:
Ativar saidas estruturadas (Habilitar Salidas Estructuradas)
Cuando esta marcado, el modelo recibe instrucciones de devolver respuestas en formato estructurado (como JSON). Esto es util cuando la salida del agente es consumida por otro sistema en lugar de mostrarse directamente al cliente.
Ativar orcamento de tokens do contexto (Habilitar Presupuesto de Tokens de Contexto)
Cuando esta marcado, AutoTalk gestiona cuanto historial de conversacion se envia al modelo imponiendo un presupuesto de tokens para el contexto. Esto evita que la ventana de contexto exceda el limite del modelo en conversaciones largas y ayuda a controlar costos.
Ativar processamento de imagens (Habilitar Procesamiento de Imagenes)
Cuando esta marcado, el agente puede recibir y procesar imagenes enviadas por los clientes (en modelos que soportan capacidades de vision). Esto permite que el agente describa, analice o responda a fotos y capturas de pantalla.
Para la mayoria de los agentes orientados al cliente, comienza con la plataforma openai, elige un modelo capaz como gpt-4.1, establece la temperatura entre 0.3 y 0.5 para respuestas confiables, y deja el maximo de caracteres de entrada en su valor predeterminado. Habilita el procesamiento de imagenes solo si tu caso de uso lo requiere, ya que aumenta el consumo de tokens.