Desarrolla soluciones IA en
tu propio sistema IA privado

Preguntas
frecuentes

• ¿Cuál es la diferencia entre los modelos 8B y 70B?

  Los dos modelos difieren significativamente en tamaño, rendimiento y cantidad de parámetros. Los parámetros son como las “células cerebrales” de un modelo de IA: cuantos más parámetros tenga un modelo, más complejos serán su razonamiento, comprensión del lenguaje y capacidades de generación.

  El modelo Llama 3.1-8B es perfecto para interacciones cotidianas y tareas de automatización más simples, como los chatbots. Con 8 mil millones de parámetros, ofrece respuestas rápidas y precisas, ideal para empresas centradas en la eficiencia y la rentabilidad.

  El modelo Llama 3.1-70B, con 70 mil millones de parámetros, ofrece respuestas aún más detalladas y precisas, lo que lo hace más adecuado para análisis avanzados y aplicaciones complejas, aunque requiere más potencia informática y recursos.

• ¿Qué componentes están incluidos en el LLM Administrado?

  El LLM administrado incluye todos los elementos esenciales para un perfecto sistema IA:
  una potente GPU NVIDIA A100 o H100, el modelo de lenguaje grande (LLM) Llama 3.1-8B o 70B, una interfaz gráfica de usuario de chat fácil de usar y una API REST.

• ¿Qué es una REST API?

  Una API es una interfaz estándar que permite que distintas aplicaciones de software se comuniquen e intercambien datos. Una API REST es un tipo específico de API que estandariza y simplifica esta comunicación.

  Permite que Managed LLM se integre sin problemas en los sistemas empresariales existentes, como ERP, contabilidad o sistemas de tickets, lo que lo convierte en un complemento ideal para automatizar y optimizar numerosos procesos comerciales.

• ¿Cuántas solicitudes se pueden realizar simultáneamente al LLM Gestionado?

  El modelo 8B permite hasta 10 solicitudes simultáneas, cada una con hasta 16.000 tokens. Además, se pueden poner en cola hasta 512 solicitudes más, que se procesan automáticamente en secuencia. Los tiempos de respuesta promedio oscilan entre 0,5 y 5 segundos.

• ¿Qué sucede si la cola de 512 solicitudes está llena?

  Si se realizan más de 512 solicitudes simultáneas, la solicitud número 513 recibirá un mensaje de error para garantizar el rendimiento del sistema.

  Las primeras 512 solicitudes se procesan de forma secuencial y la solicitud 513 se puede volver a enviar después de unos segundos.

  Esto garantiza un funcionamiento fluido y una alta capacidad de respuesta, incluso a máxima capacidad.

• ¿Qué son los tokens?

  Los tokens son pequeños bloques de construcción en los que se divide el texto para que los modelos de lenguaje lo procesen.

  Un token representa una unidad de texto de aproximadamente 0,75 palabras y puede incluir combinaciones de sílabas, puntuación, números y/o espacios.

• ¿Qué estándares de seguridad cumple el LLM Administrado?

  Nuestro sistema IA se ejecuta en una nube privada dedicada en nuestro propio centro de datos certificado en Alemania, cumpliendo con el estándar de seguridad internacional TIER 3 y operando de acuerdo con las regulaciones de protección de datos europeas y alemanas.

  Nos encargamos del aprovisionamiento y mantenimiento del software nosotros mismos, sin depender de recursos alquilados o servicios de terceros. Para proteger tus datos, utilizamos medidas de seguridad avanzadas como firewalls, autenticación de dos factores y una conexión VPN opcional. La transmisión de datos encriptados se maneja a través de API seguras o conexiones VPN, sin almacenamiento de datos entre solicitudes y respuestas.

  Para conexiones de red aún más eficientes y seguras, ofrecemos una conexión directa opcional a través de SD-WAN, lo que permite un enlace estable y seguro sin la necesidad de VPN.

  Todo el procesamiento de transacciones de LLM administrado se realiza dentro de Alemania, lo que garantiza una seguridad adicional y el cumplimiento de los estándares de protección de datos alemanes.

• ¿Qué cubre el soporte?

  Nuestro soporte 24/7/365 te brinda acceso continuo al sistema IA, lo que garantiza una disponibilidad del 99,5% del servidor, la API y LLM.

  Durante la instalación, brindamos toda la información esencial para que comenzar sea lo más fácil posible. Sin embargo, la consultoría de aplicaciones no está incluida.

• ¿Se proporcionan actualizaciones para el LLM?

  Como norma, la actualización del LLM a una versión más nueva o diferente no está incluida en el servicio. Sin embargo, esto se puede gestionar a pedido y por un cargo adicional.

• ¿Cómo se gestiona la facturación y cuál es la duración del contrato?

  La facturación se realiza trimestralmente por adelantado a una tarifa fija independiente del uso. El plazo mínimo del contrato es de 12 meses.