blob: 4c860dfc95736d142f3908323d9fc2832a95bf37 (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
|
//! Cliente de llama-server.
//!
//! Habla la API de chat de OpenAI en modo streaming, porque en un asistente de
//! voz la respuesta no se espera: se trocea en frases y se va sintetizando
//! mientras el modelo sigue escribiendo. Esperar a la respuesta entera sumaría
//! el tiempo del modelo al del sintetizador en lugar de solaparlos.
pub mod chat;
pub mod client;
pub use chat::{Message, Role};
pub use client::{Delta, LlmClient, StreamOutcome};
|
