diff options
Diffstat (limited to 'crates/asist-llm/src/lib.rs')
| -rw-r--r-- | crates/asist-llm/src/lib.rs | 12 |
1 files changed, 12 insertions, 0 deletions
diff --git a/crates/asist-llm/src/lib.rs b/crates/asist-llm/src/lib.rs new file mode 100644 index 0000000..4c860df --- /dev/null +++ b/crates/asist-llm/src/lib.rs @@ -0,0 +1,12 @@ +//! Cliente de llama-server. +//! +//! Habla la API de chat de OpenAI en modo streaming, porque en un asistente de +//! voz la respuesta no se espera: se trocea en frases y se va sintetizando +//! mientras el modelo sigue escribiendo. Esperar a la respuesta entera sumaría +//! el tiempo del modelo al del sintetizador en lugar de solaparlos. + +pub mod chat; +pub mod client; + +pub use chat::{Message, Role}; +pub use client::{Delta, LlmClient, StreamOutcome}; |