feat: 增强缓存功能

1. 添加可配置的缓存时间参数(--cache-duration)
2. 默认缓存时间从30分钟改为1天(1440分钟)
3. 支持通过环境变量CACHE_DURATION配置
4. 更新文档和配置示例
5. 修复了流式传输的问题
This commit is contained in:
yshtcn
2025-01-27 18:35:30 +08:00
parent b8067e28a1
commit a40fbadf7b
3 changed files with 119 additions and 70 deletions

View File

@@ -2,4 +2,6 @@ OLLAMA_URL=http://your-ollama-server:11434
WAKE_URL=http://your-wake-server:9090/wol?mac=XX:XX:XX:XX:XX:XX
TIMEOUT_SECONDS=1
PORT=11434
MODEL_TIMEOUT_SECONDS=30 # 模型推理请求的超时时间(秒)
MODEL_TIMEOUT_SECONDS=30 # 模型推理请求的超时时间(秒)
WAKE_INTERVAL=10 # 唤醒间隔时间(分钟)
CACHE_DURATION=1440 # 模型列表缓存有效期分钟默认1天