NpIRidEa 发表于 2025-2-22 10:56:38

Thor: 统一AI模型网关的革新之选

Thor: 统一AI模型网关的革新之选

项目价值

Thor(雷神托尔)作为一个强大的AI模型管理网关,解决了当前AI领域一个关键痛点:不同AI服务商的API格式各异,集成成本高。Thor通过将各种AI模型的独特格式统一转换为OpenAI格式,显著降低了开发者的使用门槛和维护成本。

核心优势

统一接口标准

将Kimi,星火大模型,Claudia, 智谱AI,AzureOpenAI, Ollama,通义千问,腾讯混元大模型,支持百度大模型,Gitee AI,MiniMax AI,SiliconFlow AI,DeepSeek AI, 火山引擎 等不同模型的接口统一转换为OpenAI格式
开发者只需掌握OpenAI的接口规范,即可使用所有支持的模型
大幅降低学习成本和接入时间
支持数据库


[*] SqlServer 配置类型
[*] PostgreSql 配置类型
[*] Sqlite 配置类型
[*] MySql 配置类型
[*] 达梦数据库 配置类型
智能格式转换

自动处理不同模型的请求体和返回体转换
支持function calling等高级特性的跨模型转换
确保数据在不同模型间无缝传递
统一管理平台

集中化的用户、渠道和token管理
详细的使用数据统计和分析
完整的日志追踪系统
性能与可靠性

Thor 经过严格的性能测试和生产环境验证,具有出色的性能表现:

[*]单节点处理能力: 稳定支持 2000+ QPS
[*]系统稳定性: 99.9% 可用性保证
架构优化

1. 连接池管理

environment:- HttpClientPoolSize=200# 默认HTTP连接池大小- MaxConcurrentRequests=2000# 最大并发请求数2. 多级缓存架构

graph TD    A[请求] --> B{内存缓存}    B -->|命中| F[返回结果]    B -->|未命中| C{Redis缓存}    C -->|命中| F    C -->|未命中| D    D --> E[写入缓存]    E --> F
3. 高性能配置示例

version: '3.8'services:thor:    image: aidotnet/thor:latest    ports:      - 18080:8080    volumes:      - ./data:/data    environment:      - TZ=Asia/Shanghai      - DBType=postgresql      - ConnectionStrings:DefaultConnection=Host=postgres;Database=token;Username=thor;Password=your_password      - ConnectionStrings:LoggerConnection=Host=postgres;Database=logger;Username=thor;Password=your_password      - CACHE_TYPE=Redis      - CACHE_CONNECTION_STRING=redis:6379,password=your_password      - HttpClientPoolSize=200      - MaxConcurrentRequests=2000      - EnableRequestDeduplication=true      - EnableResponseCaching=true    deploy:      resources:      limits:          cpus: '4'          memory: 8G      reservations:          cpus: '2'          memory: 4Gredis:    image: redis:7    command: redis-server --requirepass your_password    volumes:      - redis-data:/datapostgres:    image: postgres:14    environment:      - POSTGRES_USER=thor      - POSTGRES_PASSWORD=your_password    volumes:      - postgres-data:/var/lib/postgresql/datavolumes:redis-data:postgres-data:系统监控

Thor 提供完整的监控指标:

[*]性能指标

[*]QPS监控
[*]响应时间分布
[*]错误率统计
[*]渠道负载情况

[*]业务指标

[*]Token使用量
[*]渠道调用统计
[*]费用消耗情况

高可用部署

1. 多节点集群部署

graph LR    A --> B    A --> C    A --> D    B --> E    C --> E    D --> E    B --> F    C --> F    D --> F
技术支持服务

Thor 提供多层次的技术支持:

[*]标准支持

[*]GitHub Issues 响应
[*]文档更新
[*]Bug修复

[*]优先支持

[*]24/7 邮件支持
[*]远程技术咨询
[*]定制化开发

[*]企业支持

[*]专属技术顾问
[*]现场部署支持
[*]性能优化服务
[*]SLA保障

开源社区

Thor 是一个活跃的开源项目:

[*]GitHub: https://github.com/aIDotNet/thor
[*]问题反馈: https://github.com/aIDotNet/thor/issues
商业支持

对于需要商业支持的企业用户,Thor 提供:

[*]部署支持

[*]系统架构设计
[*]性能调优服务
[*]现场部署支持

[*]运维服务

[*]7x24 监控
[*]故障快速响应
[*]定期性能报告

[*]定制开发

[*]特定模型适配
[*]功能定制开发
[*]API定制化

联系方式:

[*]邮箱:239573049@qq.com
[*]vx:wk28u9123456789
Thor 不仅是一个高性能的AI网关,更是一个完整的企业级解决方案。无论是处理高并发请求,还是需要稳定可靠的生产环境支持,Thor 都能满足您的需求。欢迎加入 Thor 社区,一起构建更好的AI基础设施。
页: [1]
查看完整版本: Thor: 统一AI模型网关的革新之选