日志服务的架构如下图所示。
Logtail
帮助您快速收集日志的Agent。其特点如下所示:
- 基于日志文件、无侵入式的收集日志
- 只读取文件。
- 日志文件无侵入。
- 安全、可靠
- 支持文件轮转不丢失数据。
- 支持本地缓存。
- 网络异常重试。
- 方便管理
- Web端操作。
- 可视化配置。
- 完善的自我保护
- 实时监控进程CPU、内存消耗。
- 限制使用上限。
前端服务器
采用LVS + Nginx构建的前端机器。其特点如下所示:
- HTTP、REST协议
- 水平扩展
- 流量上涨时可快速提高处理能力。
- 支持增加前端机。
- 高吞吐、低延时
- 纯异步处理,单个请求异常不会影响其他请求。
- 内部采用专门针对日志的Lz4压缩,提高单机处理能力,降低网络带宽。
后端服务器
后端是分布式的进程,部署在多个机器上,完成实时对Logstore数据的持久化、索引、查询以及投递至MaxCompute。整体后端服务的特点如下所示:
- 数据高安全性 :
- 您写入的每条日志,都会被保存3份。
- 任意磁盘损坏、机器宕机情况下,数据自动复制修复。
- 稳定服务:
- 进程崩溃和机器宕机时,Logstore会自动迁移。
- 自动负载均衡,确保无单机热点。
- 严格的Quota限制,防止单个用户行为异常对其他用户产生影响。
- 水平扩展:
- 以分区(Shard)为单位进行水平扩展。
- 用户可以按需动态增加分区来增加吞吐量。