011.日志聚合、页面浏览量分析时对Redis的应用

首先要确认自己能丢失多长时间的数据，如果可以丢失一小时内产生的数据，可以使用save 3600 1。
其次在进行数据恢复时，要搞清楚我们丢失了哪些数据。为了弄明白这一点，我们需要在处理日志的同时记录被处理日志的相关信息。

1
2
3
4
5



def process_logs(conn, path, callback):
    current_file, offset = conn.mget('progress:file', 'progress:position')
    pipe = conn.pipeline()

核心就是在处理时，增加一个字段用于记录处理的日志的偏移量，看的出来，这种方案是用于处理离线数据，现阶段处理离线数据的需求貌似不是很强列。