- 平台启动 同步加载通用词库 单独线程异步加载租户词库 租户词库未加载完成前,使用通用词库
- 新增租户首次上线 租户发布搜索服务时使用通用词库,同时主动开启一个线程异步加载该租户词库,租户词库未加载完成前,使用通用词库
- 租户在线改动 根据Redis时间戳,异步增量加载词库
https://stackoverflow.com/questions/6760685/creating-a-singleton-in-python
singleton with tenant id as parameter
per tokenizer instance per tenant
一个worker内存放多个tokenizer实例
redis存储每个租户词库更新时间戳作为flag,在线query每次从这儿去判断是否要加载词库
根据redis的flag,异步线程从MySQL加载到本地词库缓存(tokenizer实例)