流数据实时接收方案的研究
作者:张笑燕; 刘志浩; 杜晓峰; 陆天波
更新时间:
本文讨论了在现代数据仓库系统中,接收大量流式数据,并在存储之前将其与磁盘上的现有数据连接起来的常见场景。通过合理设置磁盘分页和应用缓存模块来分散磁盘I/O压力,在现有研究的基础上提出了一种更高效的数据接收方案,并通过引入一致性哈希函数将其扩展到分布式环境,提出了分布式环境下的d-CACHEJOIN算法应用。从理论上计算了该算法的代价模型,并在数据服从Zip-fian分布的情况下进行了仿真实验。实验结果表明,在实际应用场景中,该算法比现有算法具有更高的效率,并且可以快速方便地扩展到分布式环境。