主题:【半原创】Flickr 网站架构研究(1) -- 西电鲁丁
共:💬69 🌺366
flickr做的cache实际上是不适合用lucene的,因为更新太多了,所以需要用update更高效的B+ tree。
而我们的应用,很少更新,仅仅是纯cache。lucene虽说是搜索引擎toolkit,但是数据结构是用inverted index,在IO方面,做了很大的优化。在纯query操作,速度明显高于B+tree。而大数据量的cache,IO是必须优化的。B+tree在数据量到一定程度,index比数据本身还大的多,而且不容易压缩。而inverted index长处在于数据结构简单,可作的优化非常多,而lucene也做了这么多优化的。
具体的,我没空找相关文章了。
整体来讲,squid是一个通用的cache system,未必适合特定的应用,或者说特定的应用可能有更好的做cache的办法的。
- 相关回复 上下关系8
🙂【讨论】好问题,送花并试着回答一下 5 西电鲁丁 字1637 2009-12-21 22:13:13
🙂Squid是用BerkeleyDB 6 yueyu 字708 2009-12-21 23:28:18
🙂谢谢yueyu兄参与讨论,花谢 2 西电鲁丁 字350 2009-12-22 07:30:22
🙂这个,要看用途啊
🙂谢谢,那memcache的hash table效率如何? 西电鲁丁 字0 2009-12-22 20:37:28
🙂这个没有考察过了 yueyu 字614 2009-12-22 20:43:40
🙂新鲜的提法,长见识 羽羊 字68 2009-12-22 17:39:24
🙂几个疑问 邓侃 字708 2009-08-27 20:35:42