西西河

主题:【原创】it科普二 蛋疼向研究之GFW -- 浩瀚星辰

共:💬52 🌺62
全看分页树展 · 主题 跟帖
家园 大数据量关键字匹配不用什么快速cpu

没必要这么完美,旁路网络流量然后很多机器一起匹配就是,比如10万个关键字,一个cpu就匹配100个,数据分成1000份分给1000个电脑,这样用1000台机器就可以,匹配成功后把相关信息送入后台修改过滤规则,无非就是滞后一点,你第一次访问可能还没匹配出来。1分钟后规则就进去了,你就访问不了了,如果没那么多计算机还可以随机丢弃数据,比如就匹配10%的数据,这样速度提高10倍。

全看分页树展 · 主题 跟帖


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河