主题:【原创】闲话Google集群 [6] 同步的苦恼 -- 邓侃
平时都跟着几位写家在英雄那边潜水
今天一看邓兄这个标题就笑了
GFS的东西之前确有接触 为什么捏 因为几年前遇见个比它更BT的案
一个横跨亚欧大陆(从东边的日本一直到西边的意大利)四个国家N个点的数据同步问题
抑郁的问题是涉及到协同工作,即这N个点里可能都在做同样的案子,一个地方更改了同时要反馈到其他的点去.按说如果有一个协同平台的应用级系统可以解决这个问题吧,可惜总的数据量都是TB级别.应用层面来解决的难度不是一般的大.从硬件层面来看(服务器和存储)而各个点之间的设备异构太大,厂商大谔们没一个敢接招的.
更为关键的是预算又敏感,推倒原有架构重起炉灶的事情BOSS不批,且各点之间的专线带宽因为涉及到多个国家提升也确实存在问题.
最后的解决方法非常好玩 不是现在热吵的什么硬件级别的灾备分中心拉 什么软件级别的重复数据删除拉 什么系统级的协同平台拉 或者拉一根可以3秒下一部DVD影片的专线拉(当然最终的解决方法肯定会是从技术层面彻底、根本地解决问题,不过那已经不干偶地事情拉)
靠的是传统间谍最原始也最安全的办法--信使.
别说后来一实验,效果还不错.因为这个庞大的实体当空中飞人的还真多,而飞之前都要报HR备案(各个国家的补贴、汇率计算方法估计不会比那个铱星"A国人通过B国的卫星在C国给正在D国HIGH的购买电话于E国的居住地在F国的G国人"打过一个电话的费用计算简单)于是一个小小的程序就解决了问题,飞人们带着个SATA硬盘飞来飞去,意想着有多少个TB的数据翱翔在亚欧大陆的3万英尺之上呵,多么地行为艺术——那可是阳春白雪和下里巴人的最最完美结合呢!
- 相关回复 上下关系8
😄花!期待“动态索引的实现” 看看 字18 2008-10-13 18:45:24
🙂邮件标签 邓侃 字100 2008-10-13 17:58:44
🙂通俗易懂阿,呵呵,上花。 季侯 字0 2008-10-12 08:22:27
🙂一看标题可乐了
🙂花一下,我以前孤陋寡闻的以为 乌柏 字37 2008-10-12 18:42:41
🙂SneakerNet 邓侃 字175 2008-10-12 06:07:29
🙂SNEAKERNET是最为彪悍的存在 qwerty 字178 2008-10-12 07:49:03
😜反对小组长干涉 肉猫 字177 2008-10-12 02:58:17