西西河

主题:【原创】对SNS架构的非典型性批评 -- 邓侃

共:💬48 🌺64 新:
全看树展主题 · 分页首页 上页
/ 4
下页 末页
家园 我的极端想法

SQL是否有必要,我的极端想法是这样的。

如果用户需要在command line操作数据,那么有SQL会很方便。

如果用户永远是在程序中与数据库打交道,通过JDBC加上SQL,就是累赘。

SQL的好处是方便,坏处是增加额外环节,譬如编译SQL,生成执行计划,以及合并数据等等。

另外,如果SQL的语句写得稍微复杂一点,效率优化也是大麻烦。需要通过专门的工具看编译器生成的执行计划是什么,如何改写SQL语句,使执行计划更有效率。

感觉就像是为了提高Java的执行效率,要求Java程序员透彻了解Java bytecode一样。或者要求C++程序员,明白对应的汇编语言一样,这个要求有点不合情理。

所以,我的极端想法是,与其惹SQL那份麻烦,不仅程序运行效率低,而且对程序员要求高,能不用就尽量不去惹事,和自己过不去。

当然,我知道这个想法比较另类,绝大多数人不会同意。呵呵

家园 对女生跟班的两种读解

1. 给女生当跟班。

2. 我是女生,我的职务是跟班。

看来我的读解错了。呵呵

家园 西西河里DBA如过江之卿啊,呵呵

说到Data Warehouse,BI, ETL,这里有个Database 的blog不错,热点话题很多,值得一读:

如ETL: To ETL or federate ... that is the question

BI与Cloud:There's a bright cloud on the horizon ... and it will transform the economics of BI

DBA眼里看MapReduce:MapReduce: A major step backward

MapReduce II

家园 一点不极端

早年MySQL之所以流行起来,一个主要因素就是速度快,因为它老的版本没有transaction的机制,当然速度快了。 另一个有名的快速数据库是BerkeleyDB,也是这种丢三拉四的,但是轻装上阵,现在好多软件自带SQLLite,有点重走MySQL老路的架式,但这样的需求看来总是存在的。

前两天看到某异人的blog,正在准备做个project,准备把DB里面的stored proc什么的都去掉,做个轻便DB云云,而且不是闲着玩的,似乎是个某公司立了项的,但一下子找不到那个blog,当时看了也就一笑了之,心想等弄出点名堂来自然说的人多了,再研究不迟。 是不是你也是受了什么启发,按说老中里喜欢动歪脑筋的人不多,即然你吞吞吐吐的,那么葫芦里面装的什么药就快倒出来吧,让大家帮你参谋参谋?

家园 Ucenter是Discuz开发的那个么?

传统的LAMP,PHP+DB的架构,说是三层,逻辑三层还勉强,物理三层就说不通了。其实,99%的应用是全装在一台机器上的。

如果对SNS的architecture感兴趣,这里有个在业内很出名的经典blog ,介绍了不少有名的大型SNS的architecture,如youtube,amazon,flickr,google,facebook等。

家园 架构设计blog

这个blog很有意思,值得好好读读。

多谢。

UCenter的确是Discuz开发的。功能还是不错的,用户量少的时候,用户体验相当好。

家园 冤枉我了

按说老中里喜欢动歪脑筋的人不多,即然你吞吞吐吐的,那么葫芦里面装的什么药就快倒出来吧,让大家帮你参谋参谋?

冤死我了,在“闲聊Google集群”系列的第一篇,一开场我就交代了动机。

大家能到我这里来工作,是大家的缘分。5年后,10年后,大家会在哪里,很难说,或许各奔东西了吧。我要问的是,公司能够给大家每一个人做一点什么?

所以就读论文了,刺激大家对专业的热爱,最好,几年后大家都有能力做架构师。

至于SQL,我质疑它很久了。但是目前还没有打算动手挑战。BerkeleyDB我很认真地用过,后来放弃了。原因是存储数据的规模大了以后,速度就慢下来了。我猜测,问题出在data的serialization上。有待证实。

吞吞吐吐有点冤枉,喜欢动歪脑筋导师很贴切。极端的思想有个好处,就是能够刺激思想的深度。但是不必急于把极端思想付诸实施,反复权衡,拿捏准了再下手不迟。

家园 MapReduce的评论,倒退

虽然我很喜欢读这篇文章,完全不同意这个DBA的论点。

计划在今后谈到MapReduce的时候,把我的意见写下来。

家园 那就等你的好贴了

昨天看到一则消息,有个startup自己利用mapreduce原理开发了个支持SQL的datawarehouse,估计这次可以赢得许多DBA们的好感了,不过与你前面所提的SQL overhead问题似乎是有百害而无一利,呵呵。

文中也提到Apache opensource主持的Hadoop与微软的科研院项目Dryad, 其中Hadoop更是被yahoo与NY Times采用多年了:

Aster and Greenplum aren't the only ones taking advantage of MapReduce. Apache has also developed an open source version of MapReduce known as Hadoop.Yahoo (NSDQ: YHOO) uses Hadoop for Web search and advertising, and The New York Times has used Hadoop in combination with Amazon (NSDQ: AMZN) Web services to transform millions of old articles that were each in several disparate scanned TIFF images into PDF format. Microsoft (NSDQ: MSFT) Research has developed a similar parallel computing framework known as Dryad.

家园 这俩位爷可不是普通DBA

自Jim Gray失踪以后,这俩就是数据库领域的大当家和二当家. 否则也不敢说样的话.

他的观点其实是: Mapreduce是个好东西,但不是scalablity的万灵丹.至少在数据库领域,咱哥俩就不承认.

家园 出差一个礼拜,回来才看见邀请

回花

家园 得罪了牛人

多谢提醒。

我对牛人有崇拜情结。既然是两位掌门人,那么他们的文章还得二读三读。否则不敢冒然作乱。

家园 为了攒声望,RP爆发了啵,天天有宝呢~

恭喜:你意外获得【通宝】一枚

谢谢:作者意外获得【通宝】一枚

鲜花已经成功送出。

此次送花为【有效送花赞扬,涨乐善、声望】

家园 兄台高论,受教了

“真正的问题还是如何把信息组织成知识。”

兄台高论,受教了

家园 文件系统不改良问题多

以前国内有个流行的perl写的论坛-雷傲,完全使用文件来存储帖子的,

结果该开发商的主站容量大后多次发生硬盘烧了数据丢失的事情。

全看树展主题 · 分页首页 上页
/ 4
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河