主题：【原创】大数据与郑国渠 -- zw
家园 【原创】大数据与郑国渠 大数据与郑国渠
这两年，国内大数据貌似太阳能、风电样被炒的很火
贵州还开办了大数据交易中心，也许是全球第一个
国内政府在经济乏力，科技相对落后的情况下，强行推进大数据 ，甚至提升到国家战略层面，却有可能陷入欧美国家的战略陷阱当中。
春秋战国的郑国渠，美帝的星球大战，都是成功的经典战略欺骗案例，还有所谓的千年虫、.com科技泡沫经济，都历历在目
一个国家的资源是有限的，战略重点也是有限的，不可能到处重金投入
国内前几年火爆的太阳能、风电新能源，目前都处于行业性崩溃，而且，在短期内，也许20-30年内，甚至50年，无法恢复元气
由此，耗费的资金、人才、资源，只能是全民买单。
日本九十年代强推第五代电脑：人工智能电脑，方向错误，越努力越失败，今天的结果是，整个日本国家的IT产业崩溃，
国内政府强推大数据，提升为国家战略的另外两个“潜在”考虑，可能是：
::基于大数据、信息科技的新型“计划经济”，个人对经济不熟悉，但直觉上觉得不靠谱，至少目前没看到有这方面的理论体系，而成熟的理论体系，是项目成功的基本要素。
有了成熟的理论体系，未必一定成功，没有，绝对是失败
::建立类似1984的社会管理体系，这个更加不靠谱，网络危机公关的经典手法就是，采用大量的关联信息，淹没负面新闻。
一组（10台）电脑，每天可以发布上亿条信息（包括填写验证码），可以模拟千万级的用户数据。
（顺便说一句，个人是国内首家4A级网络公关公司的联合创始人之一，服务过150+国际500强，包括微软、奔驰、西门子）
淘宝、微信、app市场的好评刷单，目前高达50-80%以上，这么多的垃圾信息，将真实数据完全淹没.
政府其实也知道这点，所以提出了网络、手机实名制，以及目前的一卡通，希望能够强行绑定信息发布主体。
可是，即使20-30年后，一卡通完全推行，还是无法解决这些问题，至少，已经运行了十年的支付宝，目前的假号，才几元一个，最严密的银行卡也不过200-300元一张。
更何况，数据并非越多越好，有时候数据越多，精度更低，这个数学上称为：龙格现象
：实战测试，数据越多，反而会影响精度。目前个人数据分析的一个重点，就是“小”数据。老子《道德经·第六十三章》有云：天下大事，必做于细。
我在一个blog上面也找到了数学支持,龙格现象，http://zh.wikipedia.org/wiki/龙格现象
大数据其实并非新科技和高技术，其核心与本质，不过是数据分析，尤其是聚类分析
这点，国内武汉华中科大邓聚龙教授，1982年提出灰色系统理论、灰色数学当中灰色聚类、数据归一化算法，目前依然是最好的分析模型之一。
大数据分析的核心，是统计分析、聚类分析，以及各种各样、五花八门的分析模型。
这些分析模型与算法，大多基于传统的人工智能研究，什么啄木鸟算法、萤火虫算法、蚁群算法，大部分都是经验性、实验模型，缺乏系统的理论支持。
这些模型，全部都是高次多元的，而三元以上的n次(n>3)模型，除了特殊的经验公式，在数学上是无解的，至少目前没有一个通用的求解算法。
对于大数据这种新产业而言，全世界都在摸索，政府做决策，必须进行调研和试点，而不是听过几个专家，尤其是某些协会的人员胡说几句，就作为国家战略操作。
大数据产业，从概念到目前，不超过五年，因此试点是不存在的，以大数据作为核心战略，不要说国家，就是大企业，在全世界至今都没有一个成功的案例。
至于中国协会专家的意见，大家完全可以忽视，我的首部书籍，第二作者，现在就是中大的副院长，博导，可水平，也就哈哈而已。
关于大数据、高频交易和人工智能，
个人的基本观点：凡是无法通过“足彩数据”进行实盘测试的方案、算法，都是在耍流氓。
大数据并非无用，可最多不过成立3-5家类似联想级别的公司即可，完全不是国家级项目，更别说国家战略级项目。
作为国家战略，不管成功失败，我更担心是郑国渠效果。
郑国渠并非没用，时至今日，依然在造福国民。
郑国渠,从战术讲是个成功的项目,耗费了秦国大量战略资源后，从战略讲，属于基础建设，反而增强了秦国的国力。
相比郑国渠，大数据的的核心硬件服务器、软件、数据库，都要进口，而硬件服务器的折旧比汽车还快，最前沿的硬件，基本3年就基本价值归零，就是一堆废铁
因此，目前各地政府的批量上马数据中心、计算中心，投资回报更加令人担心，一个3-5年，回报率无限归零的项目，而且投资总额分分钟过万亿。
也许，大家会认为，这么多资金，上万亿砸下去，至少在人才方面会有收获，会培养一支自己的团队。
这个，也许，不过意思不大。
日本全民动员的第五代电脑，目前也有些国际上知名的IT项目：比特币、ruby语言，可是对日本IT产业的整体盘，没有多少帮助。
希望，太阳能、风电等新能源方面的失败，能够让政府国家谨慎
sorry，
因为在几个大数据群里，发现政府居然成为大数据的主力，有感而做，初稿未对郑国渠细细考究
理科生的坏习惯，不过不影响大局，谢谢几位指出的网友，不过这个是细节
希望大家多从主题方面展开讨论
将大数据比做郑国渠，的确有些不恰当，至少郑国渠现在依然在造福国民，而大数据的投资，数年后，只是一堆废铁
至于其中的团队，政府公务员，能够有什么人才，最好也不过是一群技术官僚，可能连技术两个字都称不上。
大数据项目，其实更接近日本九十年代的第五代电脑：人工智能计划
至少，当年、和现在的富士，是极少数能够制造商业级小型机的企业，包括CPU这点，国内目前尚未这个级别的企业
天河系列，的确取得了不少成果，特别在巨型级的架构方面，不过，这个是不计成本的国家投入，商业化没有多少竞争力
mit的学生，当年用ps游戏机cell芯片，现在用gpu显卡，攒的计算集群，配合linux，对于企业而言，性价比可能更高
把大数据和日本的第五代电脑对比下，大家会感觉更加贴切,不过，现在，谁知道小日本的这个东东？
大数据的通道是互联网，数据、信息是一次性消费产品，可以零成本传播、复制，互联网的核心只有两个字：free（免费）+open（开放)
积累的数据，一个连pm2.5、耕地面积，都是国家机密的政府，再多的数据，缺乏流动与共享，也是死数据，有意义吗？
本文是以下blog的补充，
《大数据和高频量化交易》 http://blog.sina.com.cn/s/blog_7100d4220102vkai.html
《大数据观点补充》 http://blog.sina.com.cn/s/blog_7100d4220102vkdb.html
《大数据与郑国渠》 http://blog.sina.com.cn/s/blog_7100d4220102vkqd.html
《大数据与黑天鹅等》 http://blog.sina.com.cn/s/blog_7100d4220102vkxa.html
------
关于大数据和人工智能，我的基本观点是:
凡是无法通过“足彩数据”实盘测试的方案、算法，都是在耍流氓。
这就是大数据、人工智能的图灵测试！
为什么？
关于这个问题，就价值十个博士学位。
看不懂这句话的，还是少玩大数据、人工智能。
Talk is cheap，Show me the code！----Linus(linux 发明人)
足球比赛，从数学角度而言，是最简单三选一，胜、负、平
而真正的大数据分析，是在成千上万种可能中，选择最接近的进行匹配，
连最简单的三选一都搞不定，来谈难度、复杂度高数百倍、上千倍的n选一（n>1000），是不是有些不靠谱
2014世界杯 对于大数据 人工智能 是个分水岭 是元年
微软 谷歌 百度 都有相关的项目 胜率<50%
为什么？
这个也可以作为，这个观点的背景与补充。
----
::西西河网友回复
“个人的基本观点：凡是无法通过“足彩数据”进行实盘测试的方案、算法，都是在耍流氓。”这个标准，是高到永远不可能实现的标准！
很简单，真做到了，你不只是发财了，而且是彻底推翻了从帕斯卡开始的无数超级头脑+严密逻辑得出的概率论这一门数学理论！推翻一门理论在科学上屡见不鲜，但在数学上还未发生过。
::zw
这个标准并非高不可攀
图灵测试，并非要求人工智能达到爱因斯坦的IQ才ok，目前，人工大脑，有小学生的水平就已经是最顶尖的了。
目前人工智能最多大约相当3-5岁的儿童，基于人工智能的BI商业智能，和建筑在此二者之上的大数据，也只有3-5岁的智能，所以说大数据只是概念产品阶段。
足彩是最简单的三选一模式，随机盲选的概率都超过30%，如果一个大数据分析模型，连随机概率都无法超过，只能说这个模型不靠谱，
当然，前提是必须稳定，百度的世界杯18连胜，只能是学术界的一个笑话，连百度自己现在都不好意思提
---
秦国是全民公敌 ，像现在的美帝
就事论事，叽叽哇哇就没意思了
Talk is cheap，Show me the code！
------------
通宝推：bluestarry,舞动人生,迷途笨狼,海峰,
本帖一共被 5 帖 引用 (帖内工具实现)家园 准确率大于33%不就是成功了么？ 虽然<50%，但是>33%就是成功了呀。你的意思是他们已经通过了你的图灵测试？
家园 股灾、马云、大数据 股灾、马云、大数据
这篇blog，股市关头“七·七”之日，就差不多构思，因为事件敏感，一直压住没有发布。（ps，本人从不炒股）
“七·七”股灾，是国家大数据战略发布后、也是本届政府最重大的事件，没有之一。
涉及的领域，不仅仅是股市，以及经济、金融领域，而且将国家政治战略、社会战略甚至军事应对措施，暴露在敌对国家面前。
自六月起，得知国家大数据战略后，连续发布了二十余篇大数据的blog，其中大多为负面。
作为专业的一线IT业者，在大数据方面，还算ok，不能像政府官员一样，只听忽悠。
虽然“七·七”股灾，相隔贵州全球首个大数据交易会（数博会，5月29日），才一个月左右。
但作为政府项目，有理由相信，国家的大数据战略，至少经过了6-12个月的压力测试。
这种国之重器，如果不经严格压力测试，没有N套灾变应对策略，就匆忙上线，所有全体相关政府官员，无论级别，都应该下台，自裁，移交司法机关。
blog《大数据与郑国渠》曾经说过：
http://blog.sina.com.cn/s/blog_7100d4220102vkqd.html
个人的基本观点：凡是无法通过“足彩数据”进行实盘测试的方案、算法，都是在耍流氓。
对于大数据这种新产业而言，全世界都在摸索，政府做决策，必须进行调研和试点，而不是听过几个专家，尤其是某些协会的人员胡说几句，就作为国家战略操作。
大数据产业，从概念到目前，不超过五年，因此试点是不存在的，以大数据作为核心战略，不要说国家，就是大企业，在全世界至今都没有一个成功的案例。
将大数据比做郑国渠，的确有些不恰当，至少郑国渠现在依然在造福国民，而大数据的投资，数年后，只是一堆废铁
至于其中的团队，政府公务员，能够有什么人才，最好也不过是一群技术官僚，可能连技术两个字都称不上。
“七·七”股灾前后，整个社会好像“三战”核弹爆发，经济、金融的“灭国”之战，国家经济有倒退十年的危险。。。。。
连外访总理都匆忙回国，好像美国华尔街、联合欧洲、日本等全球资本，恶意做空中国，
更加关键的是，这种错误的推断，引发了政府部门实质性的的救市行为，上万亿的资金被导入股市，
好似当年三个代表，有关政府部门，近期言必“大数据”，这次股灾应对，必然会极大的参考大数据方面的资料。
可惜，政府主导的大数据，和其他政府项目一样，往往换来的是是十倍、百倍的失败。
面对“七·七”股灾，政府种种应对措施，全面失败，而且，闹出了个世界金融史上的超级“大乌龙”事件，居然找错了“靶标”。
“七·七”股灾的最终调查结果，目前虽然没有发布，但有消息称，虽然不一定正确：
前期，不过是江浙的一些土老板，为防止风险，做的空头对冲保险，因为配资杠杆，引发的技术性股市大幅度下调。
后期，则是因为程序化交易系统，对阀值K值的设定，引发的一系列自动抛盘，
就像前几年光大乌龙事件，专业人员一听，就知道是因为交易系统，相关参数，未进行初始化设置，直接上线引发的自动抛盘
也许，“七·七”股灾，根本就不关华尔街、美帝什么事？
完全是躺枪。
ps,8月10日新增片段：笔者很少引用中华网的资料，因为基本是TG的文宣。不过这次，过了一个月，这些blog也羞羞答答、间接认可了上面的推断。《大老虎想在中国玩双头政治？白日做梦》外链出处
欧洲最近有点看中国的笑话。大老虎作乱。欧美都看笑话。
(ps，应该就是这个“七·七”股灾的超级“大乌龙”事件)
事件后，损失惨重的投资人，有人质疑某些机构、个人，利用关系，可能可以获得恒生系统交易后台的所谓“大数据”，获得不当暴利。
这个是必须的，某些政府官员，为了拆迁，就敢于不顾人命，透过交易系统，看看底牌，赚的钱毕竟要干净些，而且是千亿、万亿级的“大钱”。
《大数据、趋势与黑天鹅》blog说过
http://blog.sina.com.cn/s/blog_7100d4220102vn8s.html
资本的力量是无法阻挡的，即使政府限制，关系企业，有关人士，也会拿到相关权限，这个毕竟只是商业数据，保密权限不可能很高，“SSS”级，和二炮一个级别
......
首先，少数权贵部门和企业，从资本、原料等方面的垄断，会延伸到数据方面的垄断，获得不当利益，
而广大普通企业、个人，却因为受限于数据，无法进行正确的商业决策、个人投资，社会的二元化分割更加严重，
这个，看看现在的房屋数据库，始终无法进行全民查询
这里多说一句，政府与其，梦想通过大数据，建立2.0版本的1984社会，不如管好全国四百个城市的局级以上官员，毕竟这个才几十万数量级
如果连几十万数量级的中高官员，而且绝大部分是党员，都无法有效管理，希望利用大数据，来管理十亿级的民众，只能是。。。。。。
《人工智能永远差500年》blog说过
http://blog.sina.com.cn/s/blog_7100d4220102vmlm.html
至于所谓提前半年，一年，根据阿里大数据，布局股市，获得70-80%的高额收益，这种案例纯是扯淡从职业操守而言，不过是内幕交易，
完全不需要大数据，哪些三线城市、乡政府的官员，根据规划局的预案，强行拆迁买卖房产，收益比这个高N倍，百度一下案例大把
其次，数据与资本、原料、设备不同，一个邮件，一张U盘，就可以将涉及全体国民的数据暴露给国外敌对机构
发达国家的模式是，除极少数敏感数据库外，普通数据基本免费开放，全民共享，这样才能全体国民受益，减少数据事故，减少数据意外事故，对普通企业、个人的冲击
这次股灾，如果当事人是一家企业，即使是“五百强”、高盛，十万亿的盘子，数千亿的亏损，分分钟倒闭。
这也说明，政府的大数据战略，存在重大bug，负责的话，政府大数据项目，应该在近期理性化，转交给几家专业机构操作，而不是全民大数据。
国家强力部门，公安部直接介入金融机构，这个可能比上万亿的救市资金，更加恶劣
大家不妨好好看看伦敦“金融城”，这一块被称为“一平方英里”(Square Mile)的地方，为什么要采用“国中之国”的运营模式，
百度百科，外链出处
虽然大伦敦统一的行政管理机构——大伦敦市政府，对包括伦敦城在内的每个郡都有约束力，但是伦敦城有自己的一套市政、警察和司法机构。重大庆典时，英国女王还要等候伦敦市长将一柄“市民宝剑”献给她以后，才能进城。资本最重要的属性，就是安全。商人，特别是金融业，对枪杆子是最敏感的
不要说非洲、南美，这些动荡之地，
希腊危机，就连欧盟的马甲都不好使
17%+利率的希腊债券，为什么不能无限印刷、发行，
余额宝啦，据说就是阿里和半官方机构中信合作的产物。
马云旗下企业，特别是支付宝，是中国互联网事实上的隐形央行，作为政府电商、金融、大数据领域，最核心的技术企业，
在这次股灾事件当中，也许涉及的环节、深度，比大家想象的要“深的多”。
马云的恒生，作为事件操盘核心IT企业，涉及事件，这次，也许不是主观恶意。
孔老夫子，算是圣人了吧，中国五千年，也只出了一位，还留下了偷会“南子”小姐的野史
马云，毕竟只是商人，不是道德模范。
商人，对于利润的敏感，想必会刺激其他的“牛”云、“羊”云，组织团队，研究此次股灾。
中国这么大一个盘子，居然被江浙的一小搓土豪，就差点引发经济、金融的“灭国”之战
有理由相信，美国华尔街的猎手、日本的经济学者、甚至五角大楼的专家。
就在此时，就在此刻，会有不下十个，国际顶级的专业团队，
从各个角度，犹如庖丁解牛，如外科手术般，在分析这次股灾的每一个细节，每一篇大V以上的blog、新闻、甚至微信、帖子
从而制定更加专业的，可以操作的，股市、金融、经济、军事，“商业计划书”
也许，下一次股灾，才是华尔街专业猎手真正登场，正式引爆 xx 经济、金融的“灭国”之战
通宝推：盲人摸象,家园 zw黑天鹅“足彩实盘”大数据测试数据 【文件说明】
$mx1,是单日数据；$mx9，是日数据和
::入选率：2%，
::准确度:40%，
::盈利率:120%
目前在测试稳定性
5月1日-6月14日,实盘数据
$mx9,15061409x150614,$100,151%,44.79%(43/96),#,x,44%,43,96,$,152%,100,29184,@x2,$319,277.22%(499/180),k9,47.62%(10/21)
单关盈利率v：150%，准确率：44.79%(43/96)
2x1盈利率v：277.22%(499/180)150%
zw黑天鹅算法重点关注：盈利率，高赔
家园 同样的东东，工业4.0？ 家园 郑国渠来类比，你是夸国内将计就计？ 郑国最后被发现是韩的间谍后被抓后说，我为韩躲过一时之患，为秦造就万世之利。
家园 又一只黑天鹅爆掉了 又一只黑天鹅爆掉了
blog:<大数据与郑国渠> 外链出处
足彩是最简单的三选一模式，随机盲选的概率都超过30%，如果一个大数据分析模型，连随机概率都无法超过，只能说这个模型不靠谱，当然，前提是必须稳定，百度的世界杯18连胜，只能是学术界的一个笑话，连百度自己现在都不好意思提
《百度在ImageNet图像识别测试中有违规行为》
其实，已经有一批黑天鹅爆掉了
历史又一次证明：【黑天鹅才是新常态】
《盘点互联网黑色5月 携程被黑支付宝故障而网易瘫痪》
【黑天鹅才是新常态】
金融市场 大家都是大数据 会反向干扰态势的
现在（2015） 黑天鹅才是新常态
看看：石油价格 瑞士法郎 日元升值 光大砸盘 黄金狂跌
全部没节操 没下限
参见《大数据与黑天鹅等》
家园 倒是可以参考下西欧宗教改革前的一段历史： 上帝（或其代言人）越来越腐败，所以时代需要一个新上帝（或其代言人）
市场（或其参与主体）越来越腐败，所以时代需要一个新的东西（或参与主体）来取代。
家园 百度这次为人工智能当了高级黑 为反智（反对人工智能）人士提供了口水，为下一次人工智能冬天提供了可能。
家园 百度只喜欢做表面功夫 百度只喜欢做表面功夫
国内很多企业都是如此、华为类的企业太少了
联想手机，这几天不是boss都受不了
国外大企业的底蕴、基础课题，真心不是盖的
国内政府大数据的一个G点，人脸识别
核心99%是opencv
opencv是intel早在1999年发起的项目，目前是100%的开源软件
和linux一样，国内能够看懂opecn源码的，不会超过100人
就这样，还全球率先，大数据产业化
靠谱吗？
百度作为IT技术密集型企业，再加上钱实在太多，研发投入，在国内企业，应该也算可排到TOP10吧
连TOP10的企业，都是这样，
看来，解决好《当代TG人的“异化”》，再谈大数据、谈创新吧，是必须的
家园 5分钟教你怎样使用OpenCV写程序 Creating a face detection API with Python and OpenCV (in just 5 minutes)
外链图片需谨慎，可能会被源头改家园 会调用opencv，不等于明白算法原理 只能说明，opencv函数库封装的好
就像会用i7电脑，不等于知道如何做i7 的cpu
更搞笑一点，小日本被两颗原子弹爆过，前几年福岛有核了一次，不等于，现在的小日本，就明白如何制造原子弹，氢弹
国内6成以上的opencv、大数据等专家，能够在win、linux下搭建好相关的开发环境，就达到合格标准，这个应该是现实
这个环境,其实简单的很，去下载个zwPython，解压即可
:: 网盘下载：[URL=]http://pan.baidu.com/s/1tY7Wq [/URL]
http://pan.baidu.com/s/1tY7Wq
现实就是这么残酷
这个就是中国目前底层科研的现实
家园 大数据与死数据 大数据与死数据
为什么，在得知贵州还开办了大数据交易中心，也许是全球第一个
会觉得无比别扭？？
连续发布了blog《大数据与郑国渠》、《大数据与黑天鹅》...
在blog中，笔者曾经提到：
积累的数据，一个连pm2.5、耕地面积，都是国家机密的政府，再多的数据，缺乏流动与共享，也是死数据，有意义吗？
4月30日，一周后，黑天鹅又一次出现：《中国科学家难以获取高质量的国内数据科学》
大数据是互联网、后资讯时代的产物。
而互联网的核心只有两个字：free（免费）+open（开放)
纽约的大学生，利用市政府的开放数据库，可以轻松制作出全市的犯罪热点分布图
而我们，就连专业科学家，都无法获得一手的数据，更何况商业应用了、BI开发。
也许，贵州的大数据交易中心，改为免费的、开源的数据共享中心，能够有一个华丽转身。
国内政府强推大数据，提升为国家战略的另外两个“潜在”考虑，可能是：
::基于大数据、信息科技的新型“计划经济”，个人对经济不熟悉，但直觉上觉得不靠谱，至少目前没看到有这方面的理论体系，而成熟的理论体系，是项目成功的基本要素。
有了成熟的理论体系，未必一定成功，没有，绝对是失败
::建立类似1984的社会管理体系，这个更加不靠谱，网络危机公关的经典手法就是，采用大量的关联信息，淹没负面新闻。
一组（10台）电脑，每天可以发布上亿条信息（包括填写验证码），可以模拟千万级的用户数据。
大数据的通道是互联网，数据、信息是一次性消费产品，可以零成本传播、复制，互联网的核心只有两个字：free（免费）+open（开放)
积累的数据，一个连pm2.5、耕地面积，都是国家机密的政府，再多的数据，缺乏流动与共享，也是死数据，有意义吗？
中国科学家难以获取高质量的国内数据科学http://www.solidot.org/story?sid=43883
上海海事大学的Zheng Wan在《自然》上发表文章称，中国科学家越来越难以获得高质量的国内数据，认为这一情况可能阻碍科研和创新。他说，大部分公共数据被政府部门控制，其中一些加强了对数据的垄断，使得中国研究人员难以获取这些数据。人文科学的研究人员受影响最大，但数据访问的限制正扩大到环境科学和公共健康等领域，原因是数据具有政治敏感性。即使数据公开了，其质量也令人担忧，最明显的一个例子是全国的GDP数据和各省公布的GDP数据之间存在显著差距，国家统计局称数据差异是数据收集方法的不同导致的。在文章最后，Zheng Wan谈论了互联网审查，称Google学术搜索被屏蔽对他的工作影响非常大。
通宝推：舞动人生,