千万台计算机。。。。。。
莫回被这个数据吓了一跳,这太吓人了,现有的一切超级计算机放到它面前全部是渣渣。
不过这也给了莫回灵感,既然它计算力这么牛叉,那最适合他的赚钱方式应该就是大规模计算方面了。
莫回突然笑了,这还真是踏破铁鞋无觅处。
莫回是个码农,并且还是玩大数据的码农,这还真是专业对口,只要他把大数据的程序编写好,让这台超级笔记本来计算,那么可做的事情就很多了。
首先进入莫回脑海里的就是金融大数据,只要莫回能够开发出一款大数据软件,让它自动搜集网络上的相关信息,然后进行深度的数据分析,那么很容易能够将一个公司的实际经营状况分析出来。
这些数据只要利用好了,完全可以利用在股市上嘛,只要有无穷计算力做保证,那么分析结果将会无限趋近于真实情况,甚至会那个企业的董事长还要准确的把握住企业未来发展状态。
莫回通盘考虑了一下,感觉这个想法应该有足够的可行性,程序自己编写就足够了,网上的公共渠道也可以提供足够的信息,只要数据分析算法设计好,最终输出的结果将会有极大参考价值。
不过这事对于软件开发来说是一个大项目,恐怕很难一个人在短期内完成,不过这也不用太过担心,莫回的想法是拼接。在网上寻找各类开源软件,然后将这些软件拼接起来,先做成第一版的大数据金融分析软件。
等第一版软件出来,实际运行测试,开始帮助他炒股挣钱之后,他就可以用这些钱来雇人帮忙开发软件了。
到时他可以将整个软件分成很多个模块,每个模块发一个包,无论是包给个人也好,还是包给其他软件公司也好,这样分解开发,最终再在他这里组装在一起。到时他就是一个项目经理的角色,只要控制好整体的开发进度,完全可以遥控很大的一个团队帮助他进行开发。
这款软件的名字莫回已经想好了,就叫股神,他准备先开发股神1。0版。
开发周期莫回暂时无法预期,不过可以想见的是,即使做一个拼接组装的活,中间也会有大量的接口开发工作,将这些软件拼接在一起的粘合剂和组装平台就需要他自己动手了。
具体工作量无法预估,只能先干着再说,如果开源软件刚好都能找到合用的,这个周期自然会短不少,如果很不巧,没有合用的软件,估计他就得自己开发,这所耗用的时间就没头了。
莫回给自己列了一个工作进度表,按照这个进度表开始逐条逐项的完成和推进。
如果想要“攒”一个股神1。0,那么有几个必须的关键功能模块,比如股神1。0的大脑,这将是一个大数据分析模块,它负责将所有搜集来的信息进行整理加工,并且从中提取具备指导意义的分析结论。
这个数据分析模块,它必须同时具备显性因果分析能力,和隐性因果分析能力。
比如生猪存栏数据下跌,必然导致随后的猪肉价格上涨。生猪存栏数量与猪肉价格存在某种必然的因果关系,而数据分析模块,必须具备识别这种明显由因就可以导致果的因果关系的能力。
比如东南海峡输油管道发生破裂,必然导致帝国东南大区油品价格上涨,这也存在某种必然的因果关系。只不过与生猪存栏数据不同的是,生猪存栏数据属于常态化数据,它每天都有,每天都有浮动,而油管破裂属于偶发事件。
虽然油管破裂属于偶发事件,但是数据分析模块必须具备识别这种偶发事件,进而给出随后由其导致的必然后果的能力。
类似的因果关联事件或者数据很多,数据分析模块必须具备识别这种显性因果联系的能力。
与这些显性因果相对应的,就是隐性因果联系。
那个著名的啤酒和尿布的案例其实就是隐性因果联系,这些隐性因果之间,不一定具备必然性,但是因和果之间,往往存在或然性联系。
就单个事例来说,这种因果联系未必成立,但是将其置于一个足够大的基数上时,这种因果联系就凸显出来,这是一种概率学意义上的因果关系。
另外有一个案例,就是基于这种概率学因果关系的。一个搜索公司,它想研究今年冬天流感爆发的可能性,但是它研究的角度非常有意思,他不是从医学角度来研究,而是程序和算法角度来研究。
它通过分析5000万条最频繁检索的词汇,将之和疾病中心在5年间季节性流感传播时期的数据进行比较,并建立一个特定的数学模型,从中寻找关联性,寻找那些隐藏起来或然联系,最终它成功预测了流感的爆发,甚至可以精确到特定的地区和城市。
如果说显性因果只需要事先标注和设定,那么隐性因果明显就需要挖掘和寻找了,而如何找到这些隐性因果,就是数据分析模块的主要功能,同时也是这个模块是否设计成功的一个标志性指标。
【马上就要515了,希望继续能冲击515红包榜,到5月15日当天红包雨能回馈读者外加宣传作品。一块也是爱,肯定好好更!】
第十一章 数据海洋和爬虫
数据分析模块是股神1。0的大脑,除了这个大脑之外它还需要其他几个关键性模块。既然做大数据分析,那么这个数据来源就需要有一个功能模块来解决,它专门负责数据的收集。
这个数据收集模块就像是股神的手脚,负责从网络上收集对应的数据,这个模块一个关键的组成部分就是爬虫。
国际互联网发展到今天,变成了体系庞杂内容浩繁的网状系统,这个系统上的信息节点规模数以十亿计,这些节点可能包括台式机、笔记本、服务器、大规模群组、智能手机、平板、智能导航终端、各类信息采集终端、信息发射终端等等等等。
只要能够链接上互联网,能够与互联网进行数据交互的,都可以视为一个信息节点,比如遍布城市的各类监控探头,各类通讯基站,严格来说都属于节点之一。
这些节点为互联网提供的数据类型也各种各样,有文字,有数据,有图表,有文档,有视频,有音频,有数据库;它们的表现形式各式各样,有通用格式,有专用格式;所有这些信息加在一起,共同组成了沉积在国际互联网中浩瀚的数据海洋。
这个数据海洋是动态的,它时刻处在在运动和更新之中,就好像各种洋流和浪涛一样,永不停息。
整个数据海洋分散在无数个信息节点之中,这些信息节点被各种通讯协议链接起来,让它们可以相互通讯。各种通讯协议中,有我们最熟悉的一种,就是url,也就是我们总会遇到的网站链接。
如果将整个数据海洋比喻成我们的地球,那么每个数据节点就是一个房间,而节点内的数据信息就是我们人类,所有的信息节点组合起来,构成了地球上的无数个城市,无数个大厦,无数个房屋。
各种各类的数据链接模式,就是承载人们出行的道路,而url不过是道路的一种,算是各个城市之间,各个主要的商业大厦之间互通的铁路和公路。它主要出现在公共服务器之间,就是说只要有了url,理论上来说它对所有数据访客都是开放的,任何人都可以抵达这个服务器,只不过它有没有门禁就是另外一回事了。