2020-03-28 14:14发布
表示好奇，求解答~
大数据只是一种技术，一种工具，一种解决问题的方法，你要想预测股市的话，你首先得有思路，分析什么数据，交易量？交易额？拐点 有了目的之后，再去利用大数据这门技术去分析这些目标，得出你结论，要买还是买。但是股市是比较复杂的，光看技术面，或许还不够。
因为预测股市需要wisdom, 而big data还只是停留在data这个层面上。所以，掌握big data并不意味着更准确的stock market forecasting, 只有当你同时还掌握将big data转换为wisdom的手段，big data才能真正发挥威力。
当前，很多互联网/互联网金融公司都宣称使用了big data, 可又有几家真正具备从big data中获取wisdom的能力呢?
大数据只能分析数据，但预测股市怕还是有一定难度的
对中小投资者来说，如何鉴别财经言论的可信度，是个明显的痛点。
他们缺乏高质量的信息服务又没有足够分辨能力，所以市场上谁的声音大就更愿意相信谁。但实际情况是，一种意见能否广泛传播靠的是意见表达者的名气、公关能力强弱和媒体的筛选，而不是由于该言论的可信度。
这时羊群效应就会产生，如果一批股民听到股市即将大涨的言论重仓杀入，最后盲目投资的结果就是亏得血本无归还没人说理。
需求很现实，但是这样的事情做起来“工程浩大”，既需要金融背景也需要大数据做技术支撑，所以迟迟也没有人做。
那次同学会结束之后，刘健越想越觉得这事有意思。要知道，早在90年代，刘健就整天泡在学校的人工智能实验室里，1998年中科大毕业后，还曾经负责深圳证券交易所的违规交易监察，这是他第一次将自己所学的人工智能和金融关联起来。后来在嘉实基金的几年，刘健也一直跟大数据和金融打交道。
刘健找到嘉实基金CEO赵学军，二人都觉得这事可行，但尴尬之处在于，如果刘健以嘉实财富科技CEO的身份内部创业，这就意味着，产品发布的所有消息都要按照证监会的要求在通过合规部的审核之后才能发布，每天几千条的审核任务显然不现实；同时，嘉实本身就在被评选的范围之内，同时扮演“运动员和裁判员”角色的话，即使产品做出来了公正性也会受到质疑。
协商之后，刘健拿着赵学军领投的2000万天使投资，带领团队从嘉实基金独立出来，在2016年6月创立信谁科技，解决投资者们在海量财经信息面前不知该相信谁的痛点。
在APP做出来之前，信谁团队搜集了3万多个被评价对象，分析他们的预测性言论。这3万个评价对象包括基金经理、证券分析师、专业的投资机构和郎咸平等大V和经济学家，甚至还包括一些非政府组织，比如国际货币基金组织和世界银行。信谁科技把他们自2009年至今的各种观点从微博、官网、数据服务商，以及1千多家新闻媒体那里搜集过来，加以评估。
“信谁这个平台是为用户提供预测信息的，比如预测明天的股市是利好还是利空，如果只提供事件发生后的评论对用户来说意义不大。”刘健说。
为此，信谁科技要对信息源进行筛选、分类、摘录、评级几个处理步骤，之后才能转化成页面上展示的信息。
最开始的时候，信谁需要先将这些数据中的非财经信息过滤掉，再通过人工方式将文章分为预测性言论和非预测性言论，当时，团队每人每天都要处理几千条信息。
9月底，团队开始将积累到的十几万条数据“喂食”给系统进行机器学习，并建立了一套有几万条金融词汇的数据库。
目前，信谁团队可以通过机器学习自主进行信息分类，准确率在90%以上。
每当分类完成后，信谁科技会通过语义识别技术，从一篇完整文章中摘出核心信息，其中行业研报可以通过机器来进行摘录，剩下的信息处理则通过人工来完成。
“之所以不能完全依靠机器是因为财经信息中有很多不规整的表述，比如某大V说明天股市将乌云散尽，意思是市场利好，但是机器却无法完全理解这个意思只能依靠人来筛选。”刘健解释道。
随后，团队再将这些总计数千万条的财经信息分成股票、房产、黄金、宏观经济、汇率、商品期货等类别，再对其预测准确性进行评级，评级以“言值”来表示，从0到10分不等，言值越高表示可信度越高。
目前，信谁科技中大多数言值徘徊在5分到8分。
然而，只要不是10分，预测就有错误的可能。为了满足投资者的需求，信谁会将“高言值”大V的言论聚集起来，将他们对同一事件的不同判断进行整理，做出他们的意见分布趋势，来指导中小投资者投资，这就类似于大数据版的财经头条。
大数据开发：1、负责公司大数据产品/项目的后台研发；2、负责技术预研，产品设计以及文档编写等工作；3、参与大数据的数据治理和数据处理相关java开发工作；4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模大数据开发要处理大规模的数据...
修改log4j.properties文件中的：# Define the root logger to the system property plsql.root.logger.log4j.rootLogger=./sql.log# Logging Threshold to INFO for queryserver. root logger still at WARN for sqlline cl...
如果没找到解决方法，最好的方法就是重装
杀毒软件关了
1、上传jar包到/opt/software/解压到/opt/module 改名为phoenix2、 复制server和client这俩个包拷贝到各个节点的hbase/lib在phoenix目录下3、向每个节点发送server jar4、向每个节点发送client jar5、在root权限下给/etc/profile 下添加如下内容6、启动Zookee...
安装和配置Phoenix把下载好的安装包放入software目录下解压Phoenix到opt目录下[root@hadoop100 software]# tar -zxvf apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz -C /opt进入Phoenix的bin目录下把phoenix-4.14.0-cdh5.14.2-server.jar包复制到hbase目...
phoenix是构建的Hbase之上的，使用标准的SQL操作Hbase，可以做联机事务处理，拥有低延迟的特性。phoenix会把SQL编译成一系列的Hbase的scan操作，然后把scan结果生成标准的JDBC结果集，其底层由于使用了Hbase的API，协处理器，过滤器，处理千万级行的数据也只...
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。...
想考计算机相关证书或者想学技术的同学可以抓紧时间啦!双11更多优惠活动详情咨询18597153017（微信同号）
一、Selector（选择器）Selector概述Selector（选择器）可以工作在复制或多路复用(路由) 模式下 。复制模式Selector复制模式-属性说明selector.type replicating 类型名称，默认是 replicatingselector.optional – 标志通道为可选Selector复制模式-案例 #命...
(1)电子商务网站比如我们在做一个电子商务网站，然后我们想从消费用户中访问点特定的节点区域来分析消费者的行为或者购买意图. 这样我们就可以更加快速的将他想要的推送到界面上，实现这一点，我们需要将获取到的她访问的页面以及点击的产品数据等日志数据信...
HBase是一个构建在HDFS之上的、分布式的、支持多版本的NoSQL数据库，它的出现补齐了大数据场景下快速查询数据能力的短板。它非常适用于对平台中的热数据进行存储并提供查询功能。...
HBase数据结构运行原理
传统数据库存储B树 B+树 B-树传统关系型数据普通索引就是采用B+树的方式B+树最大的性能问题是会产生大量的随机IO，随着新数据的插入，叶子节点会慢慢分裂，逻辑上连续的叶子节点在物理上往往不连续，甚至分离的很远，但做范围查询时，会产生大量读随机IO；Hba...
对象存储：我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中，一些病毒公司的病毒库也是存储在HBase之中时序数据：HBase之上有OpenTSDB模块，可以满足时序类场景的需求推荐画像：特别是用户的画像，是一个比较大的稀疏矩阵，蚂蚁的风控就是...
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件、socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。一般的采集需求，通过对flume的简单配置即可实现。Flume...
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 IT小猫咪 的问题《如果掌握了大数据技术，能否有可能预测股市？》','http://www.shouhuola.com/q-1945.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
大数据只是一种技术，一种工具，一种解决问题的方法，你要想预测股市的话，你首先得有思路，分析什么数据，交易量？交易额？拐点 有了目的之后，再去利用大数据这门技术去分析这些目标，得出你结论，要买还是买。但是股市是比较复杂的，光看技术面，或许还不够。
因为预测股市需要wisdom, 而big data还只是停留在data这个层面上。所以，掌握big data并不意味着更准确的stock market forecasting, 只有当你同时还掌握将big data转换为wisdom的手段，big data才能真正发挥威力。
当前，很多互联网/互联网金融公司都宣称使用了big data, 可又有几家真正具备从big data中获取wisdom的能力呢?
大数据只能分析数据，但预测股市怕还是有一定难度的
对中小投资者来说，如何鉴别财经言论的可信度，是个明显的痛点。
他们缺乏高质量的信息服务又没有足够分辨能力，所以市场上谁的声音大就更愿意相信谁。但实际情况是，一种意见能否广泛传播靠的是意见表达者的名气、公关能力强弱和媒体的筛选，而不是由于该言论的可信度。
这时羊群效应就会产生，如果一批股民听到股市即将大涨的言论重仓杀入，最后盲目投资的结果就是亏得血本无归还没人说理。
需求很现实，但是这样的事情做起来“工程浩大”，既需要金融背景也需要大数据做技术支撑，所以迟迟也没有人做。
那次同学会结束之后，刘健越想越觉得这事有意思。要知道，早在90年代，刘健就整天泡在学校的人工智能实验室里，1998年中科大毕业后，还曾经负责深圳证券交易所的违规交易监察，这是他第一次将自己所学的人工智能和金融关联起来。后来在嘉实基金的几年，刘健也一直跟大数据和金融打交道。
刘健找到嘉实基金CEO赵学军，二人都觉得这事可行，但尴尬之处在于，如果刘健以嘉实财富科技CEO的身份内部创业，这就意味着，产品发布的所有消息都要按照证监会的要求在通过合规部的审核之后才能发布，每天几千条的审核任务显然不现实；同时，嘉实本身就在被评选的范围之内，同时扮演“运动员和裁判员”角色的话，即使产品做出来了公正性也会受到质疑。
协商之后，刘健拿着赵学军领投的2000万天使投资，带领团队从嘉实基金独立出来，在2016年6月创立信谁科技，解决投资者们在海量财经信息面前不知该相信谁的痛点。
在APP做出来之前，信谁团队搜集了3万多个被评价对象，分析他们的预测性言论。这3万个评价对象包括基金经理、证券分析师、专业的投资机构和郎咸平等大V和经济学家，甚至还包括一些非政府组织，比如国际货币基金组织和世界银行。信谁科技把他们自2009年至今的各种观点从微博、官网、数据服务商，以及1千多家新闻媒体那里搜集过来，加以评估。
“信谁这个平台是为用户提供预测信息的，比如预测明天的股市是利好还是利空，如果只提供事件发生后的评论对用户来说意义不大。”刘健说。
为此，信谁科技要对信息源进行筛选、分类、摘录、评级几个处理步骤，之后才能转化成页面上展示的信息。
最开始的时候，信谁需要先将这些数据中的非财经信息过滤掉，再通过人工方式将文章分为预测性言论和非预测性言论，当时，团队每人每天都要处理几千条信息。
9月底，团队开始将积累到的十几万条数据“喂食”给系统进行机器学习，并建立了一套有几万条金融词汇的数据库。
目前，信谁团队可以通过机器学习自主进行信息分类，准确率在90%以上。
每当分类完成后，信谁科技会通过语义识别技术，从一篇完整文章中摘出核心信息，其中行业研报可以通过机器来进行摘录，剩下的信息处理则通过人工来完成。
“之所以不能完全依靠机器是因为财经信息中有很多不规整的表述，比如某大V说明天股市将乌云散尽，意思是市场利好，但是机器却无法完全理解这个意思只能依靠人来筛选。”刘健解释道。
随后，团队再将这些总计数千万条的财经信息分成股票、房产、黄金、宏观经济、汇率、商品期货等类别，再对其预测准确性进行评级，评级以“言值”来表示，从0到10分不等，言值越高表示可信度越高。
目前，信谁科技中大多数言值徘徊在5分到8分。
然而，只要不是10分，预测就有错误的可能。为了满足投资者的需求，信谁会将“高言值”大V的言论聚集起来，将他们对同一事件的不同判断进行整理，做出他们的意见分布趋势，来指导中小投资者投资，这就类似于大数据版的财经头条。
相关问题推荐
大数据开发：1、负责公司大数据产品/项目的后台研发；2、负责技术预研，产品设计以及文档编写等工作；3、参与大数据的数据治理和数据处理相关java开发工作；4、参与海量数据处理，业务数据体系的设计、数据统计、分析及数据建模大数据开发要处理大规模的数据...
修改log4j.properties文件中的：# Define the root logger to the system property plsql.root.logger.log4j.rootLogger=./sql.log# Logging Threshold to INFO for queryserver. root logger still at WARN for sqlline cl...
如果没找到解决方法，最好的方法就是重装
杀毒软件关了
1、上传jar包到/opt/software/解压到/opt/module 改名为phoenix2、 复制server和client这俩个包拷贝到各个节点的hbase/lib在phoenix目录下3、向每个节点发送server jar4、向每个节点发送client jar5、在root权限下给/etc/profile 下添加如下内容6、启动Zookee...
安装和配置Phoenix把下载好的安装包放入software目录下解压Phoenix到opt目录下[root@hadoop100 software]# tar -zxvf apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz -C /opt进入Phoenix的bin目录下把phoenix-4.14.0-cdh5.14.2-server.jar包复制到hbase目...
phoenix是构建的Hbase之上的，使用标准的SQL操作Hbase，可以做联机事务处理，拥有低延迟的特性。phoenix会把SQL编译成一系列的Hbase的scan操作，然后把scan结果生成标准的JDBC结果集，其底层由于使用了Hbase的API，协处理器，过滤器，处理千万级行的数据也只...
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。...
想考计算机相关证书或者想学技术的同学可以抓紧时间啦!双11更多优惠活动详情咨询18597153017（微信同号）
一、Selector（选择器）Selector概述Selector（选择器）可以工作在复制或多路复用(路由) 模式下 。复制模式Selector复制模式-属性说明selector.type replicating 类型名称，默认是 replicatingselector.optional – 标志通道为可选Selector复制模式-案例 #命...
(1)电子商务网站比如我们在做一个电子商务网站，然后我们想从消费用户中访问点特定的节点区域来分析消费者的行为或者购买意图. 这样我们就可以更加快速的将他想要的推送到界面上，实现这一点，我们需要将获取到的她访问的页面以及点击的产品数据等日志数据信...
HBase是一个构建在HDFS之上的、分布式的、支持多版本的NoSQL数据库，它的出现补齐了大数据场景下快速查询数据能力的短板。它非常适用于对平台中的热数据进行存储并提供查询功能。...
HBase数据结构运行原理
传统数据库存储B树 B+树 B-树传统关系型数据普通索引就是采用B+树的方式B+树最大的性能问题是会产生大量的随机IO，随着新数据的插入，叶子节点会慢慢分裂，逻辑上连续的叶子节点在物理上往往不连续，甚至分离的很远，但做范围查询时，会产生大量读随机IO；Hba...
对象存储：我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中，一些病毒公司的病毒库也是存储在HBase之中时序数据：HBase之上有OpenTSDB模块，可以满足时序类场景的需求推荐画像：特别是用户的画像，是一个比较大的稀疏矩阵，蚂蚁的风控就是...
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件、socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。一般的采集需求，通过对flume的简单配置即可实现。Flume...