2020-05-19 13:35发布
随着做计算机视觉，语言和NLP的开发者越来越多，数据的积累呈现爆发性增长，如何在海量的数据中找到你需要的数据？有什么好的方法可以和大家分享？
结构化数据主要包括由字母、数字、字符、文字组成的文本和超文本,非结构化数据通常是指声音、图形和图像数据UnstructureddataandUnstructuredETL
做IT的整天和数据打交道，无非就两种：结构化数据和非结构化数据。结构化数据可以很轻松的被导入到数据仓库中，因为不管是3NF还是星型模型，它们在结构上都属于结构化数据。而非结构化数据包括e-mail,spreadsheet,text,documents,reports。结构化和非结构化有很多的不同，而要想把这些非结构化数据利用到数据仓库中，一定要先解决下面的问题：
ü 在结构化数据中可以保证的完整性、一致性如何在非结构化数据中保证呢？
ü 如何同步非结构化中的数据呢？
ü 如何获取非结构化数据？因为可能需要从包括.txt/.pdf/.doc/email等格式的文件中取得数据。
ü 如何获取有用的信息？在doc文件中有很多文字都是没有用的，如何定位到你确切需要的信息呢？
ü 如何对非结构化中的数据进行操作？
ü 非结构化的数据如何与结构化数据集成？同样都是一个词，它们在各自的环境下代表的含义一样吗？
我们通过ETL工具来进行结构化数据到数据仓库的抽取，那么就应该用非结构化的ETL工具来实现从非结构化数据到数据仓库的抽取，那么非结构化ETL工具就一定要解决上述问题。
有需求就会有解决方法。现在设计的数据仓库能真正利用txt信息的就不多，而且我们一般都是通过人工的方法把一些文本信息采集到数据仓库中。不知是否还有哪些更有效的方法呢？
UnstructuredData
非结构化数据
在大多数企业里，80％的数据是非结构化的，只有20％是结构化的。而第一代数据仓库中的数据100％来自结构化环境。在非结构化环境中也存在着大量重要的信息。这些信息被第一代数据仓库给忽略了。
我们无法将对数据仓库环境中有用并且可用的非结构化数据立刻转化成结构化的数据，事实上，这个过程包括很多问题。为了解决这个问题而使用搜索引擎是一个无意义的尝试。在数据仓库环境中，数据仓库设计者会使用记录、表、属性、索引等来描述问题，但是在非结构化环境中没有这些内容。在写Email和打电话时都不需要遵守这些规则。
对于非结构化环境，使用搜索引擎有很多缺点：
-查询出太多的数据。
-将数据与其上下文环境中脱离。
-不知道如何为数据仓库环境组织数据。
-不知道如何将搜索到的数据与数据仓库环境中的数据相关联。
-不知道如何处理同义词。
-不知道如何处理同形异义词。
-不知道如何去处理可替换的拼写方式。
-不知道如何去显示数据。
我们要做的不仅仅是访问非结构化数据，而是要访问、整合这些数据，并且将其转化成适合数据仓库环境访问的格式。
我们需要通过一系列的处理将非结构化数据转化成整合的结构化数据，使这些非结构化数据以关系表的形式进入结构化环境。这些关系表与非结构化数据相关联，也与数据仓库的中的保存结构化的表相关联。
这些非结构化数据由于已经被转化为一系列的关系表，所以能访问关系表的标准化工具都可以访问这些非结构化数据。标准化的工具如BusinessObjects，Cognos，MicroStrategy和CrystalReports等都可以访问这些以关系表保存的数据。
第一代数据仓库和第二代数据仓库之间最大的一个区别就是关于非结构化数据的保存问题。第一代数据仓库中没有保存非结构化数据，第二代数据仓库有全面的数据需求，所以将非结构化数据也保存入数据仓库之中。
来自“ITPUB博客”，链接：http://blog.itpub.net/7642859/viewspace-217866/，如需转载，请注明出处，否则将追究法律责任。
转载于:http://blog.itpub.net/7642859/viewspace-217866/
换行。比如，print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思，'\n'是换行，'\t'是tab，'\\'是，\ 是在编写程序中句子太长百，人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种：（1）非线性时间比较类排序：a. 交换类排序（快速排序、冒泡排序）b. 插入类排序（简单插入排序、希尔排序）c. 选择类排序（简单选择排序、堆排序）d. 归并排序（二路归并排序、多路归并排序）（2）线性时间非比较类排序：...
前景很好，中国正在产业升级，工业机器人和人工智能方面都会是强烈的热点，而且正好是在3~5年以后的时间。难度，肯定高，要求你有创新的思维能力，高数中的微积分、数列等等必须得非常好，软件编程(基础的应用最广泛的语言：C/C++)必须得很好，微电子(数字电...
迭代器与生成器的区别：（1）生成器：生成器本质上就是一个函数，它记住了上一次返回时在函数体中的位置。对生成器函数的第二次（或第n次）调用，跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态，生成器还记住了程序...
python中title( )属于python中字符串函数，返回’标题化‘的字符串，就是单词的开头为大写，其余为小写
第一种解释：代码中的cnt是count的简称，一种电脑计算机内部的数学函数的名字，在Excel办公软件中计算参数列表中的数字项的个数；在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时，将把数值型的数字计算进去；但是...
head是方法，所以需要取小括号，即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外，如果想通过位置取数据，请使用iloc，即dataset.iloc[:, :-1]和dataset.iloc[:, -1]，前者表示的是取所有行，但不包括最后一列的数据，结果是个DataFrame。...
挺简单的，其实课程内容没有我们想象的那么难、像我之前同学，完全零基础，培训了半年，直接出来就工作了，人家还在北京大公司上班，一个月15k，实力老厉害了
Python针对众多的类型，提供了众多的内建函数来处理(内建是相对于导入import来说的，后面学习到包package时，将会介绍)，这些内建函数功用在于其往往可对多种类型对象进行类似的操作，即多种类型对象的共有的操作；如果某种操作只对特殊的某一类对象可行，Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释：Python中的单行注释一般是以#开头的，#右边的文字都会被当做解释说明的内容，不会被当做执行的程序。为了保证代码的可读性，一般会在#后面加一两个空格然后在编写解释内容。示例：# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取，然后就是写出判断逻辑来勘测行是否为注视行，空行，编码行其他的：import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题，...
或许是里面有没被注释的代码
自学的话要看个人情况，可以先在B站找一下视频看一下
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 被迫营业的小杨 的问题《对于非结构化数据的搜索需求都有哪些和如何实现?》','http://www.shouhuola.com/q-12950.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
结构化数据主要包括由字母、数字、字符、文字组成的文本和超文本,非结构化数据通常是指声音、图形和图像数据UnstructureddataandUnstructuredETL
做IT的整天和数据打交道，无非就两种：结构化数据和非结构化数据。结构化数据可以很轻松的被导入到数据仓库中，因为不管是3NF还是星型模型，它们在结构上都属于结构化数据。而非结构化数据包括e-mail,spreadsheet,text,documents,reports。结构化和非结构化有很多的不同，而要想把这些非结构化数据利用到数据仓库中，一定要先解决下面的问题：
ü 在结构化数据中可以保证的完整性、一致性如何在非结构化数据中保证呢？
ü 如何同步非结构化中的数据呢？
ü 如何获取非结构化数据？因为可能需要从包括.txt/.pdf/.doc/email等格式的文件中取得数据。
ü 如何获取有用的信息？在doc文件中有很多文字都是没有用的，如何定位到你确切需要的信息呢？
ü 如何对非结构化中的数据进行操作？
ü 非结构化的数据如何与结构化数据集成？同样都是一个词，它们在各自的环境下代表的含义一样吗？
我们通过ETL工具来进行结构化数据到数据仓库的抽取，那么就应该用非结构化的ETL工具来实现从非结构化数据到数据仓库的抽取，那么非结构化ETL工具就一定要解决上述问题。
有需求就会有解决方法。现在设计的数据仓库能真正利用txt信息的就不多，而且我们一般都是通过人工的方法把一些文本信息采集到数据仓库中。不知是否还有哪些更有效的方法呢？
UnstructuredData
非结构化数据
在大多数企业里，80％的数据是非结构化的，只有20％是结构化的。而第一代数据仓库中的数据100％来自结构化环境。在非结构化环境中也存在着大量重要的信息。这些信息被第一代数据仓库给忽略了。
我们无法将对数据仓库环境中有用并且可用的非结构化数据立刻转化成结构化的数据，事实上，这个过程包括很多问题。为了解决这个问题而使用搜索引擎是一个无意义的尝试。在数据仓库环境中，数据仓库设计者会使用记录、表、属性、索引等来描述问题，但是在非结构化环境中没有这些内容。在写Email和打电话时都不需要遵守这些规则。
对于非结构化环境，使用搜索引擎有很多缺点：
-查询出太多的数据。
-将数据与其上下文环境中脱离。
-不知道如何为数据仓库环境组织数据。
-不知道如何将搜索到的数据与数据仓库环境中的数据相关联。
-不知道如何处理同义词。
-不知道如何处理同形异义词。
-不知道如何去处理可替换的拼写方式。
-不知道如何去显示数据。
我们要做的不仅仅是访问非结构化数据，而是要访问、整合这些数据，并且将其转化成适合数据仓库环境访问的格式。
我们需要通过一系列的处理将非结构化数据转化成整合的结构化数据，使这些非结构化数据以关系表的形式进入结构化环境。这些关系表与非结构化数据相关联，也与数据仓库的中的保存结构化的表相关联。
这些非结构化数据由于已经被转化为一系列的关系表，所以能访问关系表的标准化工具都可以访问这些非结构化数据。标准化的工具如BusinessObjects，Cognos，MicroStrategy和CrystalReports等都可以访问这些以关系表保存的数据。
第一代数据仓库和第二代数据仓库之间最大的一个区别就是关于非结构化数据的保存问题。第一代数据仓库中没有保存非结构化数据，第二代数据仓库有全面的数据需求，所以将非结构化数据也保存入数据仓库之中。
来自“ITPUB博客”，链接：http://blog.itpub.net/7642859/viewspace-217866/，如需转载，请注明出处，否则将追究法律责任。
转载于:http://blog.itpub.net/7642859/viewspace-217866/
相关问题推荐
换行。比如，print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思，'\n'是换行，'\t'是tab，'\\'是，\ 是在编写程序中句子太长百，人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种：（1）非线性时间比较类排序：a. 交换类排序（快速排序、冒泡排序）b. 插入类排序（简单插入排序、希尔排序）c. 选择类排序（简单选择排序、堆排序）d. 归并排序（二路归并排序、多路归并排序）（2）线性时间非比较类排序：...
前景很好，中国正在产业升级，工业机器人和人工智能方面都会是强烈的热点，而且正好是在3~5年以后的时间。难度，肯定高，要求你有创新的思维能力，高数中的微积分、数列等等必须得非常好，软件编程(基础的应用最广泛的语言：C/C++)必须得很好，微电子(数字电...
迭代器与生成器的区别：（1）生成器：生成器本质上就是一个函数，它记住了上一次返回时在函数体中的位置。对生成器函数的第二次（或第n次）调用，跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态，生成器还记住了程序...
python中title( )属于python中字符串函数，返回’标题化‘的字符串，就是单词的开头为大写，其余为小写
第一种解释：代码中的cnt是count的简称，一种电脑计算机内部的数学函数的名字，在Excel办公软件中计算参数列表中的数字项的个数；在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时，将把数值型的数字计算进去；但是...
head是方法，所以需要取小括号，即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外，如果想通过位置取数据，请使用iloc，即dataset.iloc[:, :-1]和dataset.iloc[:, -1]，前者表示的是取所有行，但不包括最后一列的数据，结果是个DataFrame。...
挺简单的，其实课程内容没有我们想象的那么难、像我之前同学，完全零基础，培训了半年，直接出来就工作了，人家还在北京大公司上班，一个月15k，实力老厉害了
Python针对众多的类型，提供了众多的内建函数来处理(内建是相对于导入import来说的，后面学习到包package时，将会介绍)，这些内建函数功用在于其往往可对多种类型对象进行类似的操作，即多种类型对象的共有的操作；如果某种操作只对特殊的某一类对象可行，Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释：Python中的单行注释一般是以#开头的，#右边的文字都会被当做解释说明的内容，不会被当做执行的程序。为了保证代码的可读性，一般会在#后面加一两个空格然后在编写解释内容。示例：# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取，然后就是写出判断逻辑来勘测行是否为注视行，空行，编码行其他的：import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题，...
或许是里面有没被注释的代码
自学的话要看个人情况，可以先在B站找一下视频看一下