2021-03-08 18:01发布
[图]因平时用的是python,想把mat结尾的文件转为csv或者excel格式的,在网上搜了很多代码也运行不成功,想知道在matlab或者python中有什么简单快捷的方法可以实现这一操作吗?非常感谢各路... 显示全部
因平时用的是python,想把mat结尾的文件转为csv或者excel格式的,在网上搜了很多代码也运行不成功,想知道在matlab或者python中有什么简单快捷的方法可以实现这一操作吗?
非常感谢各路大神们!!!
1.CSV文件格式简介
逗号分隔值(Comma-SeparatedValues,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列。
CSV文件格式的通用标准并不存在,但是在RFC4180中有基础性的描述。使用的字符编码同样没有被指定,但是7-bitASCII是最基本的通用编码。
一般情况下,CSV文件格式规则如下:
1. 开头是不留空,以行为单位。
2. 可含或不含列名,含列名则居文件第一行。
3. 一行数据不跨行,无空行。
4. 以半角逗号(即,)作分隔符,列为空也要表达其存在。
5. 列内容如存在半角逗号(即,)则用半角双引号(即"")将该字段值包含起来。
6. 列内容如存在半角引号(即")则应替换成半角双引号("")转义,并用半角引号(即"")将该字段值包含起来。
7. 文件读写时引号,逗号操作规则互逆。
8. 内码格式不限,可为ASCII、Unicode或者其他。
9. 不支持特殊字符
2.Mat矩阵数据存储到CSV文件中
博文“C++读写CSV文件”提出了一种CSV文件的读取遍历算法和写入算法,http://www.cnblogs.com/snake-hand/p/3170483.html,并利用C++实现了对CSV文件的读、写操作。
本文结合OpenCV的CSV风格格式化输出与流缓冲重定向,比较巧妙地实现了“将Mat矩阵数据存储到CSV文件”功能。
代码如下:
//保存cout流缓冲区指针
streambuf*coutBuf=cout.rdbuf();
fstreammatData("E:\\Test\\data\\fire_2.csv",ios::out|ios::trunc);
if(!matData){
cerr<<"Fileopenorcreateerror!"<
exit(1);
}
//获取文件fire.csv的流缓冲区指针
streambuf*fileBuf=matData.rdbuf();
//设置cout流缓冲区指针为文件的流缓冲区指针
cout.rdbuf(fileBuf);
cout<
matData.flush();
matData.close();
//恢复cout原来的流缓冲区指针
cout.rdbuf(coutBuf);
测试结果:
3.从CSV文件读取数据到Mat矩阵
以下代码为我自己写的read_csv函数,实现了从CSV文件读取数据到Mat矩阵中的功能。
/**
*函数功能:将csv文件数据提取到Mat类型矩阵中
*输入:filepath文件路径数组指针;img_sizeMat类型数据的Size;img_typeMat类型数据的类型(32FC1)
*返回值:Mat矩阵
*/
Matread_csv(constchar*filepath,Sizeimg_size,intimg_type)
{
Matimage;
image.create(img_size,img_type);
stringpixel;
ifstreamfile(filepath,ifstream::in);
if(!file)
cout<<"CSVreadfail"<
intnl=image.rows;//numberoflines
intnc=image.cols;//numberofcolumns
inteolElem=image.cols-1; //每行最后一个元素的下标
intelemCount=0;
if(image.isContinuous())
nc=nc*nl;//thennopaddedpixels
nl=1; //itisnowa1Darray
for(inti=0;i
float*data=(float*)image.ptr(i);
for(intj=0;j
if(elemCount==eolElem){
getline(file,pixel,''); //任意地读入,直到读到delim字符'',delim字符不会被放入buffer中
data[j]=(float)atof(pixel.c_str()); //将字符串str转换成一个双精度数值并返回结果
elemCount=0; //计数器置零
else{
getline(file,pixel,','); //任意地读入,直到读到delim字符','delim字符不会被放入buffer中
elemCount++;
returnimage;
注意事项:
注意每一个记录结束时以’’结尾,而非’,’因此需要特别处理。
OpenCV 的实现:
在我调用read_csv函数时,发现OpenCV已经有实现类似功能的函数:intCvMLData::read_csv(constchar*filename)。利用CMake编译OpenCV,点击鼠标右键->转到定义可以方便查看opencv的源代码。(具体方法见以下链接博文)http://blog.csdn.net/solomon1558/article/details/43780533
实现一:
例程FisherfacesinOpenCV中的read_csv函数
staticvoidread_csv(conststring&filename,vector&images,vector&labels,charseparator=';'){
std::ifstreamfile(filename.c_str(),ifstream::in);
if(!file){
stringerror_message="Novalidinputfilewasgiven,pleasecheckthegivenfilename.";
CV_Error(CV_StsBadArg,error_message);
stringline,path,classlabel;
while(getline(file,line)){
stringstreamliness(line);
getline(liness,path,separator);
getline(liness,classlabel);
if(!path.empty()&&!classlabel.empty()){
images.push_back(imread(path,0));
labels.push_back(atoi(classlabel.c_str()));
实现二:intCvMLData::read_csv(constchar*filename)
intCvMLData::read_csv(constchar*filename)
constintM=1000000;
constcharstr_delimiter[3]={'',delimiter,'\0'};
FILE*file=0;
CvMemStorage*storage;
CvSeq*seq;
char*ptr;
float*el_ptr;
CvSeqReaderreader;
intcols_count=0;
uchar*var_types_ptr=0;
clear();
file=fopen(filename,"rt");
return-1;
//readthefirstlineanddeterminethenumberofvariables
std::vector_buf(M);
char*buf=&_buf[0];
if(!fgets_chomp(buf,M,file))
fclose(file);
ptr=buf;
while(*ptr=='')
ptr++;
for(;*ptr!='\0';)
if(*ptr==delimiter||*ptr=='')
cols_count++;
while(*ptr=='')ptr++;
else
if(cols_count==0)
//createtemporarymemorystoragetostorethewholedatabase
el_ptr=newfloat[cols_count];
storage=cvCreateMemStorage();
seq=cvCreateSeq(0,sizeof(*seq),cols_count*sizeof(float),storage);
var_types=cvCreateMat(1,cols_count,CV_8U);
cvZero(var_types);
var_types_ptr=var_types->data.ptr;
for(;;)
char*token=NULL;
inttype;
token=strtok(buf,str_delimiter);
if(!token)
break;
for(inti=0;i{str_to_flt_elem(token,el_ptr[i],type);var_types_ptr[i]|=type;token=strtok(NULL,str_delimiter);if(!token){fclose(file);delete[]el_ptr;return-1;}}str_to_flt_elem(token,el_ptr[cols_count-1],type);var_types_ptr[cols_count-1]|=type;cvSeqPush(seq,el_ptr);if(!fgets_chomp(buf,M,file))break;}fclose(file);values=cvCreateMat(seq->total,cols_count,CV_32FC1);missing=cvCreateMat(seq->total,cols_count,CV_8U);var_idx_mask=cvCreateMat(1,values->cols,CV_8UC1);cvSet(var_idx_mask,cvRealScalar(1));train_sample_count=seq->total;cvStartReadSeq(seq,&reader);for(inti=0;itotal;i++){constfloat*sdata=(float*)reader.ptr;float*ddata=values->data.fl+cols_count*i;uchar*dm=missing->data.ptr+cols_count*i;for(intj=0;j{ddata[j]=sdata[j];dm[j]=(fabs(MISS_VAL-sdata[j])<=FLT_EPSILON);}CV_NEXT_SEQ_ELEM(seq->elem_size,reader);}if(cvNorm(missing,0,CV_L1)<=FLT_EPSILON)cvReleaseMat(&missing);cvReleaseMemStorage(&storage);delete[]el_ptr;return0;}
str_to_flt_elem(token,el_ptr[i],type);
var_types_ptr[i]|=type;
token=strtok(NULL,str_delimiter);
delete[]el_ptr;
str_to_flt_elem(token,el_ptr[cols_count-1],type);
var_types_ptr[cols_count-1]|=type;
cvSeqPush(seq,el_ptr);
values=cvCreateMat(seq->total,cols_count,CV_32FC1);
missing=cvCreateMat(seq->total,cols_count,CV_8U);
var_idx_mask=cvCreateMat(1,values->cols,CV_8UC1);
cvSet(var_idx_mask,cvRealScalar(1));
train_sample_count=seq->total;
cvStartReadSeq(seq,&reader);
for(inti=0;itotal;i++)
constfloat*sdata=(float*)reader.ptr;
float*ddata=values->data.fl+cols_count*i;
uchar*dm=missing->data.ptr+cols_count*i;
for(intj=0;j{ddata[j]=sdata[j];dm[j]=(fabs(MISS_VAL-sdata[j])<=FLT_EPSILON);}CV_NEXT_SEQ_ELEM(seq->elem_size,reader);}if(cvNorm(missing,0,CV_L1)<=FLT_EPSILON)cvReleaseMat(&missing);cvReleaseMemStorage(&storage);delete[]el_ptr;return0;}
ddata[j]=sdata[j];
dm[j]=(fabs(MISS_VAL-sdata[j])<=FLT_EPSILON);
CV_NEXT_SEQ_ELEM(seq->elem_size,reader);
if(cvNorm(missing,0,CV_L1)<=FLT_EPSILON)
cvReleaseMat(&missing);
cvReleaseMemStorage(&storage);
return0;
1、2、这里把X118_DE_time,转化成X118.csv文件3、之后就转化成了X118.csv
换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...
前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...
迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...
python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写
第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...
head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...
挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了
Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...
或许是里面有没被注释的代码
自学的话要看个人情况,可以先在B站找一下视频看一下
最多设置5个标签!
1.CSV文件格式简介
逗号分隔值(Comma-SeparatedValues,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列。
CSV文件格式的通用标准并不存在,但是在RFC4180中有基础性的描述。使用的字符编码同样没有被指定,但是7-bitASCII是最基本的通用编码。
一般情况下,CSV文件格式规则如下:
1. 开头是不留空,以行为单位。
2. 可含或不含列名,含列名则居文件第一行。
3. 一行数据不跨行,无空行。
4. 以半角逗号(即,)作分隔符,列为空也要表达其存在。
5. 列内容如存在半角逗号(即,)则用半角双引号(即"")将该字段值包含起来。
6. 列内容如存在半角引号(即")则应替换成半角双引号("")转义,并用半角引号(即"")将该字段值包含起来。
7. 文件读写时引号,逗号操作规则互逆。
8. 内码格式不限,可为ASCII、Unicode或者其他。
9. 不支持特殊字符
2.Mat矩阵数据存储到CSV文件中
博文“C++读写CSV文件”提出了一种CSV文件的读取遍历算法和写入算法,http://www.cnblogs.com/snake-hand/p/3170483.html,并利用C++实现了对CSV文件的读、写操作。
本文结合OpenCV的CSV风格格式化输出与流缓冲重定向,比较巧妙地实现了“将Mat矩阵数据存储到CSV文件”功能。
代码如下:
//保存cout流缓冲区指针
streambuf*coutBuf=cout.rdbuf();
fstreammatData("E:\\Test\\data\\fire_2.csv",ios::out|ios::trunc);
if(!matData){
cerr<<"Fileopenorcreateerror!"<
exit(1);
}
//获取文件fire.csv的流缓冲区指针
streambuf*fileBuf=matData.rdbuf();
//设置cout流缓冲区指针为文件的流缓冲区指针
cout.rdbuf(fileBuf);
cout<
matData.flush();
matData.close();
//恢复cout原来的流缓冲区指针
cout.rdbuf(coutBuf);
测试结果:
3.从CSV文件读取数据到Mat矩阵
以下代码为我自己写的read_csv函数,实现了从CSV文件读取数据到Mat矩阵中的功能。
/**
*函数功能:将csv文件数据提取到Mat类型矩阵中
*输入:filepath文件路径数组指针;img_sizeMat类型数据的Size;img_typeMat类型数据的类型(32FC1)
*返回值:Mat矩阵
*/
Matread_csv(constchar*filepath,Sizeimg_size,intimg_type)
{
Matimage;
image.create(img_size,img_type);
stringpixel;
ifstreamfile(filepath,ifstream::in);
if(!file)
cout<<"CSVreadfail"<
intnl=image.rows;//numberoflines
intnc=image.cols;//numberofcolumns
inteolElem=image.cols-1; //每行最后一个元素的下标
intelemCount=0;
if(image.isContinuous())
{
nc=nc*nl;//thennopaddedpixels
nl=1; //itisnowa1Darray
}
for(inti=0;i
{
float*data=(float*)image.ptr(i);
for(intj=0;j
{
if(elemCount==eolElem){
getline(file,pixel,''); //任意地读入,直到读到delim字符'',delim字符不会被放入buffer中
data[j]=(float)atof(pixel.c_str()); //将字符串str转换成一个双精度数值并返回结果
elemCount=0; //计数器置零
}
else{
getline(file,pixel,','); //任意地读入,直到读到delim字符','delim字符不会被放入buffer中
data[j]=(float)atof(pixel.c_str()); //将字符串str转换成一个双精度数值并返回结果
elemCount++;
}
}
}
returnimage;
}
测试结果:
注意事项:
注意每一个记录结束时以’’结尾,而非’,’因此需要特别处理。
OpenCV 的实现:
在我调用read_csv函数时,发现OpenCV已经有实现类似功能的函数:intCvMLData::read_csv(constchar*filename)。利用CMake编译OpenCV,点击鼠标右键->转到定义可以方便查看opencv的源代码。(具体方法见以下链接博文)http://blog.csdn.net/solomon1558/article/details/43780533
实现一:
例程FisherfacesinOpenCV中的read_csv函数
staticvoidread_csv(conststring&filename,vector&images,vector&labels,charseparator=';'){
std::ifstreamfile(filename.c_str(),ifstream::in);
if(!file){
stringerror_message="Novalidinputfilewasgiven,pleasecheckthegivenfilename.";
CV_Error(CV_StsBadArg,error_message);
}
stringline,path,classlabel;
while(getline(file,line)){
stringstreamliness(line);
getline(liness,path,separator);
getline(liness,classlabel);
if(!path.empty()&&!classlabel.empty()){
images.push_back(imread(path,0));
labels.push_back(atoi(classlabel.c_str()));
}
}
}
实现二:intCvMLData::read_csv(constchar*filename)
intCvMLData::read_csv(constchar*filename)
{
constintM=1000000;
constcharstr_delimiter[3]={'',delimiter,'\0'};
FILE*file=0;
CvMemStorage*storage;
CvSeq*seq;
char*ptr;
float*el_ptr;
CvSeqReaderreader;
intcols_count=0;
uchar*var_types_ptr=0;
clear();
file=fopen(filename,"rt");
if(!file)
return-1;
//readthefirstlineanddeterminethenumberofvariables
std::vector_buf(M);
char*buf=&_buf[0];
if(!fgets_chomp(buf,M,file))
{
fclose(file);
return-1;
}
ptr=buf;
while(*ptr=='')
ptr++;
for(;*ptr!='\0';)
{
if(*ptr==delimiter||*ptr=='')
{
cols_count++;
ptr++;
while(*ptr=='')ptr++;
}
else
ptr++;
}
cols_count++;
if(cols_count==0)
{
fclose(file);
return-1;
}
//createtemporarymemorystoragetostorethewholedatabase
el_ptr=newfloat[cols_count];
storage=cvCreateMemStorage();
seq=cvCreateSeq(0,sizeof(*seq),cols_count*sizeof(float),storage);
var_types=cvCreateMat(1,cols_count,CV_8U);
cvZero(var_types);
var_types_ptr=var_types->data.ptr;
for(;;)
{
char*token=NULL;
inttype;
token=strtok(buf,str_delimiter);
if(!token)
break;
for(inti=0;i
{
str_to_flt_elem(token,el_ptr[i],type);
var_types_ptr[i]|=type;
token=strtok(NULL,str_delimiter);
if(!token)
{
fclose(file);
delete[]el_ptr;
return-1;
}
}
str_to_flt_elem(token,el_ptr[cols_count-1],type);
var_types_ptr[cols_count-1]|=type;
cvSeqPush(seq,el_ptr);
if(!fgets_chomp(buf,M,file))
break;
}
fclose(file);
values=cvCreateMat(seq->total,cols_count,CV_32FC1);
missing=cvCreateMat(seq->total,cols_count,CV_8U);
var_idx_mask=cvCreateMat(1,values->cols,CV_8UC1);
cvSet(var_idx_mask,cvRealScalar(1));
train_sample_count=seq->total;
cvStartReadSeq(seq,&reader);
for(inti=0;itotal;i++)
{
constfloat*sdata=(float*)reader.ptr;
float*ddata=values->data.fl+cols_count*i;
uchar*dm=missing->data.ptr+cols_count*i;
for(intj=0;j
{
ddata[j]=sdata[j];
dm[j]=(fabs(MISS_VAL-sdata[j])<=FLT_EPSILON);
}
CV_NEXT_SEQ_ELEM(seq->elem_size,reader);
}
if(cvNorm(missing,0,CV_L1)<=FLT_EPSILON)
cvReleaseMat(&missing);
cvReleaseMemStorage(&storage);
delete[]el_ptr;
return0;
}
1、
2、这里把X118_DE_time,转化成X118.csv文件
3、之后就转化成了X118.csv
相关问题推荐
换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...
前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...
迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...
python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写
第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...
head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...
挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了
Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...
或许是里面有没被注释的代码
自学的话要看个人情况,可以先在B站找一下视频看一下