Golang读写文件的几种方式
本文内容纲要：
-
-读文件
-写文件
BGbiao关注
42017.12.1723:19:02字数978阅读63,710
最近在使用Golang进行文件读写的过程中，遇到几个细节问题导致程序写入数据时有一定脏数据的残留，最后发现是使用os.OpenFile在进行文件操作的时候没有使用正确的flag造成的。因此专门去学习了下Golang中读写文件的几种方式方法。
读文件
使用golang语言去读取一个文件默认会有多种方式，这里主要介绍以下几种。
使用ioutil直接读取
需要引入io/ioutil包，该包默认拥有以下函数供用户调用。
funcNopCloser(rio.Reader)io.ReadCloserfuncReadAll(rio.Reader)([]byte,error)funcReadDir(dirnamestring)([]os.FileInfo,error)funcReadFile(filenamestring)([]byte,error)funcTempDir(dir,prefixstring)(namestring,errerror)funcTempFile(dir,prefixstring)(f*os.File,errerror)funcWriteFile(filenamestring,data[]byte,permos.FileMode)error
读文件，我们可以看以下三个函数:
//从一个io.Reader类型中读取内容直到返回错误或者EOF时返回读取的数据，当err==nil时，数据成功读取到[]byte中
//ReadAll函数被定义为从源中读取数据直到EOF，它是不会去从返回数据中去判断EOF来作为读取成功的依据
funcReadAll(rio.Reader)([]byte,error)//读取一个目录，并返回一个当前目录下的文件对象列表和错误信息funcReadDir(dirnamestring)([]os.FileInfo,error)//读取文件内容，并返回[]byte数据和错误信息。err==nil时，读取成功funcReadFile(filenamestring)([]byte,error)
读取文件示例:
$catreadfile.go
packagemain
import("fmt""io/ioutil""strings")funcmain(){Ioutil("mytestfile.txt")}funcIoutil(namestring){ifcontents,err:=ioutil.ReadFile(name);err==nil{//因为contents是[]byte类型，直接转换成string类型后会多一行空格,需要使用strings.Replace替换换行符result:=strings.Replace(string(contents),"\n","",1)fmt.Println(result)}}$gorunreadfile.goxxbandy.github.io@byAndy_xu
借助os.Open进行读取文件
由于os.Open是打开一个文件并返回一个文件对象，因此其实可以结合ioutil.ReadAll(rio.Reader)来进行读取。
io.Reader其实是一个包含Read方法的接口类型，而文件对象本身是实现了了Read方法的。
我们先来看下os.Open家族的相关函数
//打开一个需要被读取的文件，如果成功读取，返回的文件对象将可用被读取，该函数默认的权限为O_RDONLY，也就是只对文件有只读权限。如果有错误，将返回*PathError类型
funcOpen(namestring)(*File,error)//大部分用户会选择该函数来代替OpenorCreate函数。该函数主要用来指定参数(os.O_APPEND|os.O_CREATE|os.O_WRONLY)以及文件权限(0666)来打开文件，如果打开成功返回的文件对象将被用作I/O操作funcOpenFile(namestring,flagint,permFileMode)(*File,error)
使用os.Open家族函数和ioutil.ReadAll()读取文件示例:
funcOsIoutil(namestring){iffileObj,err:=os.Open(name);err==nil{//iffileObj,err:=os.OpenFile(name,os.O_RDONLY,0644);err==nil{deferfileObj.Close()ifcontents,err:=ioutil.ReadAll(fileObj);err==nil{result:=strings.Replace(string(contents),"\n","",1)fmt.Println("Useos.Openfamilyfunctionsandioutil.ReadAlltoreadafilecontents:",result)}}}#在main函数中调用OsIoutil(name)函数就可以读取文件内容了$gorunreadfile.goUseos.Openfamilyfunctionsandioutil.ReadAlltoreadafilecontents:xxbandy.github.io@byAndy_xu
然而上述方式会比较繁琐一些，因为使用了os的同时借助了ioutil,但是在读取大文件的时候还是比较有优势的。不过读取小文件可以直接使用文件对象的一些方法。
不论是上边说的os.Open还是os.OpenFile他们最终都返回了一个*File文件对象，而该文件对象默认是有很多方法的，其中读取文件的方法有如下几种:
//从文件对象中读取长度为b的字节，返回当前读到的字节数以及错误信息。因此使用该方法需要先初始化一个符合内容大小的空的字节列表。读取到文件的末尾时，该方法返回0，io.EOF
func(f*File)Read(b[]byte)(nint,errerror)//从文件的off偏移量开始读取长度为b的字节。返回读取到字节数以及错误信息。当读取到的字节数n小于想要读取字节的长度len(b)的时候，该方法将返回非空的error。当读到文件末尾时，err返回io.EOFfunc(f*File)ReadAt(b[]byte,offint64)(nint,errerror)
使用文件对象的Read方法读取：
funcFileRead(namestring){iffileObj,err:=os.Open(name);err==nil{deferfileObj.Close()//在定义空的byte列表时尽量大一些，否则这种方式读取内容可能造成文件读取不完整buf:=make([]byte,1024)ifn,err:=fileObj.Read(buf);err==nil{fmt.Println("Thenumberofbytesread:"+strconv.Itoa(n),"Buflength:"+strconv.Itoa(len(buf)))result:=strings.Replace(string(buf),"\n","",1)fmt.Println("Useos.OpenandFile'sReadmethodtoreadafile:",result)}}}
使用os.Open和bufio.Reader读取文件内容
bufio包实现了缓存IO,它本身包装了io.Reader和io.Writer对象，创建了另外的Reader和Writer对象，不过该种方式是带有缓存的，因此对于文本I/O来说，该包是提供了一些便利的。
先看下bufio模块下的相关的Reader函数方法：
//首先定义了一个用来缓冲io.Reader对象的结构体，同时该结构体拥有以下相关的方法
typeReaderstruct{
}//NewReader函数用来返回一个默认大小buffer的Reader对象(默认大小好像是4096)等同于NewReaderSize(rd,4096)funcNewReader(rdio.Reader)*Reader//该函数返回一个指定大小buffer(size最小为16)的Reader对象，如果io.Reader参数已经是一个足够大的Reader，它将返回该ReaderfuncNewReaderSize(rdio.Reader,sizeint)*Reader//该方法返回从当前buffer中能被读到的字节数func(b*Reader)Buffered()int//Discard方法跳过后续的n个字节的数据，返回跳过的字节数。如果0<=n<=b.Buffered(),该方法将不会从io.Reader中成功读取数据。func(b*Reader)Discard(nint)(discardedint,errerror)//Peekf方法返回缓存的一个切片，该切片只包含缓存中的前n个字节的数据func(b*Reader)Peek(nint)([]byte,error)//把Reader缓存对象中的数据读入到[]byte类型的p中，并返回读取的字节数。读取成功，err将返回空值func(b*Reader)Read(p[]byte)(nint,errerror)//返回单个字节，如果没有数据返回errfunc(b*Reader)ReadByte()(byte,error)//该方法在b中读取delimz之前的所有数据，返回的切片是已读出的数据的引用，切片中的数据在下一次的读取操作之前是有效的。如果未找到delim，将返回查找结果并返回nil空值。因为缓存的数据可能被下一次的读写操作修改，因此一般使用ReadBytes或者ReadString，他们返回的都是数据拷贝func(b*Reader)ReadSlice(delimbyte)(line[]byte,errerror)//功能同ReadSlice，返回数据的拷贝func(b*Reader)ReadBytes(delimbyte)([]byte,error)//功能同ReadBytes,返回字符串func(b*Reader)ReadString(delimbyte)(string,error)//该方法是一个低水平的读取方式，一般建议使用ReadBytes('\n')或ReadString('\n')，或者使用一个Scanner来代替。ReadLine通过调用ReadSlice方法实现，返回的也是缓存的切片，用于读取一行数据，不包括行尾标记（\n或\r\n）func(b*Reader)ReadLine()(line[]byte,isPrefixbool,errerror)//读取单个UTF-8字符并返回一个rune和字节大小func(b*Reader)ReadRune()(rrune,sizeint,errerror)
示例：
funcBufioRead(namestring){iffileObj,err:=os.Open(name);err==nil{deferfileObj.Close()//一个文件对象本身是实现了io.Reader的使用bufio.NewReader去初始化一个Reader对象，存在buffer中的，读取一次就会被清空reader:=bufio.NewReader(fileObj)//使用ReadString(delimbyte)来读取delim以及之前的数据并返回相关的字符串.ifresult,err:=reader.ReadString(byte('@'));err==nil{fmt.Println("使用ReadSlince相关方法读取内容:",result)}//注意:上述ReadString已经将buffer中的数据读取出来了，下面将不会输出内容//需要注意的是，因为是将文件内容读取到[]byte中，因此需要对大小进行一定的把控buf:=make([]byte,1024)//读取Reader对象中的内容到[]byte类型的buf中ifn,err:=reader.Read(buf);err==nil{fmt.Println("Thenumberofbytesread:"+strconv.Itoa(n))//这里的buf是一个[]byte，因此如果需要只输出内容，仍然需要将文件内容的换行符替换掉fmt.Println("Usebufio.NewReaderandos.Openreadfilecontentstoa[]byte:",string(buf))}}}
读取文件全部示例
/**
*@FileName:readfile.go
*@Author:Andy_xu@xxbandy.github.io
*@Email:371990778@qq.com
*@CreateDate:2017-12-1616:12:01
*@LastModified:2017-12-1712:12:02
*@Description:读取指定文件的几种方法，需要注意的是[]byte类型在转换成string类型的时候，都会在最后多一行空格，需要使用result:=strings.Replace(string(contents),"\n","",1)方式替换换行符
*/
packagemain
import(
"fmt""io/ioutil""strings""os""strconv""bufio")funcmain(){Ioutil("mytestfile.txt")OsIoutil("mytestfile.txt")FileRead("mytestfile.txt")BufioRead("mytestfile.txt")}funcIoutil(namestring){ifcontents,err:=ioutil.ReadFile(name);err==nil{//因为contents是[]byte类型，直接转换成string类型后会多一行空格,需要使用strings.Replace替换换行符result:=strings.Replace(string(contents),"\n","",1)fmt.Println("Useioutil.ReadFiletoreadafile:",result)}}funcOsIoutil(namestring){iffileObj,err:=os.Open(name);err==nil{//iffileObj,err:=os.OpenFile(name,os.O_RDONLY,0644);err==nil{deferfileObj.Close()ifcontents,err:=ioutil.ReadAll(fileObj);err==nil{result:=strings.Replace(string(contents),"\n","",1)fmt.Println("Useos.Openfamilyfunctionsandioutil.ReadAlltoreadafile:",result)}}}funcFileRead(namestring){iffileObj,err:=os.Open(name);err==nil{deferfileObj.Close()//在定义空的byte列表时尽量大一些，否则这种方式读取内容可能造成文件读取不完整buf:=make([]byte,1024)ifn,err:=fileObj.Read(buf);err==nil{fmt.Println("Thenumberofbytesread:"+strconv.Itoa(n),"Buflength:"+strconv.Itoa(len(buf)))result:=strings.Replace(string(buf),"\n","",1)fmt.Println("Useos.OpenandFile'sReadmethodtoreadafile:",result)}}}funcBufioRead(namestring){iffileObj,err:=os.Open(name);err==nil{deferfileObj.Close()//一个文件对象本身是实现了io.Reader的使用bufio.NewReader去初始化一个Reader对象，存在buffer中的，读取一次就会被清空reader:=bufio.NewReader(fileObj)//使用ReadString(delimbyte)来读取delim以及之前的数据并返回相关的字符串.ifresult,err:=reader.ReadString(byte('@'));err==nil{fmt.Println("使用ReadSlince相关方法读取内容:",result)}//注意:上述ReadString已经将buffer中的数据读取出来了，下面将不会输出内容//需要注意的是，因为是将文件内容读取到[]byte中，因此需要对大小进行一定的把控buf:=make([]byte,1024)//读取Reader对象中的内容到[]byte类型的buf中ifn,err:=reader.Read(buf);err==nil{fmt.Println("Thenumberofbytesread:"+strconv.Itoa(n))//这里的buf是一个[]byte，因此如果需要只输出内容，仍然需要将文件内容的换行符替换掉fmt.Println("Usebufio.NewReaderandos.Openreadfilecontentstoa[]byte:",string(buf))}}}
写文件
那么上述几种方式来读取文件的方式也支持文件的写入，相关的方法如下:
使用ioutil包进行文件写入
//写入[]byte类型的data到filename文件中，文件权限为perm
funcWriteFile(filenamestring,data[]byte,permos.FileMode)error
示例:
$catwritefile.go
/**
*@FileName:writefile.go
*@Author:
*@Email:
*@CreateDate:2017-12-1712:12:09
*@LastModified:2017-12-1712:12:30
*@Description:使用多种方式将数据写入文件
*/
packagemain
import("fmt""io/ioutil")funcmain(){name:="testwritefile.txt"content:="Hello,xxbandy.github.io!\n"WriteWithIoutil(name,content)}//使用ioutil.WriteFile方式写入文件,是将[]byte内容写入文件,如果content字符串中没有换行符的话，默认就不会有换行符funcWriteWithIoutil(name,contentstring){data:=[]byte(content)ifioutil.WriteFile(name,data,0644)==nil{fmt.Println("写入文件成功:",content)}}#会有换行符$gorunwritefile.go写入文件成功:Hello,xxbandy.github.io!
使用os.Open相关函数进行文件写入
因为os.Open系列的函数会打开文件，并返回一个文件对象指针，而该文件对象是一个定义的结构体，拥有一些相关写入的方法。
文件对象结构体以及相关写入文件的方法:
//写入长度为b字节切片到文件f中，返回写入字节号和错误信息。当n不等于len(b)时，将返回非空的err
func(f*File)Write(b[]byte)(nint,errerror)//在off偏移量出向文件f写入长度为b的字节func(f*File)WriteAt(b[]byte,offint64)(nint,errerror)//类似于Write方法，但是写入内容是字符串而不是字节切片func(f*File)WriteString(sstring)(nint,errerror)
注意：使用WriteString()j进行文件写入发现经常新内容写入时无法正常覆盖全部新内容。(是因为字符串长度不一样)
示例：
//使用os.OpenFile()相关函数打开文件对象，并使用文件对象的相关方法进行文件写入操作
funcWriteWithFileWrite(name,contentstring){fileObj,err:=os.OpenFile(name,os.O_RDWR|os.O_CREATE|os.O_TRUNC,0644)iferr!=nil{fmt.Println("Failedtoopenthefile",err.Error())os.Exit(2)}deferfileObj.Close()if_,err:=fileObj.WriteString(content);err==nil{fmt.Println("Successfulwritingtothefilewithos.OpenFileand*File.WriteStringmethod.",content)}contents:=[]byte(content)if_,err:=fileObj.Write(contents);err==nil{fmt.Println("Successfulwritingtothrfilewithos.OpenFileand*File.Writemethod.",content)}}
注意:使用os.OpenFile(namestring,flagint,permFileMode)打开文件并进行文件内容更改，需要注意flag相关的参数以及含义。
const(
O_RDONLYint=syscall.O_RDONLY//只读打开文件和os.Open()同义O_WRONLYint=syscall.O_WRONLY//只写打开文件O_RDWRint=syscall.O_RDWR//读写方式打开文件O_APPENDint=syscall.O_APPEND//当写的时候使用追加模式到文件末尾O_CREATEint=syscall.O_CREAT//如果文件不存在，此案创建O_EXCLint=syscall.O_EXCL//和O_CREATE一起使用,只有当文件不存在时才创建O_SYNCint=syscall.O_SYNC//以同步I/O方式打开文件，直接写入硬盘.O_TRUNCint=syscall.O_TRUNC//如果可以的话，当打开文件时先清空文件)
使用io包中的相关函数写入文件
在io包中有一个WriteString()函数，用来将字符串写入一个Writer对象中。
//将字符串s写入w(可以是一个[]byte)，如果w实现了一个WriteString方法，它可以被直接调用。否则w.Write会再一次被调用
funcWriteString(wWriter,sstring)(nint,errerror)//Writer对象的定义typeWriterinterface{Write(p[]byte)(nint,errerror)}
示例:
//使用io.WriteString()函数进行数据的写入
funcWriteWithIo(name,contentstring){fileObj,err:=os.OpenFile(name,os.O_RDWR|os.O_CREATE|os.O_APPEND,0644)iferr!=nil{fmt.Println("Failedtoopenthefile",err.Error())os.Exit(2)}if_,err:=io.WriteString(fileObj,content);err==nil{fmt.Println("Successfulappendingtothefilewithos.OpenFileandio.WriteString.",content)}}
使用bufio包中的相关函数写入文件
bufio和io包中很多操作都是相似的，唯一不同的地方是bufio提供了一些缓冲的操作，如果对文件I/O操作比较频繁的，使用bufio还是能增加一些性能的。
在bufio包中，有一个Writer结构体，而其相关的方法也支持一些写入操作。
//Writer是一个空的结构体，一般需要使用NewWriter或者NewWriterSize来初始化一个结构体对象
typeWriterstruct{
//containsfilteredorunexportedfields}//NewWriterSize和NewWriter函数//返回默认缓冲大小的Writer对象(默认是4096)funcNewWriter(wio.Writer)*Writer//指定缓冲大小创建一个Writer对象funcNewWriterSize(wio.Writer,sizeint)*Writer//Writer对象相关的写入数据的方法//把p中的内容写入buffer,返回写入的字节数和错误信息。如果nn<len(p),返回错误信息中会包含为什么写入的数据比较短func(b*Writer)Write(p[]byte)(nnint,errerror)//将buffer中的数据写入io.Writerfunc(b*Writer)Flush()error//以下三个方法可以直接写入到文件中//写入单个字节func(b*Writer)WriteByte(cbyte)error//写入单个Unicode指针返回写入字节数错误信息func(b*Writer)WriteRune(rrune)(sizeint,errerror)//写入字符串并返回写入字节数和错误信息func(b*Writer)WriteString(sstring)(int,error)
注意：如果需要再写入文件时利用缓冲的话只能使用bufio包中的Write方法
示例:
//使用bufio包中Writer对象的相关方法进行数据的写入
funcWriteWithBufio(name,contentstring){iffileObj,err:=os.OpenFile(name,os.O_RDWR|os.O_CREATE|os.O_APPEND,0644);err==nil{deferfileObj.Close()writeObj:=bufio.NewWriterSize(fileObj,4096)//if_,err:=writeObj.WriteString(content);err==nil{fmt.Println("Successfulappendingbufferandflushtofilewithbufio'sWriterobjWriteStringmethod",content)}//使用Write方法,需要使用Writer对象的Flush方法将buffer中的数据刷到磁盘buf:=[]byte(content)if_,err:=writeObj.Write(buf);err==nil{fmt.Println("Successfulappendingtothebufferwithos.OpenFileandbufio'sWriterobjWritemethod.",content)iferr:=writeObj.Flush();err!=nil{panic(err)}fmt.Println("Successfulflushthebufferdatatofile",content)}}}
写文件全部示例
/**
*@FileName:writefile.go
*@Author:Andy_xu@xxbandy.github.io
*@Email:371990778@qq.com
*@CreateDate:2017-12-1712:12:09
*@LastModified:2017-12-1723:12:10
*@Description:使用多种方式将数据写入文件
*/
packagemain
import(
"os""io""fmt""io/ioutil""bufio")funcmain(){name:="testwritefile.txt"content:="Hello,xxbandy.github.io!\n"WriteWithIoutil(name,content)contents:="Hello,xuxuebiao\n"//清空一次文件并写入两行contentsWriteWithFileWrite(name,contents)WriteWithIo(name,content)//使用bufio包需要将数据先读到buffer中，然后在flash到磁盘中WriteWithBufio(name,contents)}//使用ioutil.WriteFile方式写入文件,是将[]byte内容写入文件,如果content字符串中没有换行符的话，默认就不会有换行符funcWriteWithIoutil(name,contentstring){data:=[]byte(content)ifioutil.WriteFile(name,data,0644)==nil{fmt.Println("写入文件成功:",content)}}//使用os.OpenFile()相关函数打开文件对象，并使用文件对象的相关方法进行文件写入操作//清空一次文件funcWriteWithFileWrite(name,contentstring){fileObj,err:=os.OpenFile(name,os.O_RDWR|os.O_CREATE|os.O_TRUNC,0644)iferr!=nil{fmt.Println("Failedtoopenthefile",err.Error())os.Exit(2)}deferfileObj.Close()if_,err:=fileObj.WriteString(content);err==nil{fmt.Println("Successfulwritingtothefilewithos.OpenFileand*File.WriteStringmethod.",content)}contents:=[]byte(content)if_,err:=fileObj.Write(contents);err==nil{fmt.Println("Successfulwritingtothrfilewithos.OpenFileand*File.Writemethod.",content)}}//使用io.WriteString()函数进行数据的写入funcWriteWithIo(name,contentstring){fileObj,err:=os.OpenFile(name,os.O_RDWR|os.O_CREATE|os.O_APPEND,0644)iferr!=nil{fmt.Println("Failedtoopenthefile",err.Error())os.Exit(2)}if_,err:=io.WriteString(fileObj,content);err==nil{fmt.Println("Successfulappendingtothefilewithos.OpenFileandio.WriteString.",content)}}//使用bufio包中Writer对象的相关方法进行数据的写入funcWriteWithBufio(name,contentstring){iffileObj,err:=os.OpenFile(name,os.O_RDWR|os.O_CREATE|os.O_APPEND,0644);err==nil{deferfileObj.Close()writeObj:=bufio.NewWriterSize(fileObj,4096)//if_,err:=writeObj.WriteString(content);err==nil{fmt.Println("Successfulappendingbufferandflushtofilewithbufio'sWriterobjWriteStringmethod",content)}//使用Write方法,需要使用Writer对象的Flush方法将buffer中的数据刷到磁盘buf:=[]byte(content)if_,err:=writeObj.Write(buf);err==nil{fmt.Println("Successfulappendingtothebufferwithos.OpenFileandbufio'sWriterobjWritemethod.",content)iferr:=writeObj.Flush();err!=nil{panic(err)}fmt.Println("Successfulflushthebufferdatatofile",content)}}}
本文内容总结：，读文件，写文件，
原文链接：https://www.cnblogs.com/wangqianlove/p/12579994.html