20文件IO_csv_ini

 

创新互联建站从2013年成立,先为昭平等服务建站,昭平等地企业,进行企业商务咨询服务。为昭平企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

csv、ini

 

csv:

配置信息,ini、xml、json(可映射为dict);

 

结构化:DB,用schema来描述数据是干什么的,人可理解;

半结构化:json,html,xml,人可理解;

非结构化:video,image等二进制数据,机器理解;

 

结构化和半结构化数据,人可理解;

非结构化数据,机器理解;

 

comma separated values,逗号分隔值;

csv是一个被行分隔符、列分隔符划分成行和列的文本文件;

没有指定的字符编码,参考RFC 4180 http://www.ietf.org/rfc/rfc4180.txt;

行分隔符为\r\n,最后一行可以没有换行符;

列分隔符常为逗号或制表符;

每一行称为一条record记录;

字段可以使用双引号括起来,也可以不使用;如果字段中出现了双引号、逗号、换行符,必须用双引号括起来;如果字段的值是双引号,使用两个双引号表示一个转义(通常一个特殊字符重复两次,表示其本身);

表头可选,和字段列对齐就行;

 

20文件IO_csv_ini

 

 

 

csv模块:

csv.reader(csvfile,dialect='excel',**fmtparams),

**fmtparams,解字典;

返回DictReader的实例,是个行迭代器;

delimiter,列分隔符,逗号,也可用:冒号;

lineterminator,行分隔符\r\n;

quotechar,字段的引用符号,缺省为"双引号,如果使用其它符号,如^,则内容中有双引号则不用处理;

 

双引号的处理:

doublequote,默认为True,如果和quotechar为同一个,True则使用2个双引号表示,False表示使用转义字符将作为双引号的前缀;

excapechar,一个转义符,默认为None;

quoting,指定双引号的规则,QUOTE_ALL所有字段;QUOTE_MINIMAL默认,特殊字符字段,不冲突不加双引号,冲突加双引号;QUOTE_NONNUMERIC,非数字字段;QUOTE_NONE,都不使用双引号;

 

csv.writer(csvfile,dialect='excel',**fmtparams),返回DictWriter的实例,主要方法有csv.write(f).writerow(),csv.write(f).writerows();

 

 

 

例:

s = '''

1,tom,20,

2,jerry,16,

3,,,

'''

 

with open('test.csv','w') as f:

    for line in s.splitlines():

        f.write(line + '\n')

 

In [31]: cat test.csv

 

1,tom,20,

2,jerry,16,

3,,,

 

注:

结果中第一行为空白,解决办法:

1)

s = '''1,tom,20,

2,jerry,16,

3,,,

'''

2)

s = '''\   #通常用此种

1,tom,20,

2,jerry,16,

3,,,

'''

 

例:

from pathlib import Path

 

p = Path('/home/python/magedu/projects/cmdb/test1/test.csv')

 

parent = p.parent

#print(parent)

 

if not parent.exists():

    parent.mkdir(parents=True)

 

csv_body = '''\

1,tom,20,

2,jerry,16,

3,jowin,18,

'''

 

p.write_text(csv_body)

 

In [34]: cat test1/test.csv

1,tom,20,

2,jerry,16,

3,jowin,18,

 

例:

from pathlib import Path

import csv

 

path = '/home/python/magedu/projects/cmdb/test.csv'

p = Path(path)

 

if not p.parent.exists():

    p.parent.mkdir(parents=True)

 

line1 = [1,'tom',20,'']

line2 = [2,'jerry',18,'']

line3 = [line1,line2]

 

with open(path,'w') as f:

    writer = csv.writer(f)

    writer.writerow(line1)

    writer.writerow(line2)

    writer.writerows(line3)

 

with open(path) as f:

    reader = csv.reader(f)

    for line in reader:

        if line:

            print(line)

 

 

 

ini文件:

作为配置文件,ini文件格式很流行;

 

例:

]$ egrep -v '^#|^$|[[:space:]]' my.cnf

[client]

[MySQLd]

skip-external-locking

log-bin=mysql-bin

binlog_format=mixed

[mysqldump]

quick

[mysql]

no-auto-rehash

[myisamchk]

[mysqlhotcopy]

interactive-timeout

 

中括号部分称为section,每一个section内,都是key=value形式的kv对,key称为option选项;

字典套字典,配置文件应独立出来,而不是放在代码中;

 

configparser模块的ConfigParser类:

from configparser import ConfigParser

cfg=ConfigParser()

cfg.read(filenames,encoding=None),读取ini文件,可以是单个文件(一般仅读一个文件),也可以是文件列表,可指定文件编码;

 

cfg.sections(),返回section列表,缺省section不在内;

 

cfg.add_section(section_name),增加一个section;

 

cfg.has_section(section_name),判断section是否存在;

 

cfg.options(section),返回section的所有option;

 

cfg.has_option(section,option),判断section是否存在这个option;

 

cfg.get(section,option,*,raw=False,vars=None[,fallback]),从指定的段的选项上取值,如果找到返回,如果没有找到去找DEFAULT段有没有;

 

cfg.getint(section,option,raw=False,vars=None[,fallback])

cfg.getfloat(section,option,raw=False,vars=None[,fallback])

cfg.getboolean(section,option,raw=False,vars=None[,fallback])

同cfg.get()

 

cfg.items(raw=False,vars=None),一般不用,没有section,则返回所有section名字及其对象;

 

cfg.items(section,raw=False,vars=None),section存在的情况下,写入option=value,要求option、value必须是字符串;

 

cfg.remove_section(section),移除section及其所有option;

 

cfg.remove_option(section,option),移除section下的option;

 

cfg.write(fileobject,space_around_delimiters=True),等号前后有无空格,取默认即可;

 

 

 

例:

]$ vim my.cnf

[DEFAULT]

a=test

[mysql]

default-character-set=utf8

[mysqld]

log-bin=mysql-bin

binlog_format=mixed

datadir=/mydata/data

port=3306

character-set-server=utf8

sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

In [1]: from configparser import ConfigParser

In [2]: cfg=ConfigParser()

In [3]: cfg.read('my.cnf')

Out[3]: ['my.cnf']

In [4]: cfg.sections()

Out[4]: ['mysql', 'mysqld']

In [5]: cfg.add_section('newsection')

In [6]: cfg.sections()

Out[6]: ['mysql', 'mysqld', 'newsection']

In [9]: cfg.options('mysql')

Out[9]: ['default-character-set', 'a']

In [10]: cfg.options('mysqld')

Out[10]:

['log-bin',

 'binlog_format',

 'datadir',

 'port',

 'character-set-server',

 'sql_mode',

 'a']

In [11]: for section in cfg.sections():

    ...:     for option in cfg.options(section):

    ...:         print(section,option)

    ...:        

mysql default-character-set

mysql a

mysqld log-bin

mysqld binlog_format

mysqld datadir

mysqld port

mysqld character-set-server

mysqld sql_mode

mysqld a

newsection a

In [12]: cfg.items('mysqld')

Out[12]:

[('a', 'test'),

 ('log-bin', 'mysql-bin'),

 ('binlog_format', 'mixed'),

 ('datadir', '/mydata/data'),

 ('port', '3306'),

 ('character-set-server', 'utf8'),

 ('sql_mode', 'NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES')]

In [13]: for section in cfg.sections():

    ...:     for k,v in cfg.items(section):

    ...:         print(section,k,v)

    ...:        

mysql a test

mysql default-character-set utf8

mysqld a test

mysqld log-bin mysql-bin

mysqld binlog_format mixed

mysqld datadir /mydata/data

mysqld port 3306

mysqld character-set-server utf8

mysqld sql_mode NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES

newsection a test

In [14]: cfg.has_section('newsection')

Out[14]: True

In [15]: if not cfg.has_section('test'):

    ...:     cfg.add_section('test')

    ...:    

In [16]: cfg.sections()

Out[16]: ['mysql', 'mysqld', 'newsection', 'test']

In [17]: cfg.set('test','test1','123')   #往指定section里添加option=value,'123'是字符,configparser要求的

In [18]: cfg.set('test','test2','abc')

In [19]: cfg.options('test')

Out[19]: ['test1', 'test2', 'a']

In [27]: with open('my.cnf','w') as f:

    ...:     cfg.write(f)   #ini文件更多的是读取,读完后常驻内存,而不是写

    ...:    

In [28]: example=cfg.get('test','test1')

In [29]: type(example)

Out[29]: str

In [30]: example

Out[30]: '123'

In [31]: example1=cfg.getint('test','test1')   #隐藏有强制类型转换,读出后是int类型可直接用于计算

In [32]: example1

Out[32]: 123

In [33]: type(example1)

Out[33]: int

In [34]: example2=cfg.get('test','a')  #找默认段的不是强制的

In [35]: type(example2)

Out[35]: str

In [36]: example2

Out[36]: 'test'

 

 

 

 


新闻标题:20文件IO_csv_ini
文章链接:http://myzitong.com/article/joeeed.html