2022年 11月 9日

python文件写入utf-8_关于utf 8:用Python写入UTF-8文件

我真的对codecs.open function很困惑。当我这样做的时候:

file = codecs.open(“temp”,”w”,”utf-8″)

file.write(codecs.BOM_UTF8)

file.close()

它给了我错误

UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xef in position

0: ordinal not in range(128)

如果我这样做:

file = open(“temp”,”w”)

file.write(codecs.BOM_UTF8)

file.close()

它很好用。

问题是为什么第一种方法失败了?如何插入物料清单?

如果第二种方法是正确的方法,那么使用codecs.open(filename,”w”,”utf-8″)有什么意义?

不要使用UTF-8格式的BOM。拜托。

@克里斯蒂安?为什么不呢?

@UTF-8中不需要salmanpk-bom,只会增加复杂性(例如,不能将bom的文件和结果与有效文本连接在一起)。看到这个问题,不要错过问题下面的重要评论。

我认为问题在于codecs.BOM_UTF8是字节字符串,而不是Unicode字符串。我怀疑文件处理程序试图根据”我打算将Unicode作为UTF-8编码文本写入,但您给了我一个字节字符串”来猜测您真正的意思!

尝试直接为字节顺序标记(即unicode u+feff)编写unicode字符串,以便文件将其编码为utf-8:

import codecs

file = codecs.open(“lol”,”w”,”utf-8″)

file.write(u’\ufeff’)

file.close()

(这似乎给出了正确的答案——一个包含字节ef bb bf的文件。)

edit:s.lott建议使用”utf-8-sig”作为编码,这比自己显式地编写BOM要好,但我将把这个答案留在这里,因为它解释了以前发生的问题。

多谢你这么做,肯定让事情更清楚了。

警告:打开和打开不同。如果您执行”从编解码器导入打开”,它将不会与您只需键入”打开”相同。

您也可以使用codecs.open(“test.txt”、”w”、”utf-8-sig”)。

我得到”typeerror:需要一个整数(得到str类型)”。我不明白我们在这里做什么。有人能帮忙吗?我需要在文本文件中附加一个字符串(段落)。在写之前我需要先把它转换成整数吗?

@穆根:据我所知,我写的确切代码工作得很好。我建议你问一个新的问题,精确地显示你得到了什么代码,以及错误发生在哪里。

@穆根,你需要打电话给codecs.open,而不是直接打给open

阅读以下内容:http://docs.python.org/library/codecs.html module-encodings.utf_8_sig

这样做

with codecs.open(“test_output”,”w”,”utf-8-sig”) as temp:

temp.write(“hi mom

“)

temp.write(u”This has ?”)

生成的文件是带有预期BOM的UTF-8。

谢谢。这是有效的(Windows7x64,python 2.7.5×64)。当您以模式”A”(附加)打开文件时,此解决方案工作良好。

首先是import codecs。

这对我不起作用,Windows上的python 3。我必须用open(file_name,’wb’)作为bom file:bom file.write(codecs.bom_utf8)来代替,然后重新打开该文件进行append。

@S-LOTT给出了正确的过程,但是在Unicode问题上进行扩展,Python解释器可以提供更多的见解。

jon skeet对于codecs模块是正确的(不寻常的),它包含字节字符串:

>>> import codecs

>>> codecs.BOM

‘\xff\xfe’

>>> codecs.BOM_UTF8

‘\xef\xbb\xbf’

>>>

选择另一个NIT,BOM有一个标准的Unicode名称,可以输入为:

>>> bom= u”

{ZERO WIDTH NO-BREAK SPACE}”

>>> bom

u’\ufeff’

也可通过unicodedata访问:

>>> import unicodedata

>>> unicodedata.lookup(‘ZERO WIDTH NO-BREAK SPACE’)

u’\ufeff’

>>>

我使用file*nix命令将未知字符集文件转换为utf-8文件

# -*- encoding: utf-8 -*-

# converting a unknown formatting file in utf-8

import codecs

import commands

file_location =”jumper.sub”

file_encoding = commands.getoutput(‘file -b –mime-encoding %s’ % file_location)

file_stream = codecs.open(file_location, ‘r’, file_encoding)

file_output = codecs.open(file_location+”b”, ‘w’, ‘utf-8’)

for l in file_stream:

file_output.write(l)

file_stream.close()

file_output.close()

现在,您还可以使用chardet。

使用# coding: utf8而不是# -*- coding: utf-8 -*-,这更容易记住。