python -将avro字节逻辑类型decimal反序列化为decimal
我正在尝试使用python Avro库(python 2)读取一个avro文件。当我使用以下代码时：
import avro.schema
from avro.datafile import DataFileReader, DataFileWriter
from avro.io import DatumReader, DatumWriter, BinaryDecoder
reader = DataFileReader(open("filename.avro", "rb"), DatumReader())
schema = reader.meta然后，它正确地读取每一列，除了保留为字节的列，而不是预期的十进制值。
如何将此列转换为预期的十进制值？我注意到文件的元数据将列标识为'type‘：'bytes'，但'logicalType’:'decimal‘
我在下面发布了本专栏的元数据以及字节值(预期的实际值都是1,000小于25,000的倍数。该文件是使用Kafka创建的。
元数据：
{
"name": "amount",
"type": {
"type": "bytes",
"scale": 8,
"precision": 20,
"connect.version": 1,
"connect.parameters": {
"scale": "8",
"connect.decimal.precision": "20"
},
"connect.name": "org.apache.kafka.connect.data.Decimal",
"logicalType": "decimal"
}
}字节值：
'E\xd9d\xb8\x00'
'\x00\xe8\xd4\xa5\x10\x00'
'\x01\x17e\x92\xe0\x00'
'\x01\x17e\x92\xe0\x00'期望值：
3,000.00
10,000.00
12,000.00
5,000.00我需要在AWS上部署的Lambda函数中使用它，所以不能使用fast_avro或其他使用C而不是纯Python的库。
请参阅以下链接：https://pypi.org/project/fastavro/ https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-python-libraries.html
回答 3
Stack Overflow用户
发布于 2018-09-11 23:25:37
为此，您需要使用fastavro库。在本文发表时，avro和avro-python3库都不支持逻辑类型。
Stack Overflow用户
发布于 2021-06-14 12:55:17
您可以使用它将字节字符串解码为十进制。这会将值填充到下一个最高的字节结构中，这样所有可能的值都会适合。
import struct
from decimal import Decimal
def decode_decimal(value, num_places):
value_size = len(value)
for fmt in ('>b', '>h', '>l', '>q'):
fmt_size = struct.calcsize(fmt)
if fmt_size >= value_size:
padding = b'\x00' * (fmt_size - value_size)
int_value = struct.unpack(fmt, padding + value)[0]
scale = Decimal('1') / (10 ** num_places)
return Decimal(int_value) * scale
raise ValueError('Could not unpack value')例如：
>>> decode_decimal(b'\x00\xe8\xd4\xa5\x10\x00', 8)
Decimal('10000.00000000')
>>> decode_decimal(b'\x01\x17e\x92\xe0\x00', 8)
Decimal('12000.00000000')
>>> decode_decimal(b'\xb2\xb4\xe7\x84', 4) # Negative value
Decimal('-129676.7100')参考文献：
https://avro.apache.org/docs/1.10.2/spec.html#Decimal https://docs.python.org/3/library/struct.html#format-characters
Stack Overflow用户
发布于 2018-09-11 08:14:17
由于某些原因，fastavro包在同一文件上默认工作。我最终使用了下面的代码。仍然不确定是否有办法直接使用avro库来解决这个问题，或者将上面问题中发布的输出反序列化。
import fastavro
with open("filename.avro", 'rb') as fo:
for record in fastavro.reader(fo):
print(record) https://stackoverflow.com/questions/52262350
复制相似问题