_mm512_dpbusd_epi32 AVX-512 512BW指令的AVX-512 of仿真
_mm512_dpbusd_epi32 AVX-512 512BW指令的AVX-512 of仿真
提问于 2021-06-16 09:04:39
从级联Lake开始就有AVX-512 VNNI指令，可以加速量化神经网络在CPU上的推理。特别是有一个配置_mm512_dpbusd_epi32 (vpdpbusd)，它允许执行8位有符号整数和无符号整数的乘法，并将它们累加到32位整数累加器中。下面是该指令的伪代码：
void _mm512_dpbusd_epi32(int32_t sum[16], uint8_t a[16][4], int8_t b[16][4])
{
for(int i = 0; i < 16; ++i)
sum[i] +=
(int)a[i][0]*b[i][0] + (int)a[i][1]*b[i][1] +
(int)a[i][2]*b[i][2] + (int)a[i][3]*b[i][3];
}不幸的是，直到级联湖之前的英特尔CPU没有这个指令，所以有一个问题要用以前的扩展来模仿这个CPU(例如AVX-512 AVX)。所以我的问题是:如何使这个仿真尽可能的有效？
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-06-16 09:25:06
我认为这个问题没有一个正确的答案。
一方面，使用AVX-512 be扩展对_mm512_dpbusd_epi32进行快速仿真可以看作是：
inline __m512i _mm512_dpbusd_epi32_bw_fast(__m512i i32, __m512i u8, __m512i i8)
{
__m512i i16 = _mm512_maddubs_epi16(u8, i8); //possible overflow of INT16.
__m512i _1 = _mm512_set1_epi16(1);
return _mm512_add_epi32(i32, _mm512_madd_epi16(i16, _1));
}这个实现只使用3个指令(而且它们都是快速的)。但由于INT16在_mm512_maddubs_epi16指令中可能溢出，可能会给出不正确的结果。
另一方面，正确的仿真看起来很糟糕，需要14条指令(其中有些指令非常慢)：
inline __m512i _mm512_hadd_epi32(__m512i a, __m512i b)
{
static const __m512i IDX0 = _mm512_setr_epi32(
0x00, 0x02, 0x04, 0x06, 0x08, 0x0A, 0x0C, 0x0E,
0x10, 0x12, 0x14, 0x16, 0x18, 0x1A, 0x1C, 0x1E);
static const __m512i IDX1 = _mm512_setr_epi32(
0x01, 0x03, 0x05, 0x07, 0x09, 0x0B, 0x0D, 0x0F,
0x11, 0x13, 0x15, 0x17, 0x19, 0x1B, 0x1D, 0x1F);
__m512i ab0 = _mm512_permutex2var_epi32(a, IDX0, b);
__m512i ab1 = _mm512_permutex2var_epi32(a, IDX1, b);
return _mm512_add_epi32(ab0, ab1);
}
inline __m512i _mm512_dpbusd_epi32_bw_exact(__m512i i32, __m512i u8, __m512i i8)
{
__m512i u8_i16lo = _mm512_cvtepu8_epi16(_mm512_extracti64x4_epi64(u8, 0));
__m512i i8_i16lo = _mm512_cvtepi8_epi16(_mm512_extracti64x4_epi64(i8, 0));
__m512i i32lo = _mm512_madd_epi16(u8_i16lo, i8_i16lo);
__m512i u8_i16hi = _mm512_cvtepu8_epi16(_mm512_extracti64x4_epi64(u8, 1));
__m512i i8_i16hi = _mm512_cvtepi8_epi16(_mm512_extracti64x4_epi64(i8, 1));
__m512i i32hi = _mm512_madd_epi16(u8_i16hi, i8_i16hi);
return _mm512_add_epi32(i32, _mm512_hadd_epi32(i32lo, i32hi));
}页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67999580
复制相关文章
相似问题
腾讯云开发者
