编译错误，需要添加 -mfma 才能编译通过，但是 CPU 指令集不支持 fma，导致运行出错。 about inferllm

[lilongxian]

我编译llama.cpp时也遇到类似的问题，我是在报错的.c文件中重新定义了报错函数的宏。我用的是ubuntu 虚拟机，编译后cpu运行都可以。

[zhaijunxiao]

我编译llama.cpp时也遇到类似的问题，我是在报错的.c文件中重新定义了报错函数的宏。我用的是ubuntu 虚拟机，编译后cpu运行都可以。

我也是Ubuntu虚拟机遇到了这个问题，能否贴一下定义的宏函数，可以的话，非常感谢。

[chenqy4933]

我编译llama.cpp时也遇到类似的问题，我是在报错的.c文件中重新定义了报错函数的宏。我用的是ubuntu 虚拟机，编译后cpu运行都可以。

@lilongxian 欢迎提一个 PR

[huixiao8973]

看了大家的解决方案，我也想了一个笨办法。

_mm256_fmadd_ps 是 AVX2 指令集，我的 CPU 不支持，只支持 AVX ，所以，把 _mm256_fmadd_ps 这个函数替换为 AVX 的函数。这个函数在 src/kern/optimized/x86/optimized_x86.h 中使用了两次。

目前的替换方案是：

// acc = _mm256_fmadd_ps(scale, p, acc);
__m256 tmp = _mm256_mul_ps(scale, p);
acc = _mm256_add_ps(tmp, acc);

目前编译通过了，运行示例也正常。大家看看这样有没有问题？以前没接触过相关的指令集函数。

[lilongxian]

我在llama.cpp中遇到 _mm256_set_m128i函数报错时我的宏定义如下（llama.cpp中在ggml.c 、 k_quants.c中添加）：

/* 编译报错error: incompatible types when initializing type ‘__m256i ... */
#define _mm256_set_m128i(v0, v1) _mm256_insertf128_si256(_mm256_castsi128_si256(v1), (v0), 1)
#define _mm256_setr_m128i(v0, v1) _mm256_set_m128i((v1), (v0))

希望能给遇到类似问题的同学带来一点帮助。
非常感谢 @chenqy4933 大牛专家贡献的 InferLLM c++版本，推理速度上明显比llama.cpp要快很多，代码结构简洁整齐，便于在此基础上改进与适配，和llama.cpp并驾齐驱，是目前尚且鲜有的大模型加速推理c++版本，未来在大模型开源社区发展潜力巨大，非常值得关注！