Comments (9)
你platform那边选QNN平台,然后直接用SNPE_convert_dlc那个工具可以读取你的json和onnx模型转成dlc,QNN 可以用
from ppq.
感谢回答!但是获得一个dcl文件,可能不是我想要的QNN模型。
目前
export_ppq_graph(graph=quantized, platform=PLATFORM,
graph_save_to='Output/QDQ.onnx',
config_save_to='Output/QDQ.json')
如果 PLATFORM = TargetPlatform.QNN_DSP_INT8, quantize_torch_model.py会export出一个 .json 和 .onnx(看起来和fp32原模型一样);如果PLATFORM = TargetPlatform.ONNXRUNTIME,会生成一个.json 和 .onnx(体积比原模型小了,且是一个QDQ模型),如图
但想问一下,如何生成一个QNN模型,比如intel的neural-compressor量化工具可以生成的那种QNN模型,如图:
from ppq.
对了,还想问个问题:
其实在使用Aimet工具量化,然后导出onnx时,也是导出一份encodings + fp32模型。用咱们ppl的工具也会导出一份json + fp32模型。这个我不是很理解,导出的内容有什么意义或者有什么用途。因为之前我用的intel量化工具,输入fp32模型,导出int8 QNN模型,体积变小,也可以直接推理和部署。Aimet和ppl导出的两份文件是否可以再次转成QNN模型,或者有别的用法?
from ppq.
根据我目前的了解Aimet这个东西不能直接生成一个int8模型,而是需要读取那个json文件(记录的是你的模型的量化参数)+你输出的量化模型,然后用SNPE-convert-dlc那个工具,读取这两个文件这才能生成一个int8的模型。PPL选QNN_DSP_INT8和Aimet是一样的
from ppq.
十分感谢大佬解答了我一直带有的疑惑!
我研究一下SNPE_convert_dlc如何生成int8模型吧,十分感谢!
from ppq.
您好,尝试了用SNPE-convert-dlc的工具,这个目前能转化出dlc文件,但想要一个QNN的int8 ONNX模型,好像还不行,是我使用的方式不对吗?
from ppq.
用QNN converter试试
from ppq.
是这个工具吗
https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/converters.html
可是并不能生成onnx模型。
找了很久,好像目前很难找到QDQ 转Qoperator ONNX的工具,但是这么通用的两种format,怎么会没有转化工具呢
from ppq.
这个model.cpp QNN可以用我记得
from ppq.
Related Issues (20)
- 关于QAT中的BN? HOT 1
- 是否有计划支持高通QNN(比较新的版本)和海思芯片呢? HOT 1
- ppq使用torch_mlir导出tosa格式的mlir HOT 1
- 这个工具链已经收敛了吗?我看已经比较久没有特性更新了,后续还有新特性计划吗? HOT 1
- 能否支持权重和激活位宽不同的量化? HOT 2
- VIT类模型量化感知训练loss跑飞 HOT 1
- PPQ已经支持了不少后端推理框架(TensorRT,ncnn,mnn等),这些后端的量化规格细节都是怎么获取的呢?现在PPQ与后端量化推理可以完全对齐吗?
- PPQ在画质类任务上(如低光降噪)量化效果咋样呢?
- AttributeError: 'NoneType' object has no attribute 'copy'
- 求助 为什么量化以后模型没有减小?
- ProgramEntrance_2.py读取imagenet图片reshape报错
- RuntimeError: Op Execution Error: /Slice(Type: Slice, Num of Input: 5, Num of Output: 1)
- Quantization for tflite HOT 1
- PPQ can not process parameter variable(PPQ_Variable_108) with multiple destinations HOT 3
- PPQ量化后,不能导出engine(05_QuantizationAgain.py)
- How does PPQ perform real quantization and achieve speed up?
- snpe 作为后端支持per_channel 量化吗? HOT 1
- 如何对不同的层设置不同的bit精度呀
- ppq支持对lstm算子的QAT或PTQ量化吗?
- 导出的QDQ ONNX模型转为TensorRT后,速度比FP16的ONNX还要慢? HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from ppq.