Appearance
基础概念介绍
AI 模型
用于存储机器学习模型训练后的权重参数,最终为二进制 bin 文件存档。小白兔通用自研引擎 inventix 负责预处理和后处理,最终融合为可持续扩展新模型的生成力工具箱。
并发数
通俗的理解为同一时刻电脑需要处理的任务数量。最优解条件:GPU 满负载时的最小并发数即可。
并发数和任务类型、输入分辨率等有关系,一般显存小于 12G 的,建议并发数为 2~4 即可,显存超过 24G 的,可根据 GPU 负载情况适当提升并发数。
AI 天梯图
由于暂无标准设计,因此软件内嵌的以实际任务为准,模拟 1920*1080 图片使用 modnet 模型抠图的效果,得出的 AI 天梯图代表了显卡的实际性能。
模型量化
模型量化是一种模型压缩技术,其主要目的是减少模型所需的存储空间和计算资源。一般 pytorch 模型以 fp32 为准,小白兔里的以 fp16 为准,可减小一半模型体积。常见的还有 4-bit, 5-bit, 8-bit 量化。