模型:

philschmid/distilbert-onnx-banking77

英文

优化和量化的DistilBERT与自定义的pipeline和handler.py

注意:博客文章即将发布

这是一个使用Optimum和onnxruntime支持通用推理的文本分类的模板存储库,可以使用Hugging Face Hub的通用推理API。需要完成两个步骤:

  • 通过定义requirements.txt文件来指定要求。
  • 实现handler.py中的__init__和__call__方法。这些方法由推理API调用。__init__方法应加载模型并预加载优化模型和分词器,以及用于推理的文本分类pipeline。这个方法只调用一次。__call__方法执行实际的推理。请确保遵循与pipeline模板中定义的相同的输入/输出规范。
  • 在自述文件中添加

    library_name: generic
    

    注意:通用社区图像目前仅支持作为参数和无参数的输入。