在GoPro上预训练的MAXIM模型用于图像去模糊

MAXIM模型是为了图像去模糊而进行预训练的。它在 Zhengzhong Tu, Hossein Talebi, Han Zhang, Feng Yang, Peyman Milanfar, Alan Bovik, Yinxiao Li的论文中首次提出，并在 this repository 中首次发布。

声明：发布MAXIM的团队没有为该模型编写模型说明书，因此该模型说明书是由Hugging Face团队编写的。

模型说明

MAXIM引入了一种基于共享多层感知机（MLP）的主干架构，用于不同的图像处理任务，如图像去模糊、去雨、去噪、去雾、低光图像增强和修饰。以下图示了MAXIM的主要组件：

训练过程和结果

作者没有发布训练代码。有关模型的训练细节，请参阅 original paper 。

根据 table ，该模型的峰值信噪比（PSNR）为32.86，结构相似性指数（SSIM）为0.961。

预期用途和限制

您可以将原始模型用于图像去模糊任务。

该模型是 officially released in JAX 。它已经转换为TensorFlow格式 this repository 。

如何使用

以下是如何使用此模型的方法：

from huggingface_hub import from_pretrained_keras
from PIL import Image

import tensorflow as tf
import numpy as np
import requests

url = "https://github.com/sayakpaul/maxim-tf/raw/main/images/Deblurring/input/1fromGOPR0950.png"
image = Image.open(requests.get(url, stream=True).raw)
image = np.array(image)
image = tf.convert_to_tensor(image)
image = tf.image.resize(image, (256, 256))

model = from_pretrained_keras("google/maxim-s3-deblurring-gopro")
predictions = model.predict(tf.expand_dims(image, 0))

要了解更详细的预测流程，请参阅 this Colab Notebook 。

引用

@article{tu2022maxim,
  title={MAXIM: Multi-Axis MLP for Image Processing},
  author={Tu, Zhengzhong and Talebi, Hossein and Zhang, Han and Yang, Feng and Milanfar, Peyman and Bovik, Alan and Li, Yinxiao},
  journal={CVPR},
  year={2022},
}