NTIRE (New Trends in Image Restoration and Enhancement) 是近年來計算機視覺領域中具有廣泛影響力的全球性研討會之一，其涵蓋了絕大部分底層視覺任務并提供了相應挑戰賽。其中，NTIRE 2024 AIGC質量評價挑戰賽由上海交通大學劉笑宏、閔雄闊、翟廣濤教授團隊與華為技術有限公司共同主辦。第九屆NTIRE研討會將于2024年6月18日（暫定）與CVPR 2024一同舉行。

大賽背景：

隨著生成式人工智能的興起，近年來涌現了大量文生圖、文生視頻模型。 此類算法的主要目標是根據用戶要求（prompt）生成視覺內容。 因此，評價人類對AIGC的主觀偏好逐漸受到了廣泛重視，具有重要的研究價值。然而現有的圖像/視頻質量評價（I/VQA）方法與人類主觀感知質量的相關性不強，且通常無法表征生成內容與用戶要求的契合度，因此需要提出新的評價指標來預測AIGC的質量，由此促進多模態生成領域的發展。

與NTIRE研討會一起，我們組織了一場關于AIGC質量評價的挑戰賽。其目的是獲得一種網絡設計/解決方案，能夠產生與圖像、視頻主觀質量分數（即平均意見得分，MOS）具有最佳相關性的高質量結果。

大賽介紹：

該挑戰使用了一個名為AIGCQA-30K的新數據集，包含賽道1的20,000 個圖像 <T2I-QAD> 和賽道2的10,000 個視頻 <T2V-QAD>數據。涵蓋了主流的16種文生圖，以及8種文生視頻模型。具體來說，訓練集包含 70% 的內容，驗證集 10%，測試集 20%。在模型開發階段，將發布訓練集和驗證集。參賽者可利用訓練集進行模型訓練，并將驗證集上的結果提交至CodaLab服務器進行評估。在測試階段，競賽組織者將發布測試集。參賽者可利用訓練好的模型對測試圖像質量進行預測，并提交預測結果，由組織者統一進行定量評估與排名。

vRobotit實驗室成績：

實驗室組織2個隊伍，以北京郵電大學為牽頭單位并聯合小米公司參加了兩個賽道的比賽，獲得圖像賽道 (冠軍) 、視頻賽道 (第5)！

AIGC內容質量評估冠軍方案（開源）：https://github.com/mRobotit/Champion-Solution-for-CVPR-NTIRE-2024-Quality-Assessment-on-AIGC 或 https://github.com/woshidandan/Champion-Solution-for-CVPR-NTIRE-2024-Quality-Assessment-on-AIGC 。