生成式人工智慧少樣本個人化字體擴散模型

Generative Artificial Intelligence Few-Shot Personalized Font Diffusion Model


程式碼下載

本地端版本

本地端操作簡報

本地端版本使用說明與操作指南

前往簡報

GitHub儲存庫

FontDiffuser_Finetune完整專案程式碼

前往GitHub

預訓練權重

FontDiffuser原始預訓練權重

前往雲端

Colab端版本

Colab操作簡報

Colab版本使用說明與操作指南

前往簡報

Colab微調程式

Fontdiffuser_Finetuning.ipynb

前往雲端

Colab推論程式

Fontdiffuser_Sample.ipynb

前往雲端

摘要

本研究旨在探討生成式人工智慧中擴散模型於個人化手寫繁體中文字體生成之應用潛力。由於繁體中文字符數量龐大且筆劃結構複雜,傳統字體設計方法耗時費力,對一般使用者不具可行性。本研究選擇FontDiffuser為基礎架構,結合少樣本學習與條件式擴散模型技術,透過僅800字手寫樣本進行模型微調,以學習個人手寫風格並生成完整字體圖像。研究過程中,採用全參數微調策略,最佳化內容與風格編碼器、多尺度內容聚合模組與結構交互模組,並配合多項客觀指標如結構相似性指標、感知相似性指標、弗雷歇初始距離、平均絕對誤差與均方根誤差,評估生成字體的品質與風格一致性。實驗結果顯示,在低資源訓練條件下,本方法仍能有效重現個人手寫特徵,具備高實用性與延展性,為繁體中文個人化字體創作提供一套高效率、低門檻的解決方案。


模型比較結果

右圖展示了四種字體生成模型在相同字集上的結果比較,紅框標示筆畫缺失、結構錯位或模糊等明顯瑕疵。可以看到,FontDiffuser-Finetune 生成的字體筆畫連續、結構精準、手寫感自然,紅框標記最少,品質明顯優於其他模型。這證明了我所採用的微調策略能有效還原繁體字的細節與風格。


簡介影片