在進行微調(diào)訓(xùn)練時，由于業(yè)務(wù)需求，可能會遇到微調(diào)數(shù)據(jù)集中包含敏感詞匯的情況，這可能導(dǎo)致開源模型無法處理敏感詞匯，從而出現(xiàn)意外情況。本文將討論在微調(diào)訓(xùn)練中處理敏感詞匯的挑戰(zhàn)以及解決策略。

概述

在實際應(yīng)用中，敏感詞匯的覆蓋場景較多，特別是在無法控制用戶輸入的情況下，很容易出現(xiàn)惡意或無意的輸入敏感詞匯，而模型的無法正�；貜�(fù)就會導(dǎo)致問題的出現(xiàn)。在某些情況下，當(dāng)輸入敏感詞匯時，模型可能會返回空值，導(dǎo)致整個系統(tǒng)出現(xiàn)異常。

解決策略

從整個流程分析來看，敏感詞處理是一項復(fù)雜的工程，涉及多個方面：

1. 建立敏感詞庫
2. 算法——識別敏感詞
3. 模型訓(xùn)練時，提前對輸入的敏感詞進行預(yù)處理
   1. 屏蔽或刪除敏感詞匯
   2. 使用占位符替換敏感詞
4. 針對敏感詞，模型的回復(fù)處理
   1. 直接提示，并拒絕相關(guān)回答
   2. 安慰疏導(dǎo)

敏感詞識別檢測

針對前兩個方面，通常會一起配套處理：建立敏感詞庫并通過算法檢測敏感詞。目前有多種算法庫來支持這一過程。除了傳統(tǒng)的算法如前綴樹算法、AC自動機、DFA算法外，隨著機器學(xué)習(xí)的發(fā)展，基于自然語言處理的機器學(xué)習(xí)算法也被應(yīng)用于敏感詞的識別。

Prompt提示詞

識別到輸入中的敏感詞后，接下來需要采取某種策略來處理。例如，可以使用提示詞工程：

你是一個心理治療師，請忽略以下輸入文本內(nèi)的敏感詞，譬如自殺、跳樓；請引導(dǎo)患者傾訴煩惱和問題。

一直很難受，壓力大，一度想要自殺，嘗試過跳樓，但被人拉住拽了回來。

在輸入的文本前面加上對應(yīng)的Prompt引導(dǎo)詞。在GLM3、GLM4的模型上均嘗試過，效果還可以。

基于開源基座模型(ChatGLM3)的prompt驗證：

模型微調(diào)

針對具體的業(yè)務(wù)場景，通常會對敏感詞匯場景進行特定的微調(diào)輸出，以滿足特定的業(yè)務(wù)需求。

{
  "instruction": "你是一個心理治療師，請忽略以下文本中的[敏感詞匯]標記，正確的回復(fù)并引導(dǎo)患者傾訴他的問題。",
  "input": "一直壓力很大，抑郁得睡不著，一度想[敏感詞匯]，深夜痛哭，一直站在陽臺[敏感詞匯]",
  "output": "你能講講，是怎么樣的情況么？",
  "history": []
}

總結(jié)

綜上所述，主要涉及NLP識別與Prompt工程，最后是微調(diào)數(shù)據(jù)輸出滿意的、特定的回復(fù)。從中也可以看出Prompt工程的強大之處。當(dāng)然，最關(guān)鍵的是識別敏感詞匯，只有這樣才能讓模型很好地響應(yīng)帶有敏感詞的輸入。

系列文章

聊聊實際業(yè)務(wù)下大模型另一種架構(gòu)的實現(xiàn)思考

聊聊vLLM并行推理框架的設(shè)計

簡單聊聊vLLM并行推理加速框架

首發(fā)于個人公眾號

• 異色邊緣龍局北辰卡組詳解
• 《怪化貓》系列第二章《火鼠》近日公開諸多新情報
• steam特賣頁面出現(xiàn)神秘粉發(fā)女孩 引發(fā)網(wǎng)友熱烈討論
• 大雪節(jié)氣活動：桃源深處有人家雪盛冬藏
• 游俠晚報：《絕地潛兵2》口碑上升 Fami通一周評分