當(dāng)前位置:首頁 > 學(xué)習(xí)資源 > 講師博文 > 構(gòu)建 AI大模型應(yīng)用技術(shù)棧有哪些
AI大模型是指擁有超大規(guī)模參數(shù)(通常在十億個以上)、復(fù)雜計算結(jié)構(gòu)的深度學(xué)習(xí)模型,能夠處理海量數(shù)據(jù),完成各種復(fù)雜任務(wù),如自然語言處理、圖像識別等。
大模型包含如下一些技術(shù):
Prompt
Prompt提示是模型接收以生成響應(yīng)或完成任務(wù)的初始文本輸入。我們給AI一組Prompt輸入,用于指導(dǎo)模型生成響應(yīng)以執(zhí)行任務(wù)。這個輸入可以是一個問題、一段描述、一組關(guān)鍵詞,或任何其他形式的文本,用于引導(dǎo)模型產(chǎn)生特定內(nèi)容的響應(yīng)。
Transformer
Transformer是一種用于自然語言處理(NLP)和其他序列到序列(sequence-to-sequence)任務(wù)的深度學(xué)習(xí)模型架構(gòu),它在2017年由Vaswani等人首次提出。Transformer架構(gòu)引入了自注意力機(jī)制(self-attention mechanism),這是一個關(guān)鍵的創(chuàng)新,使其在處理序列數(shù)據(jù)時表現(xiàn)出色。
結(jié)構(gòu)如下:
預(yù)訓(xùn)練
預(yù)訓(xùn)練(Pre-training)通常是指對模型進(jìn)行無監(jiān)督或自監(jiān)督學(xué)習(xí)的過程,在大規(guī)模未標(biāo)注數(shù)據(jù)上先訓(xùn)練模型,以便為后續(xù)任務(wù)提供一個高質(zhì)量的初始權(quán)重。這個過程對于許多復(fù)雜模型尤其是 transformer 架構(gòu)(比如BERT、GPT系列等)來說極其重要。
Function calling
Function Calling 是一個允許大型語言模型(如 GPT)在生成文本的過程中調(diào)用外部函數(shù)或服務(wù)的功能。
Function Calling允許我們以 JSON 格式向 LLM 模型描述函數(shù),并使用模型的固有推理能力來決定在生成響應(yīng)之前是否調(diào)用該函數(shù)。模型本身不執(zhí)行函數(shù),而是生成包含函數(shù)名稱和執(zhí)行函數(shù)所需的參數(shù)的JSON
Rag
RAG(中文為檢索增強(qiáng)生成) = 檢索技術(shù) + LLM 提示。例如,我們向 LLM 提問一個問題(answer),RAG 從各種數(shù)據(jù)源檢索相關(guān)的信息,并將檢索到的信息和問題(answer)注入到 LLM 提示中,LLM 最后給出答案。
Gpts
GPTs其實就是一個模板,把你的需求告訴GPTs,它會按照你的想法去生成新的ChatGPT,相當(dāng)于把你的想法寫成了一個模板,供你個性化使用。每次使用的時候直接輸入你的話題或者部分內(nèi)容,這時候的ChatGPT就會按照你設(shè)定的使用規(guī)則跟你對話,直接輸出你需要的內(nèi)容,而不需要你每次都輸入一定的提示指令去引導(dǎo)。
Langchain
LangChain 就是一個 LLM 編程框架,你想開發(fā)一個基于 LLM 應(yīng)用,需要什么組件它都有,直接使用就行;甚至針對常規(guī)的應(yīng)用流程,它利用鏈(LangChain中Chain的由來)這個概念已經(jīng)內(nèi)置標(biāo)準(zhǔn)化方案了。
Agent
智能體的英文是 Agent,AI 業(yè)界對智能體提出了各種定義。個人理解,智能體是一種通用問題解決器。從軟件工程的角度看來,智能體是一種基于大語言模型的,具備規(guī)劃思考能力、記憶能力、使用工具函數(shù)的能力,能自主完成給定任務(wù)的計算機(jī)程序。
Fine-tuning
微調(diào)是指在預(yù)訓(xùn)練模型(Pre-trained model)的基礎(chǔ)上,針對特定任務(wù)或數(shù)據(jù)領(lǐng)域,對部分或全部模型參數(shù)進(jìn)行進(jìn)一步的訓(xùn)練和調(diào)整(Fine Tune)。預(yù)訓(xùn)練模型通常是在大規(guī)模數(shù)據(jù)集上訓(xùn)練得到的,具有一定的通用性和泛化能力。微調(diào)的目標(biāo)是在較小的目標(biāo)數(shù)據(jù)集上,通過有限的訓(xùn)練數(shù)據(jù),使模型更好地適應(yīng)特定任務(wù),從而提高模型在該任務(wù)上的性能。