前言:
Google Cloud Platform 在Vertex AI推出了一份額外功能－generative AI studio，也就是最近討論度很熱烈的generative AI，其提供了兩項功能。
一、Language
測試、調整及部署生成式 AI 語言模型。該項目有三種功能:
- Design and test your own prompts:
設定prompts之後，回答一次限定一個，語言模型不會記住上次對話內容。
使用情境如:新進員工導引、智慧行事曆等。 - Start a conversation
使用google自主設定的模型，可以選擇是否要給予prompts，模型會根據對話內容修正建議,
使用情境如:客服機器人、製作文案等。
- Tune a model
調整已有的模型。
透過 PaLM API for Chat 自動產生程式碼、產生內容、進行即時通訊、以及提供摘要等。
二、Speech
使用 Google 的通用語音模型 (USM)，將語音轉換為文字或以文字合成語音。
本文主要介紹Language的Design and test your own prompts功能。
原理:
在 Vertex AI 中可用的generative AI模型，也被稱為基礎模型，是按照其設計生成的內容類型進行分類的。這些內容包括文本和聊天、圖像、代碼和文本嵌入。每個模型都通過特定於您的 Google Cloud 項目的發布端點公開，因此除非您需要為特定用例調整它們，否則無需部署基礎模型。
PaLM 2
是驅動 PaLM API 的底層模型。PaLM 2 是一款先進的語言模型，具有改進的多語言、推理和編碼能力。要了解有關 PaLM 2 的更多信息，請參閱相關文章[1]。
PaLM API
Vertex AI 的 PaLM API 包含 Google Pathways 語言模型 2（PaLM 2）的發布端點，這些是大型語言模型（LLMs），能夠根據自然語言提示生成文本和代碼。
PaLM API 的文本部分經過細微調整，以優化進行語言任務，如分類、總結和實體抽取。
對於聊天，PaLM API 也經過調整以支持多輪對話，在這種模式下，模型會記錄聊天的歷史消息，並利用這些信息作為上下文來生成新的回覆。
文本嵌入 API 可將輸入的文本轉換為向量嵌入。這些嵌入可用於執行語義搜索、推薦、分類和異常檢測等任務。
Codey API 專門用於生成代碼。它包含三個不同的模型，分別能夠生成代碼、為代碼補全提供建議，以及通過聊天讓開發人員獲得代碼相關問題的協助。
使用情境:
以下簡單介紹使用情境，本次範例是使用vertex AI的generative studio 製作簡單的互動式Employee Handbook，使用此AI能夠讓新進員工能夠快速的找到其問題點，不必在員工手冊中苦苦翻找，或是花費大量人力及時間進行培訓。
Event rule
- 首先，於GCP建立新專案，並開啟Vertex AI功能。
- 點擊Vertex AI 的Generative AI Studio的語言功能
- 想設計簡易的問題可選擇任意行事，若是想要針對細項問題做回覆，選擇結構化模式。本次想製作一份新進員工手冊，必須針對系像做出回應，所以選擇結構化形式。
- 於Context內容內給出簡單的指示，本次給出的提示為使用簡潔的文字回答。
- 輸入示範內容以供AI學習。
- 選擇模型以及調整參數，以下將簡單介紹四種參數之功能:
- 隨機性參數:若是想要使AI做出更準確地回復，可將該數值調整偏向0;若是想要更有創造力的回覆，則將數值調整偏向1。
- 符記限制:回復最多能夠輸出的字數限制。
- 前K個:模型會從其中最高概率做排序，隨機選擇其中一個做為輸出選項，若K選擇17，意指AI推測最高機率正確的前十七個選項中隨機選擇一種。
- 可能性總和為P:同上，模型依照概率做排序，假設P設定為0.6，而A的機率為0.3、B機率為0.2、C機率為0.1，則A+B+C=0.3+0.2+0.1=0.6=P，從這三者中選擇一個可能的值。
- 輸入想測試的資料，並點選提交。
- 最後，點擊查看程式碼，即可找到剛才設定的程式，嵌入至Vertex AI SDK內即可使用該程式。
相關文章:
參考文獻:
- https://cloud.google.com/generative-ai-studio?hl=zh-tw#lightbox10
- https://cloud.google.com/vertex-ai/docs/generative-ai/learn/generative-ai-studio
—Jonathan