01. 背景

1）運維轉(zhuǎn)型背景

藍鯨平臺從誕生之初，就一直在不遺余力地推動運維轉(zhuǎn)型，讓運維團隊可以通過一體化PaaS平臺，快速編寫腳本，編排流程，開發(fā)運維工具，從被動地提供運維支撐服務(wù)，轉(zhuǎn)型為主動地提供SRE增值服務(wù)。為了讓運維人員更快成長為“六邊形運維”（參考《在線跟騰訊工程師學(xué)習(xí)SaaS開發(fā)》，泛指運維界的六邊形戰(zhàn)士，特指掌握了運維開發(fā)技能的運維人群），降低運維開發(fā) SaaS 的難度，藍鯨不僅提供了藍鯨開發(fā)框架，通過集成身份驗證、API調(diào)用、模板渲染、UI組件庫等功能，大幅降低了運維開發(fā)SaaS的難度，而且配套了詳細的【開發(fā)指南文檔】和視頻課程。

然而，在實際操作中，我們觀察到運維人員的主要工作往往涉及與各種IT對象和環(huán)境進行交互。因此，盡管他們學(xué)習(xí)使用Python這類腳本型語言來進行后臺開發(fā)相對較為順暢，但當(dāng)他們試圖設(shè)計并開發(fā)一個用戶體驗尚可的前端頁面時，卻面臨較高的入門難度。他們往往面臨兩種選擇：要么開發(fā)的頁面功能相對簡單、設(shè)計樸素，要么需要投入大量的時間和精力進行頁面布局和交互設(shè)計的打磨。

為了解決這個難題，我們進一步提供了運維開發(fā)平臺，使用低代碼技術(shù)，通過拖拽組件組裝頁面，讓開發(fā)工作可視化靈活組裝、所見即所得，并且針對復(fù)雜交互場景有很好的適應(yīng)性，可以靈活地通過函數(shù)編碼實現(xiàn)。

2）大模型對運維開發(fā)帶來的挑戰(zhàn)和機遇

最近幾年，大模型的爆發(fā)式發(fā)展為開發(fā)和運維行業(yè)帶來新的變革，2021 年 7 月 1 日，由 GitHub 和 OpenAI 共同開發(fā)的人工智能編碼助手——Copilot正式發(fā)布，如同連環(huán)炸彈的連續(xù)迸發(fā)，持續(xù)為開發(fā)者和整個軟件行業(yè)帶來震撼與驚喜。就在上個月，國內(nèi)首個AI程序員入職了阿里云，這個叫“通義靈碼”的程序員具有扎實的編程基礎(chǔ)，能熟練使用200多種編程語言，具備生成詞級/行級/塊級/函數(shù)級/類級等代碼內(nèi)容的能力，還能自動生成測試用例、代碼優(yōu)化、生成注釋等。而且，通義靈碼的工作節(jié)奏比996還要極致：7x24小時隨叫隨到......看起來，大模型的應(yīng)用似乎要終結(jié)開發(fā)框架、低代碼這類腳手架開發(fā)工具。難道，運維不再需要開發(fā)轉(zhuǎn)型了？甚至“零運維”在AI的幫助下提前實現(xiàn)了？

不過在最近一段時間，我們團隊研究對比了多款國內(nèi)外大模型，并且在知識查詢、開發(fā)問答、代碼補全、單元測試生成以及SaaS應(yīng)用構(gòu)建等多個維度進行了能力測試和驗證，事實表明，大模型現(xiàn)階段還不能完全替代開發(fā)者，在一些專業(yè)的運維開發(fā)領(lǐng)域，能夠成為運維人員的“開發(fā)副手”，加快運維組織的轉(zhuǎn)型。

02. 大模型的優(yōu)勢分析

首先，我們分析，大模型的主要能力體現(xiàn)在以下幾個方面：

1）語言理解

大模型通過訓(xùn)練可以理解和解釋自然語言文本，能夠回答問題、提供解釋、理解指令和上下文含義等。

2）知識總結(jié)

大模型可以提取文本知識的關(guān)鍵信息，生成摘要，使得用戶能夠快速了解長篇文章或報告的主要內(nèi)容。

3）語言創(chuàng)作

大模型能夠根據(jù)輸入的上下文信息生成連貫、流暢的文本，例如撰寫文章、生成對話、創(chuàng)作詩歌或故事等。

4）問答系統(tǒng)

大模型可用于構(gòu)建問答系統(tǒng)，與用戶進行自然語言交流，回答用戶提出的問題，如在線客服、智能助手等。

5）文本生成

大模型可以根據(jù)上下文生成各種類型的文本，如代碼注釋、代碼補全、單元測試等。

這些能力使得大模型在許多實際應(yīng)用中具有廣泛的應(yīng)用價值，如搜索引擎、推薦系統(tǒng)、知識庫、智能客服等。隨著技術(shù)的發(fā)展和模型的不斷優(yōu)化，大模型的性能和應(yīng)用范圍還將進一步擴大。

而我們推動運維開發(fā)轉(zhuǎn)型的主要手段包含一體化運維平臺、基于PaaS架構(gòu)的開發(fā)框架、基于低代碼技術(shù)的運維開發(fā)平臺，這些工具分別提供了開箱即用的產(chǎn)品功能、可以快速組裝的腳手架、所見即所得的圖形化界面等多層次的能力，規(guī)避運維人員不熟悉開發(fā)語言和軟件工程的短板，加速能力躍遷。

對比大模型的主流應(yīng)用形態(tài)——AI對話交互和傳統(tǒng)的運維產(chǎn)品和工具——GUI交互，兩者各有優(yōu)勢。大模型更適合通過對話解決信息查詢、上下文檢索等問題，并且適合移動或小屏幕設(shè)備，在個性化、長尾需求場景里也能較好適配。而傳統(tǒng)的GUI交互，在數(shù)據(jù)處理、高精度任務(wù)、快速導(dǎo)航上還保持著優(yōu)勢地位，并且提供了直觀的操作體驗。

03. 大模型在運維開發(fā)上的應(yīng)用

從大模型的原理上看，模型經(jīng)過海量的數(shù)據(jù)訓(xùn)練

，在開發(fā)領(lǐng)域，很多大模型學(xué)習(xí)了幾十億行代碼，龐大的數(shù)據(jù)基礎(chǔ)使得這些模型在代碼的規(guī)范性、準確性方面展現(xiàn)出了卓越的效果。同時，自然語言理解的突出優(yōu)勢，讓大模型在運維和開發(fā)專業(yè)知識掌握上是非常全面的，并且可以通過RAG等技術(shù)實現(xiàn)私域知識的檢索，在運維工具開發(fā)輔助上可以發(fā)揮多種作用，提高開發(fā)效率和質(zhì)量。以下是我們在運維開發(fā)領(lǐng)域的主要應(yīng)用場景：

1）代碼生成

在SaaS開發(fā)中，開發(fā)者經(jīng)常會遇到需要查詢資料或者閱讀其他人編寫的代碼的情況，如果使用瀏覽器的搜索引擎或者一些開源大模型，必然會經(jīng)常性地切換窗口打開瀏覽器，這個過程會給開發(fā)人員帶來不少干擾。所以，在代碼輔助編寫場景，我們通過 BKGPT 插件對接大模型和IDE，讓開發(fā)者可以在編程工具里閉環(huán)信息檢索的過程，大大提升了開發(fā)問題查詢效率。

其次，我們提供了BKCodeAI 插件，可以實現(xiàn)根據(jù)注釋中的需求描述，進行代碼生成和補全，當(dāng)前已經(jīng)支持函數(shù)級代碼生成。BKCodeAI 安裝并配置成功后，IDE 編輯器中，當(dāng)前光標所處位置的上方有注釋或者代碼內(nèi)容時，此時鍵盤回車、空格、tab 等按鍵時便會觸發(fā) BKCodeAI進行代碼生成或補全。

較為常見的場景如下：

• 打開新文件，在第一行寫注釋，此時回車到下一行后便會觸發(fā)；
• 打開老文件，修改文件中的某一行（非第一行）代碼，此時在光標所處的回車、空格、tab 便會觸發(fā)；
• 觸發(fā)時，IDE右下角 BKCodeAI 標識處會出現(xiàn) loading 標識，loading 結(jié)束后，便會展示代碼生成結(jié)果（代碼置灰預(yù)填充狀態(tài)）；

• 按Tab鍵可以將生成代碼真正填充到編輯器內(nèi)。

2）代碼審查

另一方面，和其他的編程 Copilot 工具一樣，BKGPT 是一個助手而非人類程序員的替代品，開發(fā)者不能簡單地采納Copilot的建議，還需要結(jié)合個人的編程經(jīng)驗和專業(yè)知識最終完成SaaS的構(gòu)建。所以在當(dāng)前階段，單元測試、代碼審查這類軟件質(zhì)量措施需要堅持執(zhí)行，不過在大模型的幫助下，不再需要開發(fā)者花費太多精力處理這些事項，大模型可以自動生成單元測試，并根據(jù)代碼的提交記錄自動生成 Code Review 建議。

BKCodeAI 插件安裝成功后，當(dāng)在 git push 時，會自動觸發(fā) AI CodeReview 任務(wù)，CR 任務(wù)將異步執(zhí)行，不會阻塞 push 操作，CR 任務(wù)執(zhí)行完成后會在 IDE 彈窗提醒 CR 詳情鏈接。

打開 CR 詳情鏈接，可以跳轉(zhuǎn)到AI開發(fā)助手產(chǎn)品的 CR 歷史頁面，查看到大模型為本地提交的代碼自動生成的審查結(jié)果。

3）專業(yè)知識問答

大模型天然在自然語言理解和知識總結(jié)有巨大的優(yōu)勢，而嘉為藍鯨又有上千家各行各業(yè)的企業(yè)運維解決方案實施經(jīng)驗，積累了海量的運維開發(fā)領(lǐng)域?qū)I(yè)知識。技術(shù)架構(gòu)上，通過 RAG + Embedding 技術(shù)，可以海量的運維知識（截至2023年12月，嘉為知識庫存量文檔394035篇，月均消費7萬+次）向量化存儲，作為大模型的外掛知識庫，利用大模型強大的總結(jié)能力，可以總結(jié)提煉出解決方案回復(fù)給開發(fā)者。并且，針對API調(diào)用以及企業(yè)內(nèi)的系統(tǒng)，可以通過Function call技術(shù)實時獲取更多的知識如API調(diào)用測試結(jié)果，輔助開發(fā)者更準確的驗證接口參數(shù)。

通過打通企業(yè)微信機器人，可以讓開發(fā)者很方便地查詢開發(fā)知識，該問答機器人除了回答常規(guī)的開源知識外，也能很好地提取公司內(nèi)的私域知識，然后總結(jié)后回復(fù)給提問者。

“正確的問題往往比答案重要，好的問題就是一般的答案”這個結(jié)論在大模型領(lǐng)域體現(xiàn)得淋漓盡致，在智能問答助手上線后，我們發(fā)現(xiàn)有部分開發(fā)者反饋回復(fù)不準確，存在大模型“胡說八道”的情況，深入追究，發(fā)現(xiàn)往往是開發(fā)者的提問比較模糊或者提問格式不符合規(guī)范。其實這個現(xiàn)象在大模型的各個行業(yè)應(yīng)用中都比較普遍，這也是為什么會有“提示詞工程”的重要原因之一。

為了解決提問不規(guī)范的問題，我們單獨開發(fā)了一個“AI開發(fā)助手”的SaaS，通過定義角色的方式預(yù)制 Propmt 提示詞，這樣可以讓熟悉“提示詞工程”的平臺開發(fā)工程師匯總運維開發(fā)關(guān)注的常見問題，比如定義“前端TS專家”，用于解決開發(fā)者不熟悉前端的痛點；定義“變量取名專家”，規(guī)范開發(fā)者的代碼變量命名。

通過“預(yù)設(shè)角色”功能，智能問答場景進一步降低了開發(fā)者的使用門檻，更進一步，平臺開發(fā)工程師可以把產(chǎn)品的擴展開發(fā)能力——插件開發(fā)提煉成模板，開放給普通用戶使用。這樣即使是不懂開發(fā)的用戶，在頁面選擇了“插件模板生成員”后，也能快速開發(fā)出一個插件出來。

經(jīng)過一段時間的運行，我們也發(fā)現(xiàn)了一個非常實用的提示詞撰寫技巧——CO-STAR 框架。該框架由新加坡政府科技局 (GovTech) 舉辦的首屆 GPT-4 提示工程大賽冠軍 Sheila Teo 提出。

CO-STAR是結(jié)構(gòu)化的Prompt模板六大要素的首字母縮寫，即：

• (C) Context 上下文：為任務(wù)提供背景信息：通過為大語言模型（LLM）提供詳細的背景信息，可以幫助它精確理解討論的具體場景，確保提供的反饋具有相關(guān)性。
• (O) Objective 目標：明確你要求大語言模型完成的任務(wù)：清晰地界定任務(wù)目標，可以使大語言模型更專注地調(diào)整其回應(yīng)，以實現(xiàn)這一具體目標。
• (S) Style 風(fēng)格：明確你期望的寫作風(fēng)格：可以指定一個特定的著名人物或某個行業(yè)專家的寫作風(fēng)格，如商業(yè)分析師或 CEO。這將指導(dǎo)大語言模型以一種符合你需求的方式和詞匯選擇進行回應(yīng)。
• (T) Tone 語氣：設(shè)置回應(yīng)的情感調(diào)：設(shè)定適當(dāng)?shù)恼Z氣，確保大語言模型的回應(yīng)能夠與預(yù)期的情感或情緒背景相協(xié)調(diào)。可能的語氣包括正式、幽默、富有同情心等。
• (A) Audience 受眾：識別目標受眾：針對特定受眾定制大語言模型的回應(yīng)，無論是領(lǐng)域內(nèi)的專家、初學(xué)者還是兒童，都能確保內(nèi)容在特定上下文中適當(dāng)且容易理解。
• (R) Response響應(yīng)：規(guī)定輸出的格式：確定輸出格式是為了確保大語言模型按照你的具體需求進行輸出，便于執(zhí)行下游任務(wù)。常見的格式包括列表、JSON 格式的數(shù)據(jù)、專業(yè)報告等。對于大部分需要程序化處理大語言模型輸出的應(yīng)用來說，JSON 格式是理想的選擇。

4）原子平臺產(chǎn)品集成

在運維的日常工作中，腳本編寫是一個比較核心且重要的工作，藍鯨平臺已經(jīng)提供了一套運維基礎(chǔ)操作的原子平臺——作業(yè)平臺，讓運維的腳本管理工作頁面化，并且云化腳本版本管理模式，貼合現(xiàn)代化開放協(xié)同的理念，協(xié)作者借助平臺，可便捷地共享腳本資源。在大模型的能力加持下，作業(yè)平臺的腳本管理和問題分析插上了AI的翅膀，尤其是在腳本報錯分析、IT對象操作知識等方面，能力非常突出，極大地提升了運維日常的腳本開發(fā)效率，降低了腳本出錯的概率。

5）運維開發(fā)平臺集成

最后，在低代碼開發(fā)領(lǐng)域，運維開發(fā)平臺的優(yōu)勢在于圖形化開發(fā)方式、大量的預(yù)制組件、少量手工編碼、實現(xiàn)完整的應(yīng)用（包含頁面、流程、數(shù)據(jù)等），可以降低開發(fā)難度、開發(fā)成本，縮短開發(fā)周期，但是也存在產(chǎn)品學(xué)習(xí)成本高、配置和腳本復(fù)雜度高、需求轉(zhuǎn)化難度大等問題。而這些短板恰好是大模型的優(yōu)勢——自然語言理解、基本推理、海量代碼的積累，所以，大模型可以比較完美地集成到藍鯨運維開發(fā)平臺中，并且在以下功能上帶來了更高的效率和更好的體驗：

① 自然語言自動生成頁面
開發(fā)者接到需求后，沒有產(chǎn)品經(jīng)理，可以直接求助大模型幫忙生成頁面需要的組件，如表格、登錄框等。大模型查詢運維開發(fā)平臺內(nèi)置的組件，并在頁面快速生成組件實例，整個過程比拖拉拽的交互更加高效。

② 修改頁面字段內(nèi)容和配置
開發(fā)者需要針對組件設(shè)計一些交互邏輯，如屬性、事件等，可以直接對事件進行描述，如添加一個按鈕，并給按鈕的點擊事件進行描述“跳轉(zhuǎn)到首頁”，大模型的收到提示詞后生成平臺規(guī)則要求的配置或代碼，效果如下：

③ 后臺代碼或SQL生成
運維開發(fā)平臺的后臺代碼或SQL語句生成應(yīng)該與其它的 Copilot 的代碼生成方式更優(yōu)化，分成以下步驟：

• 用戶直接在前端頁面選擇數(shù)據(jù)源，輸入文本，描述需要生成的 SQL 的功能；
• 運維開發(fā)平臺將數(shù)據(jù)庫表結(jié)構(gòu)和用戶輸入文本進行格式化整合后，經(jīng)過 Prompt 優(yōu)化后發(fā)送到大模型；
• 大模型返回SQL語句，用戶復(fù)制或插入到平臺中。

④ 需求文檔生成應(yīng)用
更復(fù)雜點的場景，運維開發(fā)希望能根據(jù)業(yè)務(wù)需求，經(jīng)過少量人為交互，可以直接生成最終的頁面和應(yīng)用，這個步驟會更加復(fù)雜：

• 開發(fā)者輸入完整的需求，如“新建一個年會打卡抽獎系統(tǒng)”；
• 大模型先根據(jù)描述拆解任務(wù)，調(diào)用運維開發(fā)平臺能力，生成開發(fā)任務(wù)步驟和流程，包含設(shè)計數(shù)據(jù)庫模型、開發(fā)員工信息管理接口、開發(fā)打卡系統(tǒng)接口、開發(fā)抽獎系統(tǒng)接口、實現(xiàn)用戶認證和權(quán)限管理、設(shè)計API響應(yīng)格式，以及集成SaaS開發(fā)框架、執(zhí)行開發(fā)環(huán)境啟動和測試預(yù)覽等部署工作；
• 每個開發(fā)任務(wù)步驟，大模型會自動生成代碼函數(shù)片段，并自動調(diào)用大模型的 Code Review 能力，生成代碼審查報告；
• 開發(fā)者根據(jù)每個步驟的代碼片段，結(jié)合 Code Review 結(jié)論，可以進一步完善步驟提示詞；
• 經(jīng)過多輪步驟代碼自動生成和代碼審查，以及少量人為接入，完成最終版本的代碼生成；
• 最后，結(jié)合藍鯨SaaS開發(fā)框架和自動化部署能力，可以直接把每個步驟的函數(shù)代碼組裝成完整的應(yīng)用，發(fā)布到測試環(huán)境進行驗證。

04. 未來展望

“把AI和大模型的能力賦能給運維團隊，推動運維開發(fā)轉(zhuǎn)型，實現(xiàn)組織可持續(xù)、自生長”始終是藍鯨品牌的發(fā)展理念，無論是已經(jīng)“越過頂峰、走出低谷”的PaaS平臺、云原生技術(shù)，還是處于“期望頂峰”的大模型技術(shù)，藍鯨始終堅持腳踏實地地推動技術(shù)的實際應(yīng)用，不斷降低運維使用新技術(shù)的門檻。當(dāng)然，我們在中途休息小憩時，也不會忘記仰望星空，選擇摘取幾顆耀眼的“技術(shù)之星”，照亮我們的前行之路。