大家好, 今天主要是要跟大家說明生成式AI/大語言模型應用專案目前執行的狀態，以及接下來預計執行的方向今天會從為什麼會有這個專案、預計發展藍圖、以及看一下整個專案的Milestone接下來就會介紹過去2個月Prototype測試的狀況，包含使用的技術、結果統計以及遇到的問題和怎麼解決的最後呢，會介紹一下有關Pilot的主要功能及時程規劃我們先從專案緣起開始看從2019年開始，CCC導入了KMS系統，經過5年的時間，累積了17個類別總共5000多份的文件文件內容非常豐富與資料的組成很多樣化，有文字、HTML、表格、圖片等但也因為內容龐大且更新頻率高，較難在KM裡下關鍵字就能輕易找到問題的正確答案 為了提升同仁工作效率，能更快找到要找的資訊，有了這個提案原本這個年度專案，提案當初是希望能夠生成問題的答案或摘要來輔助但經過這段時間的測試，地端大語言模型生成的答案，普遍比雲端大語言模型的效果不好那因為目前要導入雲端生成式AI解決方案，還有不少規範、組織等等 需要先完成所以現階段規劃先導入embedding模型，提供找到相似度較高的FAQ及KM文件並且也為了將來導入生成式AI 解決方案奠立基礎接下來我們看發展藍圖主要是依循著Fendy在今年的策略報告裡提到，TGL需要有自己的一套生成式AI/大語言模型平台在這個平台上，有一部分是做AI智能助理，那這一塊AI智能助理裏頭，又有一部份是做KM/FAQ AI智能助理在報告裡提到，預計做客服中心、理賠以及業務員的 KM/FAQ AI智能助理目前Pilot這個規劃案，是以客服中心為使用單位，導入embedding模型，且可使用自然語言查找資料所做的檢索工具未來等地端大語言模型更成熟，或者可以使用雲端大語言模型後，可再規劃導入透過大語言模型來生成摘要、總結、答案，或者協助FAQ生成更適合的Q等等這些應用整體的時程規劃年初原本規劃的時程是9月底前完成Pre Project，10月開始kick off。從今年1,2月，有找了3家廠商(叡揚、碩網、精誠內秋應)來介紹後，2月底的會議決定，先找廠商來做POC，6月廠商來做POC, 經由Pilot POC的結果發現，廠商測試的答案命中率大概在82%左右，BDD自己做的測試結果大概是77%其實BDD自己做的命中率只有差了5%而已。有鑑於AI的發展迅速，後來調整了專案進行的方式：改為內部先建置一套視覺化可呈現執行結果的Prototype demo，並且有回饋機制來收集使用者需求接著擬定一套限縮功能範圍及限縮使用者的Pilot規劃案來做導入。拉成時間軸來看的話，這個pilot subproject是從7月底開始執行，8/8 于庭這邊就做好了prototype demo開始給CCC做測試，一直到 9/20測試結束原本預計是找使用單位較資深的人員來參與測試並回饋但CCC很幫忙，整個CSR都下來測試了，而且還測試了2輪，很謝謝CCC。在將近2個月的測試期間裡，一直重複著 測試，發現問題後進行問題分析，接著做系統調整，再繼續測試這樣快速滾動更新循環以及有些想先試試看對搜尋資料是否會有幫助的功能，于庭也都會再開別的測試環境提供測試如果真的有幫助，就會更新到 prototype裡繼續測試，當然其中也有對結果比較沒幫助的測試，這個就不會更新上去，這些很謝謝于庭的幫忙。這當中，在8/27 完成了prototype主要的大調整，包含同義詞設定、FAQ從262題增至479題、排除干擾查詢的文件等等透過這些測試回饋過程當中，有些比較確定的功能，也同時開始進行BRD的規劃撰寫，這些都很謝謝Pat跟于庭的幫忙整個Pilot 規劃在今年10/4 完成，預計在明年農曆年前 1/24完成開發建置，3月底前完成UAT測試，預計在4月上線，上線後，應該還會有一些想調整優化的功能，預計在7月底前會完成