開源AI助攻-採用Ollama部署本地端大型語言模型

Ollama大型語言模型平台具備開源免費資源、能離線運作、本地運作等三大優點，本課程將帶領學員使用Ollama並在自己的電腦使用如Meta Llama, Microsoft Phi-3等大型語言模型，並架設基本網站介面，方便學員與大型語言模型對談，輕鬆開啟本地端大型語言部署之路!

課程介紹

Ollama是一個專注於本地端部署的大型語言模型管理工具，主要以簡化大型語言模型的部署流程，同時提供靈活的控制和高效運算性能作為目標。立即體驗Ollama的優勢，輕鬆開啟本地端大型語言部署之路！
本課程將介紹學員認識Ollama開源AI工具，以實作為導向，帶領學員在自己的電腦使用大型語言模型(像是Meta Llama, Microsoft Phi-3等)，並架設基本網站介面，方便後續與大型語言模型對談，進而打造離線版的智慧生成式AI應用。

課程特色

(一)本地部署保護企業隱私與安全
企業為了考量機密資料與安全隱私，需要的是真正可以斷網的大型語言模型執行環境。使用Ollama部署大型語言模型，不僅可以在企業內部安心使用，還可以建立企業專屬資料的聊天機器人，透過Meta Llama與Microsoft Phi-3，就能成功打造離線版的智慧生成式AI應用。
(二)模型可控性和自行定義
使用Ollama部署，能方便調整與微調模型以滿足企業內部的特定業務需求，更能夠選擇使用開源模型或自有模型，完全瞭解訓練和推理的過程，擁有自主功能開發的彈性與掌控優勢。
(三)使用成本低、離線運行且低延遲
只要一次性硬體投資後即可長期運行，不但具備即時運算的延遲性、而且在離線情境下也能正常使用。

課程對象

在企業內部擔任資訊人員(IT)、AI軟體開發、AI模型運用、AI程式應用等工程師或研發人員等。
對大型語言模型(LLM)開發實務有興趣者。

講師簡介

鐘老師
￭Microsoft MVP微軟全球最有價值專家(2023)
￭AWS Educate 雲端推廣大使
專長：機器學習、深度學習、產業AI化應用、AI加值應用程式開發
經歷：
-Microsoft 微軟國際工作坊訓練講師(資料科學、人工智慧)
-元智大學資工系兼任助理教授
-資策會數位教育研究所專案經理

課程大綱

課程單元	課程大綱
Ollama與大型語言模型	1.安裝Ollama 2.下載大型語言模型 3.設定開發環境VS Code
大型語言模型下載	1.llama 3.2(1b/3b) / llama 3.1(8b) 2. ph3(3.8b/14b)
與大型語言模型對話	1.呼叫大型語言模型 2.建立對話式介面 3.系統提示設定
RAG向量資料庫與資料檢索	1.建立向量資料庫 2.打造企業專屬資料聊天機器人

課程資訊

【本課程已通過經濟部中小及新創企業署三十人以下製造業數位轉型培力補助】
上課日期：114/5/13(二)、5/20(二)，09:30-16:30，共12小時。
上課地點：工研院中興院區21館/新竹縣竹東鎮中興路四段195號(實際教室以上課通知為主)。
上課須知：
(1)請學員攜帶筆電來上課，以達最佳學習效果。
(2)本課程需須完成測驗評量才能取得證書。
報名方式：
-線上報名：請學員前往工研院「產業學習網」報名課程。
-信箱報名：將報名資訊填完並寄至 VHsieh@itri.org.tw 謝小姐。
-課程洽詢：請洽服務專線03-5913417 謝小姐或聯絡信箱：VHsieh@itri.org.tw。

課程費用