{"course":{"id":"114162701X01","name":"自然語言處理","enroll_type":"選修","general_type":"","dept":"人工智慧學程","grade":4,"class_group":"甲","teacher":"劉城甫","credit":3,"hour":3,"time":[{"day":3,"section":[5,6,7]}],"classroom":"","max":56,"min":10,"remark":"","alt_for":"","courses":""},"detail":[["指定教材","1.\tHugging Face documentation\n2.\tGoogle Colab（全課程程式開發平台）\n3.\tHugging Face Transformers library"],["參考教材","1.\tRasa documentation\n2.\tNLTK & SpaCy tutorials\n3.\tRasa Framework（對話系統開發）\n4.\tNLTK / SpaCy / Scikit-learn"],["成績評量標準","平時作業與實作(30%)期中專題報告(30%)期末專題報告(40%)"],["教學方法","理論講授"],["教學目標","1.\t掌握自然語言處理的基本流程與常見任務類型。\n2.\t實作詞彙表示方法，如 TF-IDF、Word2Vec、GloVe 及 Transformer-based embeddings。\n3.\t理解與建構分類、命名實體識別、關係抽取等語言理解任務模型。\n4.\t理解 Seq2Seq 與注意力機制等基礎架構，並能應用於生成任務。\n5.\t探索大型語言模型（如 BERT、GPT、T5）的架構與應用方式。\n6.\t完成 NLP 實作專題（如問答系統、對話機器人等），並以簡報及影片方式進行成果展示。"]],"office_time":[["劉城甫","1.\t投影片講授與板書並用\n2.\t程式碼實作與案例練習（使用 Google Colab）\n3.\t分組討論與專題發表\n4.\t影片製作訓練與公開展示"]],"schedule":[["2025/09/10","5","7","3","劉城甫","課程介紹 + Embedding","","•  說明課程目標、評量方式與專題方向。 •  回顧文字表示的歷史發展，介紹詞向量（Word Embedding）的概念。 •  探討 One-hot、Word2Vec、GloVe、Subword 與 Contextual Embedding 等方法。 •  示範詞向量在語意相似度與類比任務中的應用。",""],["2025/09/17","5","7","3","劉城甫","Text Classification","","•  說明文字分類任務（情感分析、主題分類、垃圾郵件偵測等）。 •  探討特徵抽取與向量化方法。 •  比較傳統模型（Logistic Regression, SVM）與深度模型（MLP, CNN for text）。 •  實作：利用詞向量訓練簡單文字分類器。",""],["2025/09/24","5","7","3","劉城甫","RNN, LSTM","","•  介紹序列模型（RNN）的基本概念與時間步計算流程。 •  說明梯度消失與長期依賴問題。 •  詳解 LSTM / GRU 的內部機制與記憶門設計。 •  實作：以 LSTM 進行文字序列預測或情感分析。",""],["2025/10/01","5","7","3","劉城甫","Attention, Transformer","","•  說明注意力機制（Attention）的動機與數學形式。 •  介紹 Transformer 架構（Self-Attention, Multi-Head Attention, Positional Encoding）。 •  分析 Transformer 在語言建模與序列任務的優勢。 •  視覺化注意力權重，理解模型學習到的語法關係。",""],["2025/10/08","5","7","3","劉城甫","LM","","•  定義語言模型（Language Model）與概率式預測目標。 •  探討 N-gram、RNN-LM 與 Transformer-LM 的差異。 •  說明自回歸（autoregressive）與掩碼（masked）預訓練策略。",""],["2025/10/15","5","7","3","劉城甫","Seq2Seq","","•  介紹序列到序列（Seq2Seq）架構及 Encoder–Decoder 設計。 •  應用於機器翻譯、摘要生成與對話系統。 •  分析 Attention 在 Seq2Seq 中的角色與效能。",""],["2025/10/22","5","7","3","劉城甫","Mid-term report","","•  學生分組中期報告：展示初步研究方向、資料來源與模型設計。 •  教師與同儕給予回饋與改進建議。 •  可包含文獻回顧、問題定義與實驗規劃。",""],["2025/10/29","5","7","3","劉城甫","Mid-term report","","•  學生分組中期報告：展示初步研究方向、資料來源與模型設計。 •  教師與同儕給予回饋與改進建議。 •  可包含文獻回顧、問題定義與實驗規劃。",""],["2025/11/05","5","7","3","劉城甫","Transfer","","•  探討遷移學習（Transfer Learning）的理論基礎。 •  說明從預訓練模型微調（fine-tuning）至下游任務的流程。 •  比較 Feature-based 與 Fine-tuning 方法。",""],["2025/11/12","5","7","3","劉城甫","LLM","","•  說明 LLM 的架構、訓練目標與 emergent abilities。 •  介紹 GPT 系列、PaLM、LLaMA 等模型發展。 •  討論 scaling law 與資料/參數規模對性能的影響。 •  探討 LLM 在生成、推理與對話上的應用。",""],["2025/11/19","5","7","3","劉城甫","PEFT","","•  介紹輕量化微調技術（如 LoRA, Prefix Tuning, Adapter）。 •  比較全參數微調與 PEFT 的效能與資源消耗。 •  實作：使用 PEFT 微調 LLM 於特定任務。",""],["2025/11/26","5","7","3","劉城甫","RLHF","","•  說明 RLHF 的三階段流程（Supervised Fine-tuning → Reward Model → PPO）。 •  討論人類偏好建模與獎勵對齊的重要性。 •  以 ChatGPT 為例解析 RLHF 機制與挑戰。",""],["2025/12/03","5","7","3","劉城甫","Efficiency","","•  探討大型模型的效能與可擴展性議題。 •  技術涵蓋模型壓縮、知識蒸餾、量化與推論加速。 •  分析計算資源、延遲與效能折衷的設計策略。",""],["2025/12/10","5","7","3","劉城甫","Retrieval","","•  介紹檢索增強生成（Retrieval-Augmented Generation, RAG）概念。 •  說明如何結合檢索模組與生成模型以改善事實性。",""],["2025/12/17","5","7","3","劉城甫","BERT and its family","","•  詳解 BERT 的架構與 Masked LM 訓練策略。 •  比較 RoBERTa、ALBERT、DeBERTa 等變體。 •  分析 Encoder-only 模型與 Decoder-only 模型的差異。",""],["2025/12/24","5","7","3","劉城甫","Domain adaption","","•  討論跨領域遷移問題與模型偏移（domain shift）。 •  方法：Fine-tuning、Domain-Adversarial Training、Continual Adaptation。 •  實作：將預訓練模型適應特定專業語料（如醫學或金融）。",""],["2025/12/31","5","7","3","劉城甫","Results presentation","","•  學期專題成果展示與口頭報告。 •  展示模型實作結果、性能比較與分析。 •  討論研究限制、改進方向與實務應用潛力。",""],["2026/01/07","5","7","3","劉城甫","Results presentation","","•  學期專題成果展示與口頭報告。 •  展示模型實作結果、性能比較與分析。 •  討論研究限制、改進方向與實務應用潛力。",""]]}