工研院南分院_機器人軟體開發工程師(六甲/T300)

參與以 VLM（視覺語言模型）為核心的機器人任務規劃系統開發，探索如何讓機器人「看懂環境、聽懂指令、做出行動」，具體任務包含： 

1. 研讀 VLM / VLA（Vision-Language-Action）相關論文，並進行關鍵技術實作與驗證 

2. 設計 Prompt 策略，將自然語言或視覺輸入拆解為機器人可執行的動作序列（Action + 參數） 

3. 協助建構任務規劃模組，串接 VLM 推論結果與機器人動作夾帶參數的執行框架 

4. 使用 NVIDIA Omniverse Isaac Sim 進行機器人模擬，驗證任務規劃正確性 

5. 撰寫技術文件，記錄模型設計、Prompt 工程與測試結果

研讀並實作相關 RL、IL 論文，並與團隊共同推進控制策略模型的雛型建置、訓練與實機部署（Sim-to-Real），具體任務包含： 

1. 使用 NVIDIA Omniverse Isaac Sim / Isaac Lab 建構機器人模擬環境，進行控制策略訓練 

2. 進行軌跡資料蓄集，用於模仿學習模型訓練 

3. 實作 Sim-to-Real 轉移流程，包含領域隨機化、物理參數隨機化等技術，縮小模擬與實體之間的表現落差 

4. 對訓練完成的控制策略進行實機上線驗證，記錄模擬與實機間的表現差異分析 

5. 撰寫技術文件，協助記錄模擬流程、訓練架構與 Sim-to-Real 實驗結果

雷射源製作、雷射製程整合控制、雷射製程分析軟體撰寫。

1. 核心模型研發 (Model R&D): 

- 負責 視覺語言動作模型 (VLA Model) 的架構設計與開發，應用於機器人/機械手臂之多模態場景理解與決策。 

- 研究並實作 模仿學習 (Imitation Learning) 與 強化學習 (Reinforcement Learning) 演算法，提升機器人複雜任務的泛化能力。 

2. 模擬與資料工程(Simulation & Data Engineering): 

- 建構 High-fidelity虛擬模擬環境，負責 Sim2Real 的物理參數調校與驗證，縮短實機部署落差。 

- 設計自動化軌跡資料蒐集流程，建立高品質的多模態數據集 (Multimodal Dataset)，用於行為生成 (Behavior Generation) 訓練。 

3. 系統整合與邊緣部署 (Integration & Deployment): 

- 規劃機器人控制系統架構，將深度學習模型與傳統控制策略進行整合。 

- 負責模型輕量化與推論優化，將控制策略成功部署於 邊緣運算裝置，確保即時性與穩定性。

機器人數位雙生控制整合，具體任務包含： 

1. 使用 NVIDIA Omniverse Isaac Sim/ Isaac Lab 進行機器人模擬 

2. 使用深度相機完成eye to hand或eye in hand標定 

3. 使用ROS2串接整合數位雙生、感測器與機器人

雲端與機房維運，具體任務包含： 

1.使用 Kubernetes 進行容器化應用部署、管理與維運 

2.使用 VMware 建置與管理虛擬化環境 

3.負責網路與機房基礎設施維運、監控與問題排除

研讀並實作相關RL, IL 論文，並與團隊進行模型雛形建置、訓練與布署，具體任務包含： 

1. 使用 NVIDIA Omniverse Isaac Sim/ Isaac Lab 進行機器人模擬 

2. 進行軌跡資料蒐集用於模仿學習模型訓練 

3. 撰寫技術文件，協助記錄模擬流程與訓練架構設計

1.機器人作業系統開發，包括感測器資料處理、運動控制、任務執行與溝通協調等功能。  

2.機器人自適應控制技術研發。  

3.機器人軟硬體整合。  

4.先進機器人技術研究，如新式感測器應用、智慧化演算法、新驅動技術開發及新穎控制策略，促進機器人產業的長遠發展。

《工作內容》 

負責人型/類人型智慧機器人的大小腦AI技術開發，包含視覺語言模型、純視覺3D環境感知、影像即時追蹤與地形分析、WBC整機控制技術與多機協作。並透過 Omniverse 仿真與實機整合驗證，打造具高度自主性與環境理解能力的智慧機器人系統。並參與以下研發重點： 

1. 核心模型研發 (Model R&D): 

- 負責 視覺語言動作模型 (VLA Model) 的架構設計與開發，應用於機器人/機械手臂之多模態場景理解與決策。 

- 研究並實作 模仿學習 (Imitation Learning) 與 強化學習 (Reinforcement Learning) 演算法，提升機器人複雜任務的泛化能力。 

2. 模擬與資料工程(Simulation & Data Engineering): 

- 建構 High-fidelity虛擬模擬環境，負責 Sim2Real 的物理參數調校與驗證，縮短實機部署落差。 

- 設計自動化軌跡資料蒐集流程，建立高品質的多模態數據集 (Multimodal Dataset)，用於行為生成 (Behavior Generation) 訓練。 

3. 系統整合與邊緣部署 (Integration & Deployment): 

- 規劃機器人控制系統架構，將深度學習模型與傳統控制策略進行整合。 

- 負責模型輕量化與推論優化，將控制策略成功部署於 邊緣運算裝置，確保即時性與穩定性。 

《職務亮點/優勢》 

1.跨領域AI×機器人研發：從 VLA、VLM、LBM、3D 感知到WBC整機控制技術，參與智慧機器人核心能力建構。 

2.虛實融合研發環境：採用 Omniverse 進行高仿真模擬，加速模型驗證並與實體機器人快速串接。 

3.技術應用場域多元：成果可應用於餐飲服務、警勤巡檢、消防救災、多機協作等任務，具高挑戰性與實用性。

《工作內容》 

負責智慧機器人AI核心技術開發，包含視覺語言行為模型（VLM/VLA/LBM）導入、端對端3D環境感知、影像即時追蹤與環境分析、強化式與模仿學習技術開發，並運用Omniverse進行數位孿生模擬與實機整合驗證，推動AI自主學習與智慧決策能力。 

《職務亮點/優勢》 

• 跨域AI與機器人研發環境：從生成式AI（VLM/LBM）到強化學習，串聯語言、視覺與行為決策。 

• 虛實整合數位孿生平台：利用Omniverse模擬與實體機器人整合測試，加速AI模型驗證與系統部署。 

• 創新與應用並進：參與最前沿AI技術導入，應用於機器人導航、操作與人機互動。

設計與整合機器人系統硬體與軟體，協調各模組間的協作與通訊，確保系統穩定運作及效能達成需求。

1.開發機器人應用程式、通訊架構和狀態機 

2.開發底層硬體的韌體 (Firmware)，控制感測器、致動器等硬體元件 

3.負責機器人的遠端監控、數據收集與分析、韌體更新 (OTA)、多機器人協同作業、雲端 AI 運算

1. 多模態感知融合演算法軟體研發。  

2. 機器學習/機器視覺，以及AI/GAI/Agentic AI等演算法研發。

1. 開發和維護軟體系統：負責開發和維護軟體系統，以支持無線感知技術的研究和實驗工作。 

2. 數據分析和處理：負責數據分析和處理，以支持無線感知技術的研究和實驗工作。 

3. 協調與團隊合作：團隊成員進行協調和合作，以支持無線感知技術的研究和實驗工作。 

4. 持續學習和改進：持續學習和改進，以支持無線感知技術的研究和實驗工作

1.自動化流程撰寫與軟體開發 (PC based 控制, 包含馬達/通訊/DIO/AD/DA…etc)  

2.自動化設備/儀器之人機介面開發  

3.自動化設備,驗證項目規劃與執行  

4.自動化設備/儀器調機與測試