工研院南分院_軟體工程師(創新/T500)

1. Develop, test, and debug ROS2 drivers and nodes for robotic sensing systems to ensure the accuracy and real-time performance of sensor data acquisition and processing. 

2. Participate in the full robotics development lifecycle, including hardware integration, firmware development, algorithm design, simulation, system validation, and field testing. 

3. Utilize Linux and ROS2 frameworks to develop, optimize, and maintain critical robotics modules, including SLAM (Simultaneous Localization and Mapping), Nav2 navigation stack, and sensor fusion technologies. 

4. Conduct research and development on advanced AI technologies, including Large Language Models (LLMs), Vision Language Models (VLMs), and Vision-Language-Action Models (VLAs), while collaborating with cross-functional teams on proof-of-concept validation and prototype system development.

參與以 VLM（視覺語言模型）為核心的機器人任務規劃系統開發，探索如何讓機器人「看懂環境、聽懂指令、做出行動」，具體任務包含： 

1. 研讀 VLM / VLA（Vision-Language-Action）相關論文，並進行關鍵技術實作與驗證 

2. 設計 Prompt 策略，將自然語言或視覺輸入拆解為機器人可執行的動作序列（Action + 參數） 

3. 協助建構任務規劃模組，串接 VLM 推論結果與機器人動作夾帶參數的執行框架 

4. 使用 NVIDIA Omniverse Isaac Sim 進行機器人模擬，驗證任務規劃正確性 

5. 撰寫技術文件，記錄模型設計、Prompt 工程與測試結果

研讀並實作相關 RL、IL 論文，並與團隊共同推進控制策略模型的雛型建置、訓練與實機部署（Sim-to-Real），具體任務包含： 

1. 使用 NVIDIA Omniverse Isaac Sim / Isaac Lab 建構機器人模擬環境，進行控制策略訓練 

2. 進行軌跡資料蓄集，用於模仿學習模型訓練 

3. 實作 Sim-to-Real 轉移流程，包含領域隨機化、物理參數隨機化等技術，縮小模擬與實體之間的表現落差 

4. 對訓練完成的控制策略進行實機上線驗證，記錄模擬與實機間的表現差異分析 

5. 撰寫技術文件，協助記錄模擬流程、訓練架構與 Sim-to-Real 實驗結果

機器人數位雙生控制整合，具體任務包含： 

1. 使用 NVIDIA Omniverse Isaac Sim/ Isaac Lab 進行機器人模擬 

2. 使用深度相機完成eye to hand或eye in hand標定 

3. 使用ROS2串接整合數位雙生、感測器與機器人

雲端與機房維運，具體任務包含： 

1.使用 Kubernetes 進行容器化應用部署、管理與維運 

2.使用 VMware 建置與管理虛擬化環境 

3.負責網路與機房基礎設施維運、監控與問題排除

研讀並實作相關RL, IL 論文，並與團隊進行模型雛形建置、訓練與布署，具體任務包含： 

1. 使用 NVIDIA Omniverse Isaac Sim/ Isaac Lab 進行機器人模擬 

2. 進行軌跡資料蒐集用於模仿學習模型訓練 

3. 撰寫技術文件，協助記錄模擬流程與訓練架構設計

1.開發智慧機器人多模態感知、視覺辨識與融合演算法，提升機器人自主感知與環境理解能力。 

2.研發機器學習、Vision AI、Generative AI、Agentic AI 等前瞻 AI 技術，應用於智慧機器人與自主系統場域。 

3.參與 Edge AI 演算法部署與優化，開發即時 AI 推論與邊緣運算應用。 

4.參與 ROS2、自主移動、多感測器整合與智慧機器人系統開發。 

5.有機會接觸 AI Agent、自主系統與新世代智慧機器人技術整合與實機驗證。

工業技術研究院南分院機器人與智慧系統研發組，誠徵具備卓越技術能力與高度工作熱忱之機器人系統開發工程師。此職位肩負重要研發任務，核心職責如下：  

一、 負責機器人感測系統ROS2驅動與NODE之開發、測試與除錯，以確保感測資料之準確性與即時性。  

二、 熟稔機器人全流程開發，包含硬體整合、韌體撰寫、演算法設計、與模擬及實機測試等環節。  

三、 運用Linux作業系統及ROS2架構，進行SLAM、NAV2、感測融合等關鍵技術模組之開發、優化與維護。  

四、 參與LLM、VLM、VLA等先進技術開發研究，並協同團隊進行概念驗證與雛型系統建置。

雷射源製作、雷射製程整合控制、雷射製程分析軟體撰寫。

1. 機器人相關演算法、軟體設計、軟體開發、系統測試、系統整合 

2. 技術文件撰寫 

3. 與開發團隊合作 Coding 和 Troubleshooting

1. 核心模型研發 (Model R&D): 

- 負責 視覺語言動作模型 (VLA Model) 的架構設計與開發，應用於機器人/機械手臂之多模態場景理解與決策。 

- 研究並實作 模仿學習 (Imitation Learning) 與 強化學習 (Reinforcement Learning) 演算法，提升機器人複雜任務的泛化能力。 

2. 模擬與資料工程(Simulation & Data Engineering): 

- 建構 High-fidelity虛擬模擬環境，負責 Sim2Real 的物理參數調校與驗證，縮短實機部署落差。 

- 設計自動化軌跡資料蒐集流程，建立高品質的多模態數據集 (Multimodal Dataset)，用於行為生成 (Behavior Generation) 訓練。 

3. 系統整合與邊緣部署 (Integration & Deployment): 

- 規劃機器人控制系統架構，將深度學習模型與傳統控制策略進行整合。 

- 負責模型輕量化與推論優化，將控制策略成功部署於 邊緣運算裝置，確保即時性與穩定性。

1.機器人作業系統開發，包括感測器資料處理、運動控制、任務執行與溝通協調等功能。  

2.機器人自適應控制技術研發。  

3.機器人軟硬體整合。  

4.先進機器人技術研究，如新式感測器應用、智慧化演算法、新驅動技術開發及新穎控制策略，促進機器人產業的長遠發展。

《工作內容》 

負責人型/類人型智慧機器人的大小腦AI技術開發，包含視覺語言模型、純視覺3D環境感知、影像即時追蹤與地形分析、WBC整機控制技術與多機協作。並透過 Omniverse 仿真與實機整合驗證，打造具高度自主性與環境理解能力的智慧機器人系統。並參與以下研發重點： 

1. 核心模型研發 (Model R&D): 

- 負責 視覺語言動作模型 (VLA Model) 的架構設計與開發，應用於機器人/機械手臂之多模態場景理解與決策。 

- 研究並實作 模仿學習 (Imitation Learning) 與 強化學習 (Reinforcement Learning) 演算法，提升機器人複雜任務的泛化能力。 

2. 模擬與資料工程(Simulation & Data Engineering): 

- 建構 High-fidelity虛擬模擬環境，負責 Sim2Real 的物理參數調校與驗證，縮短實機部署落差。 

- 設計自動化軌跡資料蒐集流程，建立高品質的多模態數據集 (Multimodal Dataset)，用於行為生成 (Behavior Generation) 訓練。 

3. 系統整合與邊緣部署 (Integration & Deployment): 

- 規劃機器人控制系統架構，將深度學習模型與傳統控制策略進行整合。 

- 負責模型輕量化與推論優化，將控制策略成功部署於 邊緣運算裝置，確保即時性與穩定性。 

《職務亮點/優勢》 

1.跨領域AI×機器人研發：從 VLA、VLM、LBM、3D 感知到WBC整機控制技術，參與智慧機器人核心能力建構。 

2.虛實融合研發環境：採用 Omniverse 進行高仿真模擬，加速模型驗證並與實體機器人快速串接。 

3.技術應用場域多元：成果可應用於餐飲服務、警勤巡檢、消防救災、多機協作等任務，具高挑戰性與實用性。

1. 機器人數位孿生模擬技術研發。  

2. 濚度學習/機器視覺/感測融合，以及AI/GAI/Agentic AI等演算法研發。

1.開發機器人應用程式、通訊架構和狀態機 

2.開發底層硬體的韌體 (Firmware)，控制感測器、致動器等硬體元件 

3.負責機器人的遠端監控、數據收集與分析、韌體更新 (OTA)、多機器人協同作業、雲端 AI 運算

1.自動化流程撰寫與軟體開發 (PC based 控制, 包含馬達/通訊/DIO/AD/DA…etc)  

2.自動化設備/儀器之人機介面開發  

3.自動化設備,驗證項目規劃與執行  

4.自動化設備/儀器調機與測試