崗位職責
1負責云計算架構
1設計并部署高可用物聯(lián)網云平臺支持百萬級設備接入規(guī)劃混合云架構與安全通信方案TLS/DTLS優(yōu)化VPC網絡與邊緣計算協(xié)同
2實施容器化解決方案K8s/ECS實現(xiàn)微服務治理自動擴縮容與灰度發(fā)布
3制定云資源優(yōu)化策略預留/Spot實例混用建立自動化資源回收機制
2負責數(shù)據(jù)處理體系
1構建端到端數(shù)據(jù)管道邊緣計算預處理設備數(shù)據(jù)RK3588S格式規(guī)范通過Kafka/Pulsar異步傳輸設計時序庫InfluxDB/TDengine與關系庫分層存儲
2開發(fā)流批一體處理系統(tǒng)Spark/Flink構建數(shù)據(jù)湖DeltaLake/Iceberg支持多模態(tài)數(shù)據(jù)統(tǒng)一存儲
3實施數(shù)據(jù)治理體系血緣追蹤/元數(shù)據(jù)管理建立質量監(jiān)控與自動修復機制
3物聯(lián)網專項
1開發(fā)設備管理服務MQTT/CoAP協(xié)議適配支持設備影子同步OTA升級與固件版本控制
2部署邊緣計算節(jié)點AWSGreengrass/AliyunLink實現(xiàn)AI推理優(yōu)化與數(shù)據(jù)同步策略
3構建安全體系X509/KMS加密滿足GDPR/HIPAA合規(guī)要求建立審計日志追蹤機制
任職要求
1計算機科學與技術軟件工程數(shù)據(jù)科學與大數(shù)據(jù)技術信息與計算科學自動化/人工智能等相關專業(yè)畢業(yè)
2有大數(shù)據(jù)處理經驗Spark/Flink熟悉云平臺AWS/Azure及DevOps工具鏈熟悉MySQL/MongoDB等數(shù)據(jù)庫技術
3核心技能要求
31編程基礎Java/Python/Scala至少精通一門熟悉Shell腳本
32大數(shù)據(jù)技術棧HadoopSparkFlinkKafka等分布式框架
33數(shù)據(jù)庫與SQL熟練使用MySQLHiveHBase等優(yōu)化查詢能力
34Linux與云計算熟悉Linux操作了解Docker/Kubernetes及AWS/Azure云平臺
35數(shù)據(jù)結構與算法尤其關注分布式場景下的數(shù)據(jù)處理如MapReduce原理
4其他要求
具有AWSCertifiedDataAnalyticsClouderaCCP等證書
具有成功項目經驗GitHub展示如用Spark處理TB級數(shù)據(jù)的優(yōu)化案例等
舉報
1負責云計算架構
1設計并部署高可用物聯(lián)網云平臺支持百萬級設備接入規(guī)劃混合云架構與安全通信方案TLS/DTLS優(yōu)化VPC網絡與邊緣計算協(xié)同
2實施容器化解決方案K8s/ECS實現(xiàn)微服務治理自動擴縮容與灰度發(fā)布
3制定云資源優(yōu)化策略預留/Spot實例混用建立自動化資源回收機制
2負責數(shù)據(jù)處理體系
1構建端到端數(shù)據(jù)管道邊緣計算預處理設備數(shù)據(jù)RK3588S格式規(guī)范通過Kafka/Pulsar異步傳輸設計時序庫InfluxDB/TDengine與關系庫分層存儲
2開發(fā)流批一體處理系統(tǒng)Spark/Flink構建數(shù)據(jù)湖DeltaLake/Iceberg支持多模態(tài)數(shù)據(jù)統(tǒng)一存儲
3實施數(shù)據(jù)治理體系血緣追蹤/元數(shù)據(jù)管理建立質量監(jiān)控與自動修復機制
3物聯(lián)網專項
1開發(fā)設備管理服務MQTT/CoAP協(xié)議適配支持設備影子同步OTA升級與固件版本控制
2部署邊緣計算節(jié)點AWSGreengrass/AliyunLink實現(xiàn)AI推理優(yōu)化與數(shù)據(jù)同步策略
3構建安全體系X509/KMS加密滿足GDPR/HIPAA合規(guī)要求建立審計日志追蹤機制
任職要求
1計算機科學與技術軟件工程數(shù)據(jù)科學與大數(shù)據(jù)技術信息與計算科學自動化/人工智能等相關專業(yè)畢業(yè)
2有大數(shù)據(jù)處理經驗Spark/Flink熟悉云平臺AWS/Azure及DevOps工具鏈熟悉MySQL/MongoDB等數(shù)據(jù)庫技術
3核心技能要求
31編程基礎Java/Python/Scala至少精通一門熟悉Shell腳本
32大數(shù)據(jù)技術棧HadoopSparkFlinkKafka等分布式框架
33數(shù)據(jù)庫與SQL熟練使用MySQLHiveHBase等優(yōu)化查詢能力
34Linux與云計算熟悉Linux操作了解Docker/Kubernetes及AWS/Azure云平臺
35數(shù)據(jù)結構與算法尤其關注分布式場景下的數(shù)據(jù)處理如MapReduce原理
4其他要求
具有AWSCertifiedDataAnalyticsClouderaCCP等證書
具有成功項目經驗GitHub展示如用Spark處理TB級數(shù)據(jù)的優(yōu)化案例等
舉報
大數(shù)據(jù)開發(fā)工程師職業(yè)大全:
溫馨提示

- 你可能感興趣的職位
- 最近瀏覽記錄
-
2.5-3萬/月
-
2.5-3萬/月
-
3.5萬/月
-
2.2-2.5萬/月
-
2-3.5萬/月
-
2-2.5萬/月
-
1-10萬/月
-
1.2-1.5萬/月
暫沒有相關信息
- 公司規(guī)模:20-99人
- 所屬行業(yè):互聯(lián)網/電子商務
- 聯(lián)系人:陳金瑩
- 手機:會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:
工作地址
- 地址:深圳市南山區(qū)桃源街道大學城社區(qū)篤學路9號國家超級計算深圳中心科研樓七樓