网络开源数据采集工程师面议

中国科学院文献情报中心2024年招聘11名工作人员启事

招1人
硕士研究生
武汉

需求专业（供参考）：计算机科学与技术, 图书馆、情报与档案管理

截止日期：2024-09-30 2024-02-02发布

职位详情

科研启动费

基本信息

用人部门：数据资源部
职位编制：事业编制
报名方式：电子邮件
需求专业（供参考）：计算机科学与技术, 图书馆、情报与档案管理

岗位职责

1．负责网络开源数据采集工具的设计、研发与持续优化；2．负责网络开源数据采集关键技术攻关与研发，不限于数据采集策略和防屏蔽规则，解决JS逆向、封账号、封IP、验证码、滑块等关键技术，持续优化采集的效率和质量；3．负责多平台开源数据的采集任务的实施与管理；4．负责对采集数据的存储、解析及数据输出等全流程设计与实现；5．负责数据采集相关的用户交流、沟通，完成业务梳理，制定数据采集技术方案并实现。

任职要求

1．取得硕士及以上学位，计算机类、图书情报与档案管理类相关专业（计算机科学与技术、信息资源管理），大数据与数据挖掘相关方向，特别优秀的可降低学位要求；2．掌握网络爬虫开发原理，熟悉互联网各类型开源数据交互模式，并精通一种工业级应用的开源数据爬虫框架，对垂直搜索爬虫、分布式爬虫、海量数据采集有深刻的理解；3．熟悉并掌握常见的反数据采集策略，能解决如图片验证码/滑块/账号限制/IP限制等问题；4．熟悉并掌握采集数据的数据清洗、数据去重及数据入库等技术，负责或全程参与过较大的数据采集类项目，具有海量数据处理和分布式计算开发经验者优先；5．具有扎实的算法和数据结构能力，至少精通Java/python其中一种语言，熟悉多线程、协成、IO多路复用等概念；6．熟练使用Mysql等流行数据库技术，熟悉数据缓存和NoSql技术；7．良好的团队精神和合作意识，良好的问题分析能力和沟通表达能力，强烈的责任心。