中铁科研院 python 招聘（工资待遇要求）

工作职责：
1. 负责设计和搭建高效的分布式爬虫系统；
2. 开发、维护爬虫系统，包括调度、抓取、维护、验证等爬虫工作；
3. 对不同网站的防御机制和反爬虫策略进行深入研究，提炼关键技术点。
4. 能够解决协议反爬、风控、人机识别等高级问题。
5. 负责爬虫技术难点的攻克;
任职要求：
1. 对Python和计算机网络有深入理解，能够熟练运用多线程技术，掌握主流爬中框架；
2. 精通JavaScript逆向工程、虚拟机、代码混淆、抽象语法树(AST)等技术，并有实际的JavaScript逆向和分析；
3. 熟悉常见反爬机制，验证码识别，IP代理池应用lp池、headers认证和cookie等;
4. 能够分析网络链路，并处理TLS/HTTP2等协议流量识别、IP识别问题；
5. 了解基本的机器学习算法，可解决一些基础的图像验证码识别、人机对抗等问题；
6. 熟悉Redis、MySQL、MongoDB等数据库技术，并有SQL或NOSQL数据库实践经验；
7. 熟悉wireshark tcpdump等进行流量分析，了解大部分计算机网络基本原理；
8. 了解分布式队列、中间件等基础架构组件；