资深爬虫工程师

Flashdot.wd3.external

Global Remote Until 8/22/2026 First posted May 12, 2025 Last posted May 12, 2025

Job description

It's fun to work in a company where people truly BELIEVE in what they're doing!

We're committed to bringing passion and customer focus to the business

1. 设计开发维护高性能、分布式爬虫系统，进行多平台多终端信息的抓取

2. 设计和实现高效的数据清洗和预处理方法，确保数据质量

3. 实施并优化多种反检测技术，确保数据采集的持续性和稳定性

4. 提升数据爬取效率，制定优化策略，解决海量存储与读取瓶颈

5. 与AI团队紧密合作，为AI模型提供高质量的训练数据

6. 推动大模型在爬虫场景的应用和落地

技术要求

1. 精通 Python 语言，熟悉多进程、多线程编程、协程编程

2. 熟悉常见的爬虫框架和工具，如Script-Redis、Pyppeteer、Playwright等，具备从0到1搭建爬虫生态系统能力

3. 熟练掌握TCP/IP、HTTP、HTTPS等网络协议，熟悉Web前端技术，包括JS/CSS/HTML

4. 具备大规模分布式爬虫系统设计和开发经验，能够解决分布式爬虫中的挑战和问题，如任务调度、数据同步和去重等

5. 熟悉数据库（如MySQL、Redis、Mongo等）及消息队列（Kafka/RabbitMQ）使用，能够优化数据存储和查询方案

6. 了解常见加密算法，能够分析和解决爬虫中的技术难题，如图片验证码、滑块验证、账号限制、IP封禁、JS加密等难点

7. 有AI大模型赋能爬虫实践经验优先

About this role

Summary

Design and maintain high-performance distributed web scraping systems.

Job title

资深爬虫工程师

Experience level

5+ years

Industry

software

Location requirements

Global remote work allowed

Salary

Not specified

Management role

Skills & keywords

Required skills

python多进程多线程爬虫框架TCP/IPHTTPHTTPSJSCSSHTML分布式爬虫MySQLRedisMongoKafkaRabbitMQ加密算法

Preferred skills

AI大模型

Specializations

爬虫数据清洗分布式系统AI网络协议

Locations

Structured locations inferred from the posting.

38C5+F57 - Dubai - United Arab Emirates

Remote City