设计合理即可，实现思路：使用bfs算法进行网站爬取；使用master节点作为控制节点控制work 节点进行网站爬取；使用分布式队列做任务调度；使用key-value存储（如redis)做网页判重