10月16日-佩恩-工作日志

  1. 早上开完会,对昨天锋哥找的关键词进行筛选,爬虫软件采集过程中出现输入验证码,建立采集任务时登录知乎账号就能完美解决。
  2. 下午和a组单独开会,到4楼去和杰瑞沟通仓库的电脑调试问题。咨询大数据据平台是否提供数据采集服务,还测试了谷歌爬虫插件和爬山虎采集器。之后小组成员开会,提出所遇到的问题,感觉收获满满。
  3. 剩余的时间汇总之前找资料数量,目前一共收集了197345份资料,关键词一共4500左右,知乎作者联系方式1500左右。
  4. 晚上4楼到激活电脑,和比利修理招聘信息的牌子。

明天计划:是解决无法连接上另外的3台电脑。测试新的采集知乎资料的网站。空余时间网上研究优秀大数据平台方案。测试新的爬虫程序。写读书心得

发表评论

电子邮件地址不会被公开。 必填项已用*标注