Day: December 18, 2019

1、需求 最近受人之托，帮忙用python开发程序实现爬取大连海事大学信箱的2000条数据（主题和意见建议）保存到excel中。 2、项目分析 首先，我们打开信箱列表链接http://oa.dlmu.edu.cn/echoWall/listEchoWall.do如图所示： 但是列表页中只有主题，获取意见建议必须进入到详情页面，当点击某一条时发现跳转到登录页面                     https://id.dlmu.edu.cn/cas/login，这就说明获取想要的数据必须登录之后才可以，如图所示： 我们打开chrome的开发者工具，填写好提前准备好的账户密码，点击登录，在开发者工具中查看登录的请求如下所示： 通过观察我们发现登录过程中除了输入的账户密码还有其他的几个参数，其中有几个参数为空，说明可以不用传。 接着往下看登录成功之后，直接跳转到详情页面： 通过观察我们可以看到在请求详情页面时候带有cookie，还有其他参数4个，经过测试我们发现只要带pkId这个参数就可以获取到详情页面，pkId可以在列表页中获取到。 至此，整个请求的过程我们已经分析完毕。…