基于go语言编写的简单api爬虫
起因是朋友月底要离职了,然后待的公司在系统里还有一些资料,想下载下来。手动一条一条下载太麻烦了,所以就找我帮忙看能不能用更科学的方法下载这些资料。
其实说是爬虫,不如说是一个自动采集下载的工具,其中,并没有实现分析网页源数据的功能,只是单纯的下载“公开”的数据。
起因是朋友月底要离职了,然后待的公司在系统里还有一些资料,想下载下来。手动一条一条下载太麻烦了,所以就找我帮忙看能不能用更科学的方法下载这些资料。
其实说是爬虫,不如说是一个自动采集下载的工具,其中,并没有实现分析网页源数据的功能,只是单纯的下载“公开”的数据。
目前的话,aws 官方的go sdk只提供了分片的操作方法,具体的实现还得自己去组合方法,网上能够找到很多相关的例子,但是我觉得都不太
性能
或者太复杂,这里我只是对分片上传包装了一下,上传是异步的,如果需要同步可以自己拆分一下
今日
get
,golang
的跨平台编译