基于go语言编写的简单api爬虫

基于go语言编写的简单api爬虫

起因是朋友月底要离职了,然后待的公司在系统里还有一些资料,想下载下来。手动一条一条下载太麻烦了,所以就找我帮忙看能不能用更科学的方法下载这些资料。

其实说是爬虫,不如说是一个自动采集下载的工具,其中,并没有实现分析网页源数据的功能,只是单纯的下载“公开”的数据。

对golang POST请求的封装

对golang POST请求的封装

写在前面

记录一下对golang自带的net/httpPOST请求的封装。此处使用的常规表单模拟的方法,可以传入文件与表单项,使用上更方便一些。这里仅提供一个思路及表单构造的一些方法,更多的使用说明应该参考官方文档。当然,你也可以修改为更适合你自己的方法。

注意: 此处并没有提供上下文的支持,如果需要,应当自行修改。

aws-go-sdk并发分片上传封装

目前的话,aws 官方的go sdk只提供了分片的操作方法,具体的实现还得自己去组合方法,网上能够找到很多相关的例子,但是我觉得都不太性能或者太复杂,这里我只是对分片上传包装了一下,上传是异步的,如果需要同步可以自己拆分一下


:D 一言句子获取中...