周戈楠

又一个WordPress站点

jeep男装价格原生实现简单爬虫:了解网络爬虫原理 Golang-量化金融科技前沿

原生实现简单爬虫:了解网络爬虫原理 Golang-量化金融科技前沿
转载自公众号【GitChat精品课】
本文来自作者Master在GitChat上分享 「Golang 原生实现简单爬虫」
探索技术的路上本应该自己造轮子,即使市面上有再多的选择,自己动手尝试也是必要的。
第一次尝试必然会问题众多,但你解决它是一件很有成就感的事情末世基因锁,这样才能带给你更大的进步和更深刻的领悟龚露。
如果感兴趣的不妨一起来实现一下这个简单的爬虫。
其实用 Golang 实现爬虫是很简单是事情,但也分情况,我们这次的文章就分享一种最简单的爬虫实现方式,用到的官方库如下:
import ( "fmt" "io" "io/ioutil" "net/http" "os" "regexp" "strconv" "strings" "time")
如果你能单单通过这些库就想到该怎么做了,那你就很棒棒了。
为了让程序能一直运行下去,我们首先要有一个源网页,然后不断爬抓记录新的链接,记录的手段有很多。
比如存在数据库、通过 Redis 缓存、存在文本文件,最简单的应该就是存在数据库了,这个看你们的技术偏向了。我打算把爬来的链接储存在文本文件里。
首先,了解自己爬抓的目标,我准备爬取所有的 Golang 相关答疑或者文章,然后翻来覆去很多网站都感觉不适合做源网址,然后灵机一动,百度一下:

然后就用这样作为源网址吧:
http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230
有了源网址,那下面的事情只要捋顺就好办了。首先我们为了抓取到链接,需要一个正则表达式:
var ( regHref = `((ht|f)tps?)://[w]{0,3}.baidu.com/link?[a-zA-z=0-9-s]*` )
因为这个正则表达式我们后面可能会复用,所以可以存到一个全局变量里。
一个爬虫如果不限制分秒爬抓次数,那你的网络肯定会受不了jeep男装价格,如果电脑配置不行的话,电脑也会挂掉,所以我们需要写一个计时器,Golang 已经提供了计时器的包 => time:
func Timer() { t := time.NewTimer(time.Second * 1) <-t.C fmt.Print(" 执行爬抓 ") Timer()}
为什么要写在一个 Timer 函数里?当然是用来调用的。
因为我们存在两种情况,第一次爬取或不是第一次爬取的情况是做不同操作的。
那要怎么判断呢?
因为我们的链接是储存在 txt 文件里的,所以我们只需要去查 txt 文件是不是为空,如果为空就认为他是第一次执行程序,先访问源网址,否则就按照文件里的链接依次访问。
代码如下:
func main() { if checkFile("./data/", "url.txt").Size() == 0 { fistStart() main() } else { Timer() }}
那我们先看一下 firstStart() 函数,稍后再解释代码:
func fistStart() { var num int url := "http://www.baidu.com/s孙佳云 ?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230" resp, _ := http.Get(url) defer resp.Body.Close() body, _ := ioutil.ReadAll(resp.Body) reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link?[a-zA-z=0-9-s]*`) f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666) defer f.Close() for _, d := range reg.FindAllString(string(body), -1) { ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666) file, _ := ioutil.ReadAll(ff) dd := strings.Split(d, "") dddd := "" for _, ddd := range dd {if ddd == "?" { ddd = `卢小彧 ?`}dddd += ddd } if checkRegexp(string(file), dddd, 0).(string) == "" {io.WriteString(f, d+" ")fmt.Print(" 收集地址:" + d + " ")num++ } // fmt.Print(string(file)) ff.Close() } fmt.Print(" 首次收集网络地址:" + strconv.Itoa(len(reg.FindAllString(string(body), -1))) + " ") fmt.Print(" 去重后网络地址数:" + strconv.Itoa(num)) fmt.Print(" 首次储存成功! ")}
其实很简单,就是发起一个 get 请求,然后你会获取到 byte[] 类型的数据,转换成 string 类型之后,就是网页的代码了。
分解一下(了解原理的跳过这段):
url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230"resp, _ := http.Get(url)defer resp.Body.Close()body, _ := ioutil.ReadAll(resp.Body)reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link?[a-zA-z=0-9-s]*`)f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)defer f.Close()
这段主要是发起一个 get 网络请求,然后把请求到的 byte 数据转成 stirng 类型的数据,跳过正则获取匹配链接获取一个链接数组(不过分赘述,如果还不懂 http 请求可以另寻百度)。
for _, d := range reg.FindAllString(string(body), -1) { ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666) file, _ := ioutil.ReadAll(ff) dd := strings.Split(d, "") dddd := "" for _, ddd := range dd { if ddd == "?" {ddd = `?田宸羽` } dddd += ddd } if checkRegexp(string(file), dddd, 0).(string) == "" { io.WriteString(f, d+" ") fmt.Print(" 收集地址:" + d + " ") num++ } // fmt.Print(string(file)) ff.Close()}
通过循环数组,首先对链接里的特殊符号做特出处理,然后通过 checkRegexp 函数做查重,就是防止有多个重复链接记录导致浪费资源,最后存入 txt 文件。
checkRegexp 函数:
func checkRegexp(cont string, reg string, style int) (result interface{}) { check := regexp.MustCompile(reg) switch style { case 0: result = check.FindString(cont) case 1: result = check.FindAllString(cont, -1) default: result = check.FindAll([]byte(cont), -1) } return}
这里,程序的首次执行已经完成,并可以成功记录爬取的链接了秋梦痕。程序执行如下:

程序首次执行成功后,我们已经成功获取了源页面所提供的链接地址。下面我们自然要做的就是通过计时器来爬抓链接列表里的地址。


下一步就是要通过地址列表里的地址逐一爬抓,去掉已经爬抓过的练级,并记录新的有效链接到地址列表里。
再看一下我们的main函数:
func main() { if checkFile("./data/", "url.txt").Size() == 0 { fistStart() main() } else { Timer() }}
上面的 firstStart 函数(首次执行爬抓)已经执行过了,那就会重新调用 main 函数,也就是在执行一次判断,但是因为我们的 url.txt 里已经有 12 条 Url 地址,所以这次会执行 Timer 函数。
Timer 函数里我们写了一个计时器,防止程序崩溃或者网络崩溃,所以我这里设置了 1 秒执行一次,其实没有必要这样,一秒钟执行 3-8 次也是没什么大问题的(本地情况下),如果放在服务器上,那你得看一下自己的服务器配置和带宽配置酌情考虑了。
看一下 Timer 函数吧:
func Timer() { t := time.NewTimer(time.Second * 1) <-t.C fmt.Print(" 执行爬抓 ") f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666) file, _ := ioutil.ReadAll(f) pageCont, _ := pageVisit(strings.Split(string(file), " ")[0]) if checkRegexp(checkRegexp(pageCont姚同山, regTitle, 0).(string), regCheckTitle, 0).(string) 斯卡堡集市!= "" { fmt.Print(checkRegexp(checkRegexp(pageCont魔焰长剑, regTitle, 0).(string), regCheckTitle, 0).(string)) fmt.Print(" 有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string)) } fmt.Print(" 待爬抓网址共" + strconv.Itoa(len(strings.Split(string(file), " "))-1) + "个 => " + strings.Split(string(file), " ")[0] + " ") DelFirstText("./data/url.txt") Timer()}
emm…毫不夸张的表示我看自己的代码都有点吃力。
上面的代码创建了一个计时器,时间为一秒。刚开始肯定是先要打开 url.txt 文件,因为是要做删除和添加操作的,所以打开的模式是读写追加。
[plain] view plain copypageCont, _ := pageVisit(strings.Split(string(file), " ")[0])
这一句就是获取 url.txt 里的第一条链接地址,我们要先判断一下这个链接内容是不是我们想要的,所以我又用到了之前封装的一个正则检查的函数。
checkRegexp 函数:
func checkRegexp(cont string, reg string, style int) (result interface{}) { check := regexp.MustCompile(reg) switch style { case 0: result = check.FindString(cont) case 1: result = check.FindAllString(cont, -1) default: result = check.FindAll([]byte(cont)马国相 , -1) } return}
所用到的正则 => regTitle、regCheckTitle
var ( // regHref = `((ht|f)tps?)://[w]{0,3}.baidu.com/link?[a-zA-z=0-9-s]*` regTitle= `<title[sa-zA-z="-]*>([^x00-xff]|[sa-zA-Z=-:|,?"])*</title>` regCheckTitle = `(为什么|怎么)*.*([G|g][O|o][L|l][A|a][N|n][G|g]).*(怎么|实现|如何|为什么).*`)
regTitle 是为了在代码中匹配真标题,因为有些网站为了防止爬虫朋薇 ,做了一些假标题以混淆视听,但是这些小伎俩还是很容易解决的,这个 regTitle 足以屏蔽掉 70% 的假标题。
反正爬虫就是要和各大网站斗智斗勇。
regCheckTitle 是为了过滤出这个网址是不是我想要的内容,所以我简单的写了一串正则。
这串正则的意思主要是标题要带有为什么、怎么等关键词,然后标题必须有 Golang 或者 Go 的存在,这样的内容基本上是我想要的了。
判断的代码段:
if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" { fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string)) fmt.Print(" 有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string))}
如果匹配不到,那就跳过这一条链接咯,反正不是我想要的~
DelFirstText("./data/url.txt")[plain] view plain copy func DelFirstText(file string) { var text = "" f, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE, 0666) files, _ := ioutil.ReadAll(f) var ss = strings.Split(string(files), " ") for i := 1; i < len(ss)-1; i++ { text += ss[i] + " " } defer f.Close() ioutil.WriteFile(file, []byte(text), 0666) fmt.Print(" 删除该地址 => " + ss[0])}
这一段就是说删掉这一条链接地址,如果没有有一段,你的爬虫将不厌其烦的去爬抓第一条链接地址,能一直爬到你的 IP 被服务器安全程序处理掉。
应该有人发现,然后呢?怎么没有把东西入库,怎么没有抓取新的链接。
emm…最近有点忙,这一段还没写,不过这些内容已经把爬虫的基本原理都给讲掉了死神千刃,其实很简单对不对晓星孤屿 ,就是发起 http 请求,然后通过正则匹配出自己想要的内容,再做后续的入库或者注入新鲜链接地址,让程序一直运行下去就好了。
运行一下:

嗯,就这样,有效内容就过滤出来了。
然后如果想要把文章内容提取出来,只需要一个很简单的正则就可以了,这里的处理步骤其实可以写一个单独的函数来调用。但博主现在还没有写,可能会在第三篇写上,如果访问量破2k的话大笑
为了防止有些地方细节代码没有贴上,我把 main.go 的代码贴一下吧,也可以进文章底部的链接下载整个程序的代码实例。
别跑,文章精髓内容在底部的总结,可以往下翻翻看一下。
main.go:
package mainimport ( "fmt" "io" "io/ioutil" "net/http" "os" "regexp" "strconv" "strings" "time")var ( // regHref = `((ht|f)tps?)://[w]{0天黑黑钢琴谱,3}.baidu.com/link?[a-zA-z=0-9-s]*` regTitle= `<title[sa-zA-z="-]*>([^x00-xff]|[sa-zA-Z=-:|,?"])*</title>` regCheckTitle = `(为什么|怎么)*.*([G|g][O|o][L|l][A|a][N|n][G|g]).*(怎么|实现|如何|为什么).*`)func main() { if checkFile("./data/", "url.txt").Size() == 0 { fistStart() main() } else { Timer() }}func Timer() { t := time.NewTimer(time.Second * 1) <-t.C fmt.Print(" 执行爬抓 ") f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666) file, _ := ioutil.ReadAll(f) pageCont, _ := pageVisit(strings.Split(string(file), " ")[0]) if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" { fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string)) fmt.Print(" 有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string)) } fmt.Print(" 待爬抓网址共" + strconv.Itoa(len(strings.Split(string(file), " "))-1) + "个 => " + strings.Split(string(file), " ")[0] + " ") DelFirstText("./data/url.txt") Timer()}func fistStart() { var num int url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230" resp, _ := http.Get(url) defer resp.Body.Close() body, _ := ioutil.ReadAll(resp.Body) reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link?[a-zA-z=0-9-s]*`) f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666) defer f.Close() for _, d := range reg.FindAllString(string(body), -1) { ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666) file, _ := ioutil.ReadAll(ff) dd := strings.Split(d, "") dddd := "" for _, ddd := range dd {if ddd == "?" { ddd = `?`}dddd += ddd } if checkRegexp(string(file), dddd, 0).(string) == "" {io.WriteString(f, d+" ")fmt.Print(" 收集地址:" + d + " ")num++ } // fmt.Print(string(file)) ff.Close() } fmt.Print(" 首次收集网络地址:" + strconv.Itoa(len(reg.FindAllString(string(body), -1))) + " ") fmt.Print(" 去重后网络地址数:" + strconv.Itoa(num)) fmt.Print(" 首次储存成功! ")}func pageVisit(url string) (page string, body []byte) { resp, _ := http.Get(url) defer resp.Body.Close() body, _ = ioutil.ReadAll(resp.Body) page = string(body) return}func checkFile(dir string, file string) os.FileInfo { list, _ := ioutil.ReadDir(dir) for _, info := range list { if info.Name() == file {return info } } return list[0]}func saveFile(file string, cont string) { f, _ := os.OpenFile(file, os.O_RDWR|os.O_APPEND|os.O_CREATE, 0666) defer f.Close() io.WriteString(f, cont)}func checkRegexp(cont string, reg string, style int) (result interface{}) { check := regexp.MustCompile(reg) switch style { case 0: result = check.FindString(cont) case 1: result = check.FindAllString(cont, -1) default: result = check.FindAll([]byte(cont), -1) } return}func DelFirstText(file string) { var text = "" f, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE, 0666) files, _ := ioutil.ReadAll(f) var ss = strings.Split(string(files), " ") for i := 1; i < len(ss)-1; i++ { text += ss[i] + " " } defer f.Close() ioutil.WriteFile(file, []byte(text), 0666) fmt.Print(" 删除该地址 => " + ss[0])}
附代码实例:
https://download.csdn.net/download/superwebmaster/10415730
最后总结:
其实爬虫的基本原理的很简单的,步骤总的分为以下几步:
爬虫目标,没有一个目标的爬虫是没有灵魂的爬虫
自定一个源页面,也就是爬虫入口,用于获取更多资源链接
发送 http 请求,获取页面内容
过滤无效内容,防止浪费资源
解析页面,匹配出自己想要的内容
将匹配出来的有效内容入库储存
注入新鲜血液(新的链接)让程序不断执行下去
这是一个最基本的爬虫功能,如果想要拓展下去,其实还有很多的玩法。深入下去你也会发现更多的问题。
因为有些网站为了防爬虫,特地把数据请求留给 Ajax,所以你爬到的页面可能是完全没有内容的,这时候,你就需要和目标网站斗智斗勇,毕竟上有政策,下有对策,办法总比困难多的。
爬虫的原理岑范 ,基本上已经解释清楚了,代码的逻辑是相通的,只要理解了原理,用任何编程语言实现起来其实都是可以的。