主题:【求助】求能自动抓取网站内容的软件 -- 渡泸
有一个网站有几年的产品价格数据,不过网页上一次只显示几天的数据。为了得到所有的数据,我只好用crtl+C和crtl+v 每一页都翻一遍,拷进Excel里面。一个产品的数据得搞一个上午。以前好像听说有一种软件能把网站的内容全部抓下来。哪位大牛能给指点一下?非常感谢!!
所以一般都是专门定制的软件。
其实就是一个小脚本。如果你有很多很多产品,找人做个还是值得的。
老虎手真快,花谢!
我记得还是在电话拨号上网时代,因为上网费很贵,所以流行一种软件,一次能把网站上所有的网页全部下载下来。用户在断网后继续浏览网站,能省不少上网费。不知道现在还有没有那种软件。
我过去一直用的teleport pro,网上应该能找到很多“免费的”
http://www.tenmax.com/teleport/pro/home.htm
如果要获得内容还自动变成excel的什么,那就要自己写脚本了,比如python什么的。
上猪八戒威客网找人帮忙
网页抓下来的。给别人的网站“搬家”,这玩意可是无往不利……
不过那个只能抓网页转到excel这类的还是像[不是老陈]说的,要自己写脚本。
不知道能不能指点一下一般这种任务大概要多少钱?
的确,我的目的不是抓网站内容,而是转换成Excel。看来还得手工搞了。
老铁送宝:
送花成功,可取消。有效送花赞扬。感谢:作者获得通宝一枚。
参数变化,作者,声望:1;铢钱:16。你,乐善:1;铢钱:-1。本帖花:1
俺马上去看看。不厚道地希望天朝永保劳密产业的青春,嘿嘿
之前我用过离线浏览软件把网站的数据下载到本地上, 忘记名字了, 似乎是Teleport之类的, 不知道这个现在还能不能用。
另外, snagit 抓屏转成txt文本,好像是Tab分割的, 拷到excel应该能识别。你只需要微调吧。
我最近刚帮别人做了一个抓取网站内容的小程序,是用ruby+firewatir完成的。你可以试试,还是很方便的,可以非常自由的定制自己想要的内容。