用PHP抓取淘宝商品的用户晒单评论+图片实例
为什么想起来做这个功能?是因为前段时间在做一个淘客网站的时候,想到是否能抓取到淘宝商品的买家秀呢?经过一番折腾发现,淘宝商品用户评价信息是通过Ajax来调取的,通过嗅探网址发现,评论数据的请求接口是:
https://rate.tmall.com/list_detail_rate.htm?itemId=524394294771&spuId=341564036&sellerId=100414600&order=3¤tPage=1&append=0&content=1&tagId=&posi=&picture=1&callback=jsonp2339
其实上面很多参数也很容易理解,itemId是商品的ID,currentPage是当前页,picture为1时显示有图的评价,既然是抓取买家秀,那么picture参数一定要为1了。
如果你直接去访问上面的接口时,会得到如下图所示的请求结果:
看到请求结果是jsonp格式我就蛋碎了,我不知道如何去解析,但是换种思路,直接用PHP的正则去解析也未尝不可嘛,通过尝试,已经正确的能够解析到评论内容和买家秀的图片内容,如图:
效果不错,代码实现了评论内容的抓取、买家秀图片的抓取,代码奉上:
<?php $url = "https://rate.tmall.com/list_detail_rate.htm?itemId=524394294771&spuId=341564036&sellerId=100414600&order=3¤tPage=1&append=0&content=1&tagId=&posi=&picture=1&callback=jsonp2339"; $ch2 = curl_init(); curl_setopt($ch2, CURLOPT_URL, $url); curl_setopt($ch2, CURLOPT_FOLLOWLOCATION, TRUE); curl_setopt($ch2, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt($ch2, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch2, CURLOPT_RETURNTRANSFER, TRUE); $texts = curl_exec($ch2); curl_close($ch2); //echo $texts;$pattern = '/"pics"(.+?)","reply"/is'; preg_match_all($pattern, $texts, $match); for($i=0;$i<count($match[0]);$i++){ $pattern2 = '/"rateContent":"(.+?)."reply"/is'; preg_match($pattern2, $match[0][$i], $matchcomments_only); echo "<p>".str_replace('","rateDate":"',' ',str_replace('","reply"','',str_replace('"rateContent":"','',$matchcomments_only[0])))."</p>"; $pattern3 = '/img.alicdn(.+?).jpg/is'; preg_match($pattern3, $match[0][$i], $matchpic_only); echo '<img src="http://'.$matchpic_only[0].'" width=120>'; } /*匹配一张图片 $pattern = '/"pics"(.+?)","position"/is'; preg_match_all($pattern, $texts, $matchpic); for($i=0;$i<count($matchpic[0]);$i++){ $pattern3 = '/img.alicdn(.+?).jpg/is'; preg_match($pattern3, $matchpic[0][$i], $matchpic_only); echo "<p>".$matchpic_only[0]."</p>"; }*//*匹配所有图片 $pattern = '/"pics"(.+?)","position"/is'; preg_match_all($pattern, $texts, $matchpic); for($i=0;$i<count($matchpic[0]);$i++){ $pics_str=str_replace('"pics":["//','',str_replace('"],"picsSmall":"","position"','',$matchpic[0][$i])); $arr = explode('","//',$pics_str); echo "<p>"; foreach($arr as $newstr){ echo '<img src=http://'.$newstr.' width=100 >'; } echo "</p>"; }*/?>
有什么解析jsonp格式的好方法呢?求大神~~~
原文http://www.cnblogs.com/codeit/p/5387185.html
======================
[经验分享]最新淘宝评论采集接口,可采到所有评论,有图有真相
作者: zhubajiebeixifu 发表于 2012-10-8 19:59 查看:8896 回复:15
本帖最后由 zhubajiebeixifu 于 2012-10-8 20:00 编辑
淘宝评论是一个需要接口采集的实例;
淘宝的复杂地方主要有:1.商品详情 2.商品评价,这2个信息都是通过查看源代码无法找到的,因为淘宝用了许多的脚本显示这些信息,对于这类权威网站,借助第3方工具分析出详情,评价的数据来源,是更加简单方便的策略,我借助了第3方工具,这就是抓包工具,可以快速的抓取到商品详情,评价的来源url,这2处地址是可以在源码找到的.
下面是1个示例采集过程:
示例商品地址:http://detail.tmall.com/item.htm?id=15609132273
进入商品页,打开抓包软件,然后点击评价详情选项,这样再看抓包软件抓取到了哪些有用的信息,能否找到评价数据来源
抓包结果:蓝色阴影区域是我找到的与评论相关的信息
评论数据第一页:
-
http://rate.taobao.com/detail_rate.htm?userNumId=361988210&auctionNumId=15609132273&showContent=1¤tPage=1&ismore=0&siteID=&t=1331601757286
这个url的主要部分是通过商品页源码可以找到的,具体位置,您可以找找看。
评论页主要参数:
userNumId=361988210----------------商品主人id吧
auctionNumId=15609132273-----------商品id
currentPage=1-----------分页页码
经过上面的数据,可以知道评论分页的基本格式了,接下来只要可以确定总页数,那么这个评论分页就可以解决了?
评论总页数的确定:、
路过知道源码中有总页数代码展示,就简化了些,但是总页数是没有的,总页数的确定可以通过总评论数确定,总页数=总评论数/20;
总评论数的确定:
评论总数,也是脚本控制的,
评论总数的调用地址示例:http://rate.taobao.com/auction_f ... _num_id=15609132273
由于评论分页是脚本控制的,所以这个要做下分页接口,根据上述分析,我做了淘宝的评论的分页接口,可以生成全部分页url供采集器识别,这样所有的评论数据就都可以采到了。
接口测试效果:
火车采集测试:
接口适用范围:所有淘宝的商品:普通商品 商城商品的评价都是适用的,示例中是对商城商品的分析测试
原文http://www.a5.net/thread-7122731-1-1.html