王老狗博客电话15858213085

烟台网站优化_烟台seo_烟台网络推广_烟台网站建设_王老狗博客电话15858213085

上一篇: 工具:由按键精灵想到的全自动淘宝客赚钱工具 下一篇:阿里云:试用wdcp+discuz漏洞记录.txt

用PHP抓取淘宝商品的用户晒单评论+图片实例

 

为什么想起来做这个功能?是因为前段时间在做一个淘客网站的时候,想到是否能抓取到淘宝商品的买家秀呢?经过一番折腾发现,淘宝商品用户评价信息是通过Ajax来调取的,通过嗅探网址发现,评论数据的请求接口是:

https://rate.tmall.com/list_detail_rate.htm?itemId=524394294771&spuId=341564036&sellerId=100414600&order=3&currentPage=1&append=0&content=1&tagId=&posi=&picture=1&callback=jsonp2339

其实上面很多参数也很容易理解,itemId是商品的ID,currentPage是当前页,picture为1时显示有图的评价,既然是抓取买家秀,那么picture参数一定要为1了。

如果你直接去访问上面的接口时,会得到如下图所示的请求结果:

看到请求结果是jsonp格式我就蛋碎了,我不知道如何去解析,但是换种思路,直接用PHP的正则去解析也未尝不可嘛,通过尝试,已经正确的能够解析到评论内容和买家秀的图片内容,如图:

效果不错,代码实现了评论内容的抓取、买家秀图片的抓取,代码奉上:

 

<?php $url = "https://rate.tmall.com/list_detail_rate.htm?itemId=524394294771&spuId=341564036&sellerId=100414600&order=3&currentPage=1&append=0&content=1&tagId=&posi=&picture=1&callback=jsonp2339"; $ch2 = curl_init(); curl_setopt($ch2, CURLOPT_URL, $url); curl_setopt($ch2, CURLOPT_FOLLOWLOCATION, TRUE); curl_setopt($ch2, CURLOPT_SSL_VERIFYHOST, FALSE); curl_setopt($ch2, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch2, CURLOPT_RETURNTRANSFER, TRUE); $texts = curl_exec($ch2); curl_close($ch2); //echo $texts;$pattern = '/"pics"(.+?)","reply"/is'; preg_match_all($pattern, $texts, $match); for($i=0;$i<count($match[0]);$i++){     $pattern2 = '/"rateContent":"(.+?)."reply"/is';     preg_match($pattern2, $match[0][$i], $matchcomments_only);     echo "<p>".str_replace('","rateDate":"',' ',str_replace('","reply"','',str_replace('"rateContent":"','',$matchcomments_only[0])))."</p>";      $pattern3 = '/img.alicdn(.+?).jpg/is';     preg_match($pattern3, $match[0][$i], $matchpic_only);     echo '<img src="http://'.$matchpic_only[0].'" width=120>'; }  /*匹配一张图片 $pattern = '/"pics"(.+?)","position"/is'; preg_match_all($pattern, $texts, $matchpic); for($i=0;$i<count($matchpic[0]);$i++){     $pattern3 = '/img.alicdn(.+?).jpg/is';     preg_match($pattern3, $matchpic[0][$i], $matchpic_only);     echo "<p>".$matchpic_only[0]."</p>"; }*//*匹配所有图片 $pattern = '/"pics"(.+?)","position"/is'; preg_match_all($pattern, $texts, $matchpic); for($i=0;$i<count($matchpic[0]);$i++){     $pics_str=str_replace('"pics":["//','',str_replace('"],"picsSmall":"","position"','',$matchpic[0][$i]));     $arr = explode('","//',$pics_str);     echo "<p>";     foreach($arr as $newstr){         echo '<img src=http://'.$newstr.' width=100 >';     }     echo "</p>"; }*/?>

有什么解析jsonp格式的好方法呢?求大神~~~

原文http://www.cnblogs.com/codeit/p/5387185.html

======================

[经验分享]最新淘宝评论采集接口,可采到所有评论,有图有真相

作者: zhubajiebeixifu   发表于 2012-10-8 19:59  查看:8896   回复:15

本帖最后由 zhubajiebeixifu 于 2012-10-8 20:00 编辑

淘宝评论是一个需要接口采集的实例;

淘宝的复杂地方主要有:1.商品详情 2.商品评价,这2个信息都是通过查看源代码无法找到的,因为淘宝用了许多的脚本显示这些信息,对于这类权威网站,借助第3方工具分析出详情,评价的数据来源,是更加简单方便的策略,我借助了第3方工具,这就是抓包工具,可以快速的抓取到商品详情,评价的来源url,这2处地址是可以在源码找到的.

下面是1个示例采集过程:

示例商品地址:http://detail.tmall.com/item.htm?id=15609132273

进入商品页,打开抓包软件,然后点击评价详情选项,这样再看抓包软件抓取到了哪些有用的信息,能否找到评价数据来源

抓包结果:蓝色阴影区域是我找到的与评论相关的信息

评论数据第一页:

  • http://rate.taobao.com/detail_rate.htm?userNumId=361988210&auctionNumId=15609132273&showContent=1¤tPage=1&ismore=0&siteID=&t=1331601757286

这个url的主要部分是通过商品页源码可以找到的,具体位置,您可以找找看。

评论页主要参数:

userNumId=361988210----------------商品主人id吧

auctionNumId=15609132273-----------商品id

currentPage=1-----------分页页码

经过上面的数据,可以知道评论分页的基本格式了,接下来只要可以确定总页数,那么这个评论分页就可以解决了?

评论总页数的确定:、

路过知道源码中有总页数代码展示,就简化了些,但是总页数是没有的,总页数的确定可以通过总评论数确定,总页数=总评论数/20;

总评论数的确定:

评论总数,也是脚本控制的,

评论总数的调用地址示例:http://rate.taobao.com/auction_f ... _num_id=15609132273

由于评论分页是脚本控制的,所以这个要做下分页接口,根据上述分析,我做了淘宝的评论的分页接口,可以生成全部分页url供采集器识别,这样所有的评论数据就都可以采到了。

接口测试效果:

火车采集测试:

接口适用范围:所有淘宝的商品:普通商品 商城商品的评价都是适用的,示例中是对商城商品的分析测试

原文http://www.a5.net/thread-7122731-1-1.html

 

点击这里获取该日志的TrackBack引用地址

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

关于本文

您正在阅读的是:代码:自动抓取淘宝图片和评论的别人的案例
kevin482 发表于:2016-11-18 17:7:48
分类:生活点滴
关键词:代码  

博客作者

王老狗博客电话15858213085

最近发表

最新评论及回复

最近留言

控制面板

Search

网站分类

文章归档

图标汇集

点击这里给我发消息

鲁ICP备09047409号-3