php页面抓取数据 php获取其他网站的cookie
PHP怎样抓取网页代码中动态显示的数据
你是想抓别人网页上ajax动态载入的数据吧?
目前创新互联已为上千家的企业提供了网站建设、域名、虚拟主机、网站托管、企业网站设计、立山网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
1、要找到它的ajax载入的URL地址
2、利用PHP的file_get_contents($url)函数读取那个url地址。
3、对抓取到的内容进行分析或正则过滤。
phpstudy怎么抓取网页数据
什么网页数据?
是打开 本地网页还是打开网上网页
如果是本地网页的话 在浏览器上输入127.0.0.1或者localhost进行访问
如果是外网我理解的是你要获取外网的一个网页,可以用代码或者程序来实现
(一般称为采集程序,或者小偷程序)
//个人认为curl好一点,因为curl可以模拟浏览器,有的网站会过滤机器人
//1.php代码
//把网页读入一个字符串
$contone = file_get_contents('url');
print_r($contone);
//curl采集
#初始化curl (true/false)
$ch=curl_init();
#请求url地址
$params[CURLOPT_URL]='网址';
#是否返回响应头信息
$params[CURLOPT_HEADER] = true;
#是否将结果返回
$params[CURLOPT_RETURNTRANSFER] = true;
#是否重定向
$params[CURLOPT_FOLLOWLOCATION] = true;
#伪造浏览器
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
curl_setopt_array($ch, $params);
$content=curl_exec($ch);
//输出网页内容
print_r($content);
//下面是整个curl采集类
class Curl{
#采集的地址
public $url;
#匹配的正则
public $preg;
#模拟登录需要的用户名
public $username;
#模拟登录需要的密码;
public $pwd;
#cookie存储的路径
private $cookie_path;
#采集数据的字符集
public $charset;
/**
* 构造方法,初始化采集基本信息
* @param $url 采集的url
* @param $preg 匹配的正则
* @param string $username 用户名
* @param string $pwd 密码
* @param string $charset 字符集
*/
public function __construct($info){
extract($info);
$this-url=$url;
$this-preg=$preg;
if(isset($charset)){
header("content-type:text/html;charset=".$this-charset);
}else{
header("content-type:text/html;charset=utf-8");
}
if(isset($username)){
$this-username=$username;
}
if(isset($pwd)){
$this-pwd=$pwd;
}
}
/*
* 采集数据,非表单提交方式,直接采集的
*/
public function get_info(){
#初始化curl
$ch=curl_init();
#请求url地址
$params[CURLOPT_URL]=$this-url;
#是否返回响应头信息
$params[CURLOPT_HEADER] = true;
#是否将结果返回
$params[CURLOPT_RETURNTRANSFER] = true;
#是否重定向
$params[CURLOPT_FOLLOWLOCATION] = true;
#伪造浏览器
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
//判断是否有cookie,有的话直接使用
//if (isset($_COOKIE['cookie_jar']) ($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar']))){
// $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie
//} else {
// $cookie_jar = tempnam($this-cookie_path, 'cookie'); //产生一个cookie文件
// $params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息
// setcookie('cookie_jar', $cookie_jar); //保存cookie路径
//}
#开始发送请求,传入curl参数
curl_setopt_array($ch, $params);
$content=curl_exec($ch);
preg_match_all($this-preg,$content,$arr);
return $arr;
}
/**
* 采集远程图片
* @param $img 图片路径 是一个数组
* @param $save_path 图片保存在你本地的路径
* @return bool
*/
public function get_img($img,$save_path){
for($i=0;$icount($img);$i++) {
$res=@file_get_contents($img[$i]);
$img_type=substr($img[$i], strrpos($img[$i], "."));
$path=$save_path.time().rand(1,9999999).mt_rand() .$img_type;
$img[$i] = $path;
file_put_contents($path,$res);
}
return $img;
}
//登录后采集
public function register_info(){
//采集的信息需要先登录的就要先模拟登录
//设置cookie保存路径
$ch = curl_init();
//组装用户名和密码
$info['username'] = $this-username;
$info['password'] = $this-pwd;
//模拟表单提交
$params[CURLOPT_URL] = $this-url; //请求url地址
$params[CURLOPT_HEADER] = true; //是否返回响应头信息
$params[CURLOPT_RETURNTRANSFER] = true; //是否将结果返回
$params[CURLOPT_FOLLOWLOCATION] = true; //是否重定向
$params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
$postfields = '';
//将表单要提交的数据编程URL拼接方式
foreach ($info as $key = $value){
$postfields .= urlencode($key) . '=' . urlencode($value) . '';
}
$params[CURLOPT_POST] = true;
$params[CURLOPT_POSTFIELDS] = $postfields;
//判断是否有cookie,有的话直接使用
if (isset($_COOKIE['cookie_jar'])($_COOKIE['cookie_jar']||is_file($_COOKIE['cookie_jar']))){
$params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie
}else{
$cookie_jar = tempnam($this-cookie_path, 'cookie'); //产生一个cookie文件
$params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息
setcookie('cookie_jar', $cookie_jar); //保存cookie路径
}
curl_setopt_array($ch, $params); //传入curl参数
$content = curl_exec($ch); //执行
return $content;
}
}
怎么用phpquery抓取网页实时数据?使用CI框架
phpquery和框架并无关系,我现在也是用CI的
先将pq引入进来
$content = file_get_content('');
phpQuery::newDocumentHTML($content);
$containers = pq("xxxx");就可以了,但你要抓取这个网站数据,他数据是js加载的,所以你只需要
$content = file_get_content(';dataSet.nd=1440145968553dataSet.rows=100dataSet.page=1dataSet.sidx=dataSet.sord=asc');这个地址返回是json数据,你直接json_decode()就OK
php中想要抓取网页中某一段的数据的代码
?php
$url='abc.com/';
$data=get_file($url);
$pattern='你的内容正则表达式';
perg_match($pattern,$data,$match);
print_r($match);
function get_file($url)
{
$curl = curl_init($url);
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$data = curl_exec($curl);
return $data;
}
?
网页标题:php页面抓取数据 php获取其他网站的cookie
文章链接:http://myzitong.com/article/ddooesi.html