本文实例讲述了php curl批处理实现可控并发异步操作。分享给大家供大家参考,具体如下:
通常情况下 PHP 中的 cURL 是阻塞运行的,就是说创建一个 cURL 请求以后必须等它执行成功或者超时才会执行下一个请求:API接口访问一般会首选CURL
在实际项目或者自己编写小工具(比如新闻聚合,商品价格监控,比价)的过程中, 通常需要从第3方网站或者API接口获取数据, 在需要处理1个URL队列时, 为了提高性能, 可以采用cURL提供的curl_multi_*
族函数实现简单的并发.
<"Y-m-d H:i:s") . ' <br>'; echo '<br>' . str_repeat("-", 100) . '<br>'; } $USER_COOKIE = (!empty($_REQUEST['cookie'])) "cookie.txt"); $curl = new Curl ("callback"); $data = array( array( 'url' => 'http://dyactive2.vip.xunlei.com/com_sign/"http://niu.xunlei.com/entergame/", CURLOPT_COOKIE => $USER_COOKIE, ) ), array( 'url' => 'http://dyactive2.vip.xunlei.com/com_sign/"http://niu.xunlei.com/entergame/", CURLOPT_COOKIE => $USER_COOKIE, ) ), array( 'url' => 'http://dyactive2.vip.xunlei.com/com_sign/"http://niu.xunlei.com/entergame/", CURLOPT_COOKIE => $USER_COOKIE, ) ), array( 'url' => 'http://dyactive2.vip.xunlei.com/com_sign/"http://niu.xunlei.com/entergame/", CURLOPT_COOKIE => $USER_COOKIE, ) ), array( 'url' => 'http://dyactive2.vip.xunlei.com/com_sign/"http://niu.xunlei.com/entergame/", CURLOPT_COOKIE => $USER_COOKIE, ) ), ); foreach ($data as $val) { $request = new Curl_request ($val ['url'], $val ['method'], $val ['post_data'], $val ['header'], $val ['options']); $curl->add($request); } $curl->execute(); echo $curl->display_errors();
使用下来效果很好,没有副作用,并发数可控,应用之处多多,自己发挥想象吧
<"GET", null, $headers, $options ); } /** * 创建一个POST请求对象 * @access public * @param string $url * @param string $post_data * @param string $headers * @param array $options * @return boolean */ public function post($url, $post_data = null, $headers = null, $options = null) { return $this->request ( $url, "POST", $post_data, $headers, $options ); } /** * 执行cURL * @access public * @param int $size 最大连接数 * @return Ambigous <boolean, mixed>|boolean */ public function execute($size = null) { if (sizeof ( $this->requests ) == 1) { return $this->single_curl (); } else { return $this->rolling_curl ( $size ); } } /** * 单个url请求 * @access private * @return mixed|boolean */ private function single_curl() { $ch = curl_init (); $request = array_shift ( $this->requests ); $options = $this->get_options ( $request ); curl_setopt_array ( $ch, $options ); $output = curl_exec ( $ch ); $info = curl_getinfo ( $ch ); // it's not neccesary to set a callback for one-off requests if ($this->callback) { $callback = $this->callback; if (is_callable ( $this->callback )) { call_user_func ( $callback, $output, $info, $request ); } } else return $output; return true; } /** * 多个url请求 * @access private * @param int $size 最大连接数 * @return boolean */ private function rolling_curl($size = null) { if ($size) $this->size = $size; else $this->size = count($this->requests); if (sizeof ( $this->requests ) < $this->size) $this->size = sizeof ( $this->requests ); if ($this->size < 2) $this->set_error ( 'size must be greater than 1' ); $master = curl_multi_init (); //添加cURL连接资源句柄到map索引 for($i = 0; $i < $this->size; $i ++) { $ch = curl_init (); $options = $this->get_options ( $this->requests [$i] ); curl_setopt_array ( $ch, $options ); curl_multi_add_handle ( $master, $ch ); $key = ( string ) $ch; $this->request_map [$key] = $i; } $active = $done = null; do { while ( ($execrun = curl_multi_exec ( $master, $active )) == CURLM_CALL_MULTI_PERFORM ) ; if ($execrun != CURLM_OK) break; //有一个请求完成则回调 while ( $done = curl_multi_info_read ( $master ) ) { //$done 完成的请求句柄 $info = curl_getinfo ( $done ['handle'] );// $output = curl_multi_getcontent ( $done ['handle'] );// $error = curl_error ( $done ['handle'] );// $this->set_error ( $error ); //调用回调函数,如果存在的话 $callback = $this->callback; if (is_callable ( $callback )) { $key = ( string ) $done ['handle']; $request = $this->requests [$this->request_map [$key]]; unset ( $this->request_map [$key] ); call_user_func ( $callback, $output, $info, $error, $request ); } curl_close ( $done ['handle'] ); //从列队中移除已经完成的request curl_multi_remove_handle ( $master, $done ['handle'] ); } //等待所有cURL批处理中的活动连接 if ($active) curl_multi_select ( $master, $this->timeout ); } while ( $active ); //完成关闭 curl_multi_close ( $master ); return true; } /** * 获取没得请求对象的cURL配置 * @access private * @param object $request * @return array */ private function get_options($request) { $options = $this->__get ( 'options' ); if (ini_get ( 'safe_mode' ) == 'Off' || ! ini_get ( 'safe_mode' )) { $options [CURLOPT_FOLLOWLOCATION] = 1; $options [CURLOPT_MAXREDIRS] = 5; } $headers = $this->__get ( 'headers' ); if ($request->options) { $options = $request->options + $options; } $options [CURLOPT_URL] = $request->url; if ($request->post_data && strtolower($request->method) == 'post' ) { $options [CURLOPT_POST] = 1; $options [CURLOPT_POSTFIELDS] = $request->post_data; } if ($headers) { $options [CURLOPT_HEADER] = 0; $options [CURLOPT_HTTPHEADER] = $headers; } return $options; } /** * 设置错误信息 * @access public * @param string $msg */ public function set_error($msg) { if (! empty ( $msg )) $this->errors [] = $msg; } /** * 获取错误信息 * @access public * @param string $open * @param string $close * @return string */ public function display_errors($open = '<p>', $close = '</p>') { $str = ''; foreach ( $this->errors as $val ) { $str .= $open . $val . $close; } return $str; } /** * @access public * @param string $name * @param string $value * @return boolean */ public function __set($name, $value) { if ($name == 'options' || $name == 'headers') { $this->{$name} = $value + $this->{$name}; } else { $this->{$name} = $value; } return TRUE; } /** * * @param string $name * @return mixed * @access public */ public function __get($name) { return (isset ( $this->{$name} )) "_blank" href="https://www.jb51.net/Special/66.htm">php curl用法总结》、《PHP网络编程技巧总结》、《PHP数组(Array)操作技巧大全》、《php字符串(string)用法总结》、《PHP数据结构与算法教程》、《php程序设计算法总结》、《PHP运算与运算符用法总结》及《php常见数据库操作技巧汇总》希望本文所述对大家PHP程序设计有所帮助。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
狼山资源网 Copyright www.pvsay.com
暂无“php curl批处理实现可控并发异步操作示例”评论...
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?