PHP в SouthPark » Компоненты http://php.southpark.com.ua Хитрости и секреты CakePHP Mon, 07 Jun 2010 09:41:42 +0000 http://wordpress.org/?v=2.9.2 en hourly 1 Определение языка и кодировки. Компонент для CakePHP http://php.southpark.com.ua/2007/language-detection/ http://php.southpark.com.ua/2007/language-detection/#comments Mon, 03 Dec 2007 21:37:14 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/12/03/language-detection/ Для моего текущего проекта необходимо определять на каком языке пользователь вводит информацию. Причём это не сложный выбор между PHP и Perl, а, например, между английским и испанским. Сначала я хотел составить список самых распространённых слов в популярных языках - предлоги, частые глаголы и т.д. Почти сразу я понял, что точность будет небольшая, а работы - очень много, даже, если её буду делать не я :) .
Поэтому пришлось думать дальше. Мне больше всего понравился способ, в котором учитывается частотность букв, двух-, трёх- и четырёхбуквенных сочетаний.

Сначала система обучается - ей скармливается много текста и указывается, какой это язык. Она разбирает их на части и запоминает наиболее часто встречаемые как эталонные для этого языка.

Потом берётся текст с неизвестным языком и определяются наиболее часто встречаемые части в нём. Эти части сравниваются с эталонными и на основе этого определяется вероятность каждого из языков.

Я взял за основу код с http://boxoffice.ch/pseudo/ng.php, удалил лишнее, немного оптимизировал алгоритм и сделал код красивый и подходящий для CakePHP.

Определим язык для текста

plain text
PHP:
  1. $language = $this->LangDetect->detect('Учи олбанский и убей сибя ап стену.');

Не каждый человек сможет понять, что это за язык :) . А компонент понял - russian-utf8.
Кстати, сразу видно бонус - определяется кодировка. Для русского поддерживаются ISO, KOI8-R, UTF-8, Windows-1251.

Если надо определить несколько наиболее вероятных языков, то надо указать второй параметр true.

plain text
PHP:
  1. $language = $this->LangDetect->detect('Учи олбанский и убей сибя ап стену.', true);

Это выдаст:

plain text
PHP:
  2. (
  3.     [russian-utf8] => 30366
  4.     [bulgarian-utf8] => 31619
  5.     [ukrainian-utf8] => 33273
  6.     [serbian_cyrillic-utf8] => 33878
  7.     [belarusian-utf8] => 35596
  8. ...

Чем меньше значение, тем более вероятно, что это тот язык.

Полный список поддерживаемых языков (можно получить с помощью $this->LangDetect->listLanguages()):
afrikaans, albanian, alemannic, amharic-utf8, arabic-iso8859_6, arabic-utf8, arabic-windows1256, armenian, armenian-utf8, basque, belarusian-utf8, belarusian-windows1251, bosnian, breton, bulgarian-iso8859_5, bulgarian-utf8, catalan, chinese-big5, chinese-gb2312, chinese-utf8, croatian-ascii, czech-iso8859_2, czech-utf8, danish, dutch, english, esperanto, estonian, finnish, french, frisian, georgian, georgian-utf8, german, greek-iso8859_7, greek-utf8, hawaian, hebrew-iso8859_8, hebrew-utf8, hindi, hindi-utf8, hungarian, icelandic, indonesian, irish_gaelic, italian, japanese-euc_jp, japanese-shift_jis, japanese-utf8, korean, korean-utf8, latin, latvian, lithuanian, malay, manx, marathi, marathi-utf8, middlefrisian, mingo_iroquois, nepali, nepali-utf8, norwegian, persian, persian_farsi-utf8, persian_farsi-windows1256, polish-iso8859_2, polish-utf8, portuguese_brazil, portuguese_europe, quechua, romanian, rumantsch, russian-iso8859_5, russian-koi8_r, russian-utf8, russian-windows1251, sanskrit, scots, scots_gaelic, serbian-ascii, serbian_cyrillic-utf8, slovak-ascii, slovak-utf8, slovak-windows1250, slovenian-ascii, slovenian-iso8859_2, spanish, swahili, swedish, tagalog, tamil, tamil-utf8, thai, thai-utf8, turkish, turkish-utf8, ukrainian-koi8_u, ukrainian-utf8, vietnamese, welsh, yiddish-utf8

Чтобы компонент заработал, нужно скачать скомпилированную информацию о языках и положить этот fingerprint.dat в app/vendors.

А вот и сам компонент:

plain text
PHP:
  1. <?php
  2.  
  3. /**
  4. * Language detection component
  5. *
  6. * Most of code was copied from http://boxoffice.ch/pseudo/code_expl/code_class.php
  7. * but a lot of things were simplified and beautified
  8. *
  9. * @link http://php.southpark.com.ua
  10. * @author Vladimir Luchaninov
  11. * @version 1.0 (3 Dec 2007)
  12. *
  13. */
  14. class LangDetectComponent {
  15.     protected $fingerprint = null;
  16.     protected $ngrams = array();
  17.  
  18.     //reasonable defaults
  19.     public $ngramCount = 350;     //default nb of ngrams created from analyzed text
  20.     public $maxDelta = 140000;    //stop evaluation deviate strongly
  21.  
  22.     function startup(&$controller) {
  23.         $this->fingerprint = unserialize(file_get_contents(APP . 'vendors' . DS . 'fingerprint.dat'));
  24.     }
  25.  
  26.     /**
  27.      * Main function
  28.      *
  29.      * @param string $text Text with unknown language
  30.      * @param bool $onlyBest
  31.      *   true - detect the best language
  32.      *   false - detect all languages with possibilities
  33.      * @return LangDetect
  34.      */
  35.     function detect($text, $onlyBest = true) {
  36.         if (empty($text)) {
  37.             trigger_error('Text should not be empty');
  38.             return false;
  39.         }
  40.  
  41.         $this->createNGrams($text);
  42.  
  43.         if ($onlyBest){
  44.             return $this->compareNGramsOne();
  45.         } else {
  46.             return $this->compareNGrams();
  47.         }
  48.     }
  49.  
  50.     /**
  51.      * Get list of the available languages
  52.      *
  53.      * @return array List of languages
  54.      */
  55.     function listLanguages() {
  56.         $languages = array_keys($this->fingerprint);
  57.         sort($languages);
  58.         return $languages;
  59.     }
  60.  
  61.     /**
  62.      * Create ngram-array of given string
  63.      *
  64.      * @param string $text
  65.      *
  66.      */
  67.     protected function createNGrams($text) {
  68.         $array_words = explode(" ", $text);
  69.         $ngrams = array();
  70.         foreach($array_words as $word) {
  71.             $word = "_". $word . "_";
  72.             $wordLength = strlen($word);
  73.             for ($i=0; $i <$wordLength; $i++) { //start position within word
  74.                 for ($s=1; $s <4+1; $s++) {  //length of ngram
  75.                     if (($i + $s) <$wordLength + 1) { //length depends on postion
  76.                         $ngrams[] = substr($word, $i, $s);
  77.                     }
  78.                 }
  79.             }
  80.         }
  81.  
  82.         //count-> value(frequency, int)... key(ngram, string)
  83.         $blub = array_count_values($ngrams);
  84.  
  85.         //sort array by value(frequency) desc
  86.         arsort($blub);
  87.  
  88.         //use only top frequent ngrams (def by $ng_number)
  89.         $top = array_slice($blub, 0, $this->ngramCount);
  90.  
  91.         $this->ngrams = array();
  92.         foreach ($top as $keyvar => $valvar){
  93.             $this->ngrams[] = $keyvar;
  94.         }
  95.     }
  96.  
  97.     /**
  98.      * Compare ngrams: Textinput vs lm-files.
  99.      *
  100.      * @return array of languages with lowest deviation
  101.      */
  102.     protected function compareNGrams() {
  103.         $limit = $this->maxDelta;
  104.         foreach ($this->fingerprint as $basename => $language) {
  105.             $delta = 0;
  106.             //compare each ngram of input text to current lm-array
  107.             foreach ($this->ngrams as $key => $ngram){
  108.                 //match
  109.                 if(in_array($ngram, $language)) {
  110.                     $delta += abs($key - array_search($ngram, $language));
  111.                     //no match
  112.                 } else {
  113.                     $delta += 400;
  114.                 }
  115.                 //abort: this language already differs too much
  116.                 if ($delta> $this->maxDelta) {
  117.                     break;
  118.                 }
  119.             } // End comparison with current language
  120.  
  121.             //include only non-aborted languages in result array
  122.             if ($delta <($this->maxDelta)-400) {
  123.                 $result[$basename] = $delta;
  124.             }
  125.         } //End comparison all languages
  126.  
  127.         if(!isset($result)) {
  128.             $result = array('unknown'=>0);
  129.         } else {
  130.             asort($result);
  131.         }
  132.  
  133.         return $result;
  134.     }
  135.  
  136.     /**
  137.      * Variation - COMPARE ng's - Return 1 LANGUAGE only
  138.      *
  139.      * @return string Most probable language
  140.      */
  141.     protected function compareNGramsOne() {
  142.         $limit = 160000;
  143.         foreach ($this->fingerprint as $basename => $language) {
  144.             $delta = 0;
  145.             foreach ($this->ngrams as $key => $ngram){
  146.                 if (in_array($ngram, $language)) {
  147.                     $delta += abs($key - array_search($ngram, $language));
  148.                 } else {
  149.                     $delta += 400;
  150.                 }
  151.                 if ($delta> $limit) {
  152.                     break;
  153.                 }
  154.             }
  155.  
  156.             if ($delta <$limit) {
  157.                 $result[$basename] = $delta;
  158.                 $limit = $delta; //lower limit
  159.             }
  160.         }
  161.  
  162.         if (!isset($result)) {
  163.             return 'unknown';
  164.         } else {
  165.             asort($result);
  166.             //basename of best matching lm file
  167.             list($result_first, $ignore) = each($result);
  168.         }
  169.  
  170.         return $result_first;
  171.     }
  172.  
  173. }
  174. ?>

Картинка по теме: "TOP 10 языков технической документации"
lang_map.gif

]]> http://php.southpark.com.ua/2007/language-detection/feed/ 15 Загрузка в несколько потоков с multi_curl и PHP http://php.southpark.com.ua/2007/zagruzka-v-neskolko-potokov-s-multi_curl-i-php/ http://php.southpark.com.ua/2007/zagruzka-v-neskolko-potokov-s-multi_curl-i-php/#comments Wed, 24 Oct 2007 20:49:27 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/10/24/zagruzka-v-neskolko-potokov-s-multi_curl-i-php/ Когда нужно скачать сотню страниц, то можно обойтись моим компонентом Browser. Но недавно мне надо было скачать столько информации, что нужно было ждать неделю. Проблема в том, что компонент загружает страницы по очереди. Пришлось придумывать как заставить его качать в несколько потоков.

Оказалось, что самое простое решение - это multi_curl. Но его на форумах очень критикуют за то, что он ест слишком много памяти, глючит и вообще безобразничает. Есть ещё вариант - неблокирующие сокеты, но мне они показались более сложными. Ну, а самое правильное, решение - это pkg_delete php, pkg_add perl :) Потому что Perl для этого задуман, а PHP - нет. Но ради единоразовой операции, хоть и длительной, пересиливать свою необъяснимую нелюбовь к Perl я не стал. Тем более пишут, что если ставить немного потоков (до 100), то multi_curl будет нормально работать.

К счастью, я не сторонник выдумывания велосипедов, поэтому взял библиотеку Вадима Тимофеева для работы с multi_curl. Чтобы она работала с компонентом Browser, скачайте последнюю версию, разархивируйте файл MultiCurl.class.php в папку vendors вашего CakePHP-проекта и переименуйте его в multi_curl.php.

Папка vendors в CakePHP позволяет использовать сторонние разработки, которые не созданы специально для CakePHP. Эти файлы подключаются с помощью функции vendor()

Класс MultiCurl довольно интересно реализован. Он является абстрактным классом. Чтобы использовать его в своей программе, надо создать его наследника, в котором переопределить событие, которое происходит при загрузке. Вот что пришлось дописать в начало компонента Browser.

plain text
PHP:
  1. vendor('multi_curl');
  2. class BrowserComponentMultiCurl extends MultiCurl {
  3.     var $Browser = null;
  4.  
  5.     protected function onLoad($url, $content, $info) {
  6.         $s = (serialize($info) . "\r\n\r\n" . $content);
  7.         file_put_contents($this->Browser->_getCacheFilename($url), $s);
  8.     }
  9. }

Тут необходимо пояснить принцип работы multi_curl. При скачивании в несколько потоков multi_curl ставит в очередь закачки несколько страниц и возращает управление основной программе только после того как закачает все страницы. Но после закачки каждого файла выполняется callback-функция.

Я решил упростить себе задачу и сделал вместо метода getMulti($urls), метод cacheMulti($urls). Поэтому не забудьте созадать папку для кеширования - APP/tmp/cache/browser

plain text
PHP:
  1. /**
  2. * Downloads URLs in multiple threads
  3. *
  4. * @param array $urls a(url1, url2, ...)
  5. * @return boolean
  6. */
  7. function cacheMulti($urls) {
  8.     try {
  9.         $mc = new BrowserComponentMultiCurl();
  10.         $mc->Browser = $this;
  11.         $mc->setMaxSessions(5); // limit 5 parallel sessions (by default 10)
  12.         //$mc->setMaxSize(10240); // limit 10 Kb per session (by default 10 Mb)
  13.  
  14.         foreach ($urls as $url) {
  15.             if (!$this->_isCached($url)) {
  16.                 $mc->addUrl($url);
  17.             }
  18.         }
  19.         $mc->wait();
  20.     } catch (Exception $e) {
  21.         // dirty style, but good enough for my tasks
  22.         echo('<h3 style="color:red">'.$e->getMessage().'</h3>');
  23.         @flush();ob_flush();
  24.     }
  25.  
  26.     return true;
  27. }

Из основной программы этот метод я хотел вызвать сначала так:

plain text
PHP:
  1. $this->Browser->cacheMulti($urls);
  2. foreach ($urls as $url) {
  3.     $html = $this->Browser->get($url); // уже закешировано, поэтому выдаст сразу
  4.  
  5.     // process $html
  6. }

Но не тут то было. Так как URLов действительно очень много, то ни Firefox, ни Lynx (я сервисные скрипты запускаю часто через него) не могли дождаться ответа от сервера и писалось 408 Request Timeout. Тогда я добавил в httpd.conf настройку Timeout 300000. Ошибка 408 Request Timeout всё равно показывалась, но насколько я понял, Apache продолжал выполнять скрипт ещё 300000 секунд. Я не нашёл правильного решения этой проблемы, поэтому немного подкорректировал скрипт, разбив список URLов на части.

plain text
PHP:
  1. $queueLength = 30;
  2. for ($i=0; $i<count($urls); $i+=$queueLength) {
  3.     $queue = array_slice($urls, $i, $queueLength);
  4.     $this->Browser->cacheMulti($queue);
  5.  
  6.     foreach ($queue as $url) {
  7.         $html = $this->Browser->get($url); // уже закешировано, поэтому выдаст сразу
  8.  
  9.         // process $html
  10.     }
  11.        
  12.     echo(((!empty($i)?', ':'')) . $i); // показываем обработанный номер
  13.     @flush();ob_flush(); // принудительное отображение. по одной работать не хотят. собака в начале строки - неизбежное зло
  14.     usleep(500); // нечего пригружать сильно чужие сервера - забанят
  15. }

Можно было бы поставить обработку информации в onLoad, но мне так удобнее :)

Вот полная версия обновлённого компонента Browser

plain text
PHP:
  1. <?
  2.  
  3. vendor('multi_curl');
  4. class BrowserComponentMultiCurl extends MultiCurl {
  5.     var $Browser = null;
  6.  
  7.     protected function onLoad($url, $content, $info) {
  8.         $s = (serialize($info) . "\r\n\r\n" . $content);
  9.         file_put_contents($this->Browser->_getCacheFilename($url), $s);
  10.     }
  11. }
  12.  
  13. /**
  14. * Emulation of browser
  15. *
  16. * @version 1.3 (24 Oct 2007)
  17. * @author Vladimir Luchaninov - http://php.southpark.com.ua
  18. *
  19. */
  20. class BrowserComponent extends Object {
  21.     var $handle;
  22.     var $header;
  23.     var $body;
  24.  
  25.     /**
  26.      * Name of browser you want to emulate. If 'random' then it will select from the large list.
  27.      *
  28.      * @var string
  29.      */
  30.     var $userAgent = 'random';
  31.  
  32.     // if you need http auth
  33.     var $username = null;
  34.     var $password = null;
  35.  
  36.     var $proxy = ''; // 'ip:port'
  37.     var $referer = 'http://www.google.com/';
  38.     var $timeout = 30;
  39.  
  40.     /**
  41.      * if you want to cache your requests you need to create folder APP/tmp/cache/browser
  42.      *
  43.      * @var string
  44.      */
  45.     var $cacheFolder = null;
  46.  
  47.     var $symbolsNotFile = array( '~',  '!',  '@',  '#',  'http://', '/',  "\\", ':',  '*',  '?',  '"',  '<',  '>',  '|');
  48.     var $symbolsFile = array('~~', '!!', '@@', '##', '#~',      '~!', '~@', '~#', '!~', '!@', '!#', '@~', '@!', '@#'); // still reserved '#!', '#@'
  49.  
  50.     /**
  51.      * Init handle for connection
  52.      *
  53.      * @param AppController $controller
  54.      */
  55.     function startup(&$controller) {
  56.         $cacheFolder = APP . 'tmp' . DS . 'cache' . DS . 'browser' . DS;
  57.         if (is_dir($cacheFolder)) {
  58.             $this->cacheFolder = $cacheFolder;
  59.         }
  60.  
  61.         $this->_initUserAgent();
  62.  
  63.         $this->handle = curl_init();
  64.     }
  65.  
  66.     /**
  67.      * Convert URL to the filename for caching
  68.      *
  69.      * @param string $url Like http://php.southpark.com.ua
  70.      * @return string Filename of the cache file (withour full path)
  71.      */
  72.     function urlToFilename($url) {
  73.         return r($this->symbolsNotFile, $this->symbolsFile, $url).'.txt';
  74.     }
  75.  
  76.     /**
  77.      * Convert filename from cache to URL
  78.      *
  79.      * @param string $filename Filename of cached file (without full path)
  80.      * @return string URL
  81.      */
  82.     function filenameToUrl($filename) {
  83.         return r($this->symbolsFile, $this->symbolsNotFile, substr($filename, 0, strlen($filename)-4));
  84.     }
  85.  
  86.     /**
  87.      * Extract header and body from response to $this->header and $this->body
  88.      *
  89.      * @param string $response
  90.      * @return string
  91.      */
  92.     function _setHeaderBody($response) {
  93.         // You should see responses from some strange web-services
  94.         // Check for \r\n\r\n is really not enough
  95.         $regex = '/(.*?)\n[\r\n]*?\n+(.*)/sm';
  96.  
  97.         $this->header = '';
  98.         if (!preg_match($regex, $response, $m)) {
  99.             $this->body = $response;
  100.         } else {
  101.             $this->header = $m[1];
  102.             $this->body = ltrim($m[2], "\r");
  103.  
  104.             // sometimes there are several headers
  105.             while (strpos($this->body, 'HTTP/')===0 && preg_match($regex, $this->body, $m)) {
  106.                 $this->header .= "\n\n" . $m[1];
  107.                 $this->body = ltrim($m[2], "\r");
  108.             }
  109.         }
  110.  
  111.         return true;
  112.     }
  113.  
  114.     /**
  115.      * Get cache file filename for $url if possible. Otherwise null
  116.      *
  117.      * @param string $url Like http://php.southpark.com.ua
  118.      * @return string Cache file filename with full path
  119.      */
  120.     function _getCacheFilename($url) {
  121.         if (!empty($this->cacheFolder) && empty($postvars)) {
  122.             return $this->cacheFolder . $this->urlToFilename($url);
  123.         } else {
  124.             return null;
  125.         }
  126.     }
  127.  
  128.     /**
  129.      * Check if $url is already downloaded and saved to cache file
  130.      *
  131.      * @param string $url Like http://php.southpark.com.ua
  132.      * @return boolean True if $url exist in cache
  133.      */
  134.     function _isCached($url) {
  135.         $cacheFile = $this->_getCacheFilename($url);
  136.  
  137.         return (!empty($cacheFile) && file_exists($cacheFile));
  138.     }
  139.  
  140.     /**
  141.      * List all cached URLs
  142.      *
  143.      * @return array a(url1, url2, ...)
  144.      */
  145.     function getCachedUrls() {
  146.         $folder = new Folder($this->cacheFolder);
  147.         $files = $folder->find('.*\.txt');
  148.  
  149.         $urls = array();
  150.         foreach ($files as $filename) {
  151.             $urls[] = $this->filenameToUrl($filename);
  152.         }
  153.  
  154.         return $urls;
  155.     }
  156.  
  157.     /**
  158.      * Main function
  159.      *
  160.      * @param string $url
  161.      * @param array $postvars
  162.      * @return string body
  163.      * after execution $this->header is accessible if needed
  164.      */
  165.     function get($url, $postvars=null) {
  166.         $cacheFile = $this->_getCacheFilename($url);
  167.  
  168.         if ($this->_isCached($url)) {
  169.             $response = file_get_contents($cacheFile);
  170.         } else {
  171.             $this->prepare($url, $postvars);
  172.             $response = curl_exec($this->handle);
  173.             if (!empty($cacheFile)) {
  174.                 file_put_contents($cacheFile, $response);
  175.             }
  176.         }
  177.         $this->referer = $url;
  178.  
  179.         $this->_setHeaderBody($response);
  180.  
  181.         return $this->body;
  182.     }
  183.  
  184.     /**
  185.      * Downloads URLs in multiple threads
  186.      *
  187.      * @param array $urls a(url1, url2, ...)
  188.      * @return boolean
  189.      */
  190.     function cacheMulti($urls) {
  191.         try {
  192.             $mc = new BrowserComponentMultiCurl();
  193.             $mc->Browser = $this;
  194.             $mc->setMaxSessions(5); // limit 5 parallel sessions (by default 10)
  195.             //$mc->setMaxSize(10240); // limit 10 Kb per session (by default 10 Mb)
  196.  
  197.             foreach ($urls as $url) {
  198.                 if (!$this->_isCached($url)) {
  199.                     $mc->addUrl($url);
  200.                 }
  201.             }
  202.             $mc->wait();
  203.         } catch (Exception $e) {
  204.             // dirty style, but good enough for my tasks
  205.             echo('<h3 style="color:red">'.$e->getMessage().'</h3>');
  206.             @flush();ob_flush();
  207.         }
  208.  
  209.         return true;
  210.     }
  211.  
  212.     /**
  213.      * Set default options of curl
  214.      *
  215.      * @param string $url
  216.      * @param array $postvars
  217.      */
  218.     function prepare($url, $postvars=false){
  219.         curl_setopt($this->handle, CURLOPT_PROXY, $this->proxy);
  220.         curl_setopt($this->handle, CURLOPT_REFERER, $this->referer);
  221.         curl_setopt($this->handle, CURLOPT_USERAGENT, $this->userAgent);
  222.         curl_setopt($this->handle, CURLOPT_URL, str_replace('&amp;','&',$url));
  223.         curl_setopt($this->handle, CURLOPT_HEADER, 1);
  224.         curl_setopt($this->handle, CURLOPT_FOLLOWLOCATION,1);
  225.         curl_setopt($this->handle, CURLOPT_RETURNTRANSFER, 1);
  226.         curl_setopt($this->handle, CURLOPT_TIMEOUT, $this->timeout);
  227.         curl_setopt($this->handle, CURLOPT_SSL_VERIFYPEER, false);
  228.         curl_setopt($this->handle, CURLOPT_SSL_VERIFYHOST,  2);
  229.  
  230.         curl_setopt($this->handle, CURLOPT_COOKIEJAR, APP.'tmp/cookie.txt');
  231.         curl_setopt($this->handle, CURLOPT_COOKIEFILE, APP.'tmp/cookie.txt');
  232.  
  233.         if (!empty($postvars)){
  234.             curl_setopt($this->handle, CURLOPT_POST, 1);
  235.             curl_setopt($this->handle, CURLOPT_POSTFIELDS, $postvars);
  236.         }
  237.  
  238.         if (!empty($this->username)) {
  239.             curl_setopt($this->handle, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
  240.             curl_setopt($this->handle, CURLOPT_USERPWD, $this->username.':'.$this->password); // $auth should be [username]:[password]
  241.         }
  242.  
  243.         return true;
  244.     }
  245.  
  246.     /**
  247.      * Close current connection
  248.      *
  249.      */
  250.     function close() {
  251.         curl_close($this->handle);
  252.         return true;
  253.     }
  254.  
  255.     /**
  256.      * Clears cache
  257.      */
  258.     function clearCache() {
  259.         if (empty($this->cacheFolder)) return false;
  260.  
  261.         $dir = dir($this->cacheFolder);
  262.         while (($file = $dir->read()) !== false) {
  263.             if (in_array($file, array('', '.', '..'))) continue;
  264.  
  265.             unlink($dir->path . $file);
  266.         }
  267.  
  268.         return true;
  269.     }
  270.  
  271.     /**
  272.      * What browser should be emulated
  273.      *
  274.      * @return string browser name
  275.      */
  276.     function _initUserAgent() {
  277.         if ($this->userAgent!='random') return true;
  278.  
  279.         $browsers = array(
  280.             'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)',
  281.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)',
  282.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
  283.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705)',
  284.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)',
  285.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Avant Browser; .NET CLR 2.0.50727)',
  286.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.10',
  287.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; FunWebProducts)',
  288.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; MRA 4.8 (build 01709); Maxthon; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
  289.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50',
  290.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.54',
  291.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)',
  292.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705)',
  293.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0; .NET CLR 2.0.50727)',
  294.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)',
  295.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)',
  296.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; MAXTHON 2.0)',
  297.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)',
  298.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 1.1.4322; InfoPath.1)',
  299.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)',
  300.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; InfoPath.2; .NET CLR 1.1.4322; MAXTHON 2.0)',
  301.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1)',
  302.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.2)',
  303.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.7 (build 01670); .NET CLR 1.1.4322)',
  304.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.7 (build 01670); InfoPath.1)',
  305.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709))',
  306.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709); .NET CLR 1.1.4322)',
  307.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709); .NET CLR 2.0.50727; InfoPath.2; .NET CLR 1.1.4322; .NET CLR 3.0.04506.30)',
  308.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709); Maxthon; .NET CLR 2.0.50727; .NET CLR 1.1.4322; .NET CLR 3.0.04506.30)',
  309.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MyIE2; InfoPath.1)',
  310.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MyIE2; MRA 4.8 (build 01709); .NET CLR 1.1.4322; InfoPath.1)',
  311.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)',
  312.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)',
  313.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
  314.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
  315.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322)',
  316.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.1)',
  317.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)',
  318.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322; InfoPath.1)',
  319.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser; Avant Browser; .NET CLR 1.1.4322)',
  320.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon)',
  321.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon; Avant Browser; InfoPath.2)',
  322.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon; MyIE2; .NET CLR 1.0.3705; .NET CLR 2.0.50727; InfoPath.2)',
  323.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.6 (build 01425); InfoPath.1)',
  324.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.8 (build 01709))',
  325.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.8 (build 01709); .NET CLR 1.1.4322; InfoPath.1)',
  326.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.8 (build 01709); Avant Browser)',
  327.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.9 (build 01863); .NET CLR 2.0.50727)',
  328.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MyIE2)',
  329.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MyIE2; .NET CLR 2.0.50727; InfoPath.1; .NET CLR 1.1.4322; MEGAUPLOAD 1.0)',
  330.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506; InfoPath.2; .NET CLR 1.1.4322)',
  331.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; bg; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  332.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11',
  333.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  334.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4',
  335.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  336.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  337.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4',
  338.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11',
  339.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  340.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4',
  341.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7',
  342.             'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.1) Gecko/20060313 Fedora/1.5.0.1-9 Firefox/1.5.0.1 pango-text',
  343.             'Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.8) Gecko/20060112 ASPLinux/1.5-1.2am Firefox/1.5',
  344.             'Opera/8.54 (Windows NT 5.1; U; en)',
  345.             'Opera/9.00 (Windows NT 5.1; U; ru)',
  346.             'Opera/9.01 (Windows NT 5.1; U; ru)',
  347.             'Opera/9.02 (Windows NT 5.0; U; ru)',
  348.             'Opera/9.02 (Windows NT 5.1; U; ru)',
  349.             'Opera/9.02 (Windows NT 5.2; U; en)',
  350.             'Opera/9.10 (Windows NT 5.1; U; ru)',
  351.             'Opera/9.20 (Windows NT 5.1; U; en)',
  352.             'Opera/9.20 (Windows NT 5.1; U; ru)',
  353.             'Opera/9.21 (Windows NT 5.1; U; ru)',
  354.             );
  355.  
  356.         $this->userAgent = $browsers[array_rand($browsers)];
  357.         return true;
  358.     }
  359. }
  360.  
  361. ?>

]]> http://php.southpark.com.ua/2007/zagruzka-v-neskolko-potokov-s-multi_curl-i-php/feed/ 3 GoogleSearch: компонент для CakePHP, который парсит результаты поиска Google http://php.southpark.com.ua/2007/googlesearch-komponent-dlya-cakephp-kotoryj-parsit-rezultaty-poiska-google/ http://php.southpark.com.ua/2007/googlesearch-komponent-dlya-cakephp-kotoryj-parsit-rezultaty-poiska-google/#comments Mon, 15 Oct 2007 10:24:06 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/10/15/googlesearch-komponent-dlya-cakephp-kotoryj-parsit-rezultaty-poiska-google/ Google - классная поисковая система, но почему то они закрыли доступ к поиску в нём через SOAP. Как говорила в далёком детстве школьная учительница английского "Shame on you", ведь даже у Yandex есть Yandex.XML. Мы же не спамеры, нам 1000 поисков в день с головой достаточно.

Но, пока можно искать через браузер, можно искать через Browser :)
Попробуем применить наш компонент в боевых условиях.

Что нужно от GoogleSearch (так затейливо назвал я этот компонент)

  • показывать информацию о сайтах по заданному запросу: url, title, snippet
  • показывать количество результатов поиска
  • максимально эмулировать человека: делать паузу между запросами, не просить сразу 1000 результатов. Бонус от компонента Browser: автоматически поставится правильный referer

Помня о заветах Ильича Test-Driven development, напишем сначала тест. Пусть он ищет "google" и "yahoo". Угадайте, какие сайты будут на первом месте? Вот их наличие и проверим.

plain text
PHP:
  1. <?php
  2.  
  3. class GoogleSearchTestController extends Controller {
  4.     var $name = 'GoogleSearchTest';
  5.     var $uses = null;
  6.     var $components = array('Browser', 'GoogleSearch');
  7. }
  8.  
  9. class GoogleSearchTest extends CakeTestCase {
  10.     var $name = 'GoogleSearch';
  11.     var $controller = null;
  12.     var $component = null;
  13.  
  14.     function setUp() {
  15.         $this->controller =& new GoogleSearchTestController();
  16.  
  17.         restore_error_handler();
  18.         @$this->controller->_initComponents();
  19.         set_error_handler('simpleTestErrorHandler');
  20.  
  21.         $this->controller->Browser->startup($this->controller);
  22.         $this->component = $this->controller->GoogleSearch;
  23.         $this->component->startup($this->controller);
  24.         ClassRegistry::addObject('view', new View($this->controller));
  25.     }
  26.  
  27.     function testSearch() {
  28.         $this->component->maxResults = 10; // no need to bother google a lot
  29.  
  30.         $result = $this->component->query('google');
  31.         $this->assertTrue($result['count']> 1000000);
  32.         $this->assertWithinMargin(count($result['sites']), $this->component->maxResults, 3);
  33.  
  34.         $this->assertNotNull($result['sites'][0]);
  35.         $this->assertNotNull($result['sites'][0]['url']);
  36.         $this->assertNotNull($result['sites'][0]['title']);
  37.         $this->assertNotNull($result['sites'][0]['snippet']);
  38.  
  39.         $this->assertPattern('/google\.com/i', $result['sites'][0]['url']);
  40.         $this->assertPattern('/google/i', $result['sites'][0]['title']);
  41.  
  42.  
  43.         $result = $this->component->query('yahoo');
  44.         $this->assertTrue($result['count']> 1000000);
  45.         $this->assertWithinMargin(count($result['sites']), $this->component->maxResults, 3);
  46.  
  47.         $this->assertPattern('/yahoo\.com/i', $result['sites'][0]['url']);
  48.         $this->assertPattern('/yahoo/i', $result['sites'][0]['title']);
  49.     }
  50.  
  51. }
  52. ?>

Вот, кстати, и обнаружилась полезность тестов. Если компонент А использует компонент Б, то в контроллере, вызывающем компонент А, нужно обязательно указать компонент Б, даже если он сам по себе не используется. Я об этом постоянно забываю.

plain text
PHP:
  1. var $components = array('Browser', 'GoogleSearch');

Тест также показывает как правильно использовать компонент. Для поиска с помощью GoogleSearch надо в контроллере написать

plain text
PHP:
  1. $this->GoogleSearch->query('test');

Можно перед этим его настроить

plain text
PHP:
  1. $this->GoogleSearch->maxResults = 100; // по умолчанию - 500
  2. $this->GoogleSearch->lang = 'ru'; // по умолчанию - 'en'
  3. $this->GoogleSearch->server = 'http://www.google.ru'; // без слеша в конце. по умолчанию 'http://www.google.com'

А вот и сам код.

plain text
PHP:
  1. <?
  2.  
  3. class GoogleSearchComponent {
  4.     var $components = array('Browser');
  5.  
  6.     var $maxResults = 500;
  7.     var $lang = 'en';
  8.     var $server = 'http://www.google.com';
  9.  
  10.     /**
  11.      * Main function. Searches $keyword in Google
  12.      *
  13.      * @param string $keyword Stuff you enter in the search box
  14.      * @return array (sites=>a(url=>, title=>, snippet=>), count=>)
  15.      */
  16.     function query($keyword) {
  17.         $limit = 10;
  18.         $start = 0;
  19.         $result = array('sites'=>array());
  20.  
  21.         while ($start<$this->maxResults && !(isset($matches) && count($matches)<($limit-3))) {
  22.             if ($start>=100) {
  23.                 $limit = 100;
  24.             } elseif ($start>=40) {
  25.                 $limit = 20;
  26.             }
  27.  
  28.             $url = $this->server.'/search?'.
  29.                    'num='.$limit.
  30.                    '&hl='.$this->lang.
  31.                    '&client=firefox-a'.
  32.                    '&rls=org.mozilla%3Aen-US%3Aofficial'.
  33.                    '&as_qdr=all'.
  34.                    '&q='.urlencode($keyword).
  35.                    '&btnG=Search'.
  36.                    (($start>0) ? '&start='.$start.'&sa=N' : '');
  37.  
  38.  
  39.             usleep(rand(100, 2000)); // be like humans for Google
  40.             $s = $this->Browser->get($url);
  41.             if (strpos($s, '<title>403 Forbidden</title>')!==false && preg_match('/^HTTP\/1.1 403 Forbidden/i', $this->Browser->header)) {
  42.                 die('<h3 style="color:red">Google reminds you that automatic Google parsing is prohibited. Don\'t be evil :) </h3>');
  43.             }
  44.  
  45.             if ($start==0) {
  46.                 $result['count'] = r(',', '', $this->_find('|of (about )?<b>([\d,]+)</b> for <b>|i', $s, 2));
  47.             }
  48.  
  49.             preg_match_all('|<h2\s+class=.?r.?><a href="(.+)".+>(.+)</a></h2>.+<font size=-1>(.+)<br>|iU', $s, $matches, PREG_SET_ORDER);
  50.             foreach ($matches as $match) {
  51.                 $result['sites'][] = array(
  52.                     'url'      => $match[1],
  53.                     'title'  => strip_tags($match[2], '<b>'),
  54.                     'snippet'   => strip_tags($match[3], '<b>'),
  55.                     );
  56.             }
  57.  
  58.             $start += $limit;
  59.         }
  60.  
  61.         return $result;
  62.     }
  63.  
  64.     /**
  65.      * Alias for query
  66.      *
  67.      * @param string $keyword
  68.      * @return array
  69.      */
  70.     function search($keyword) {
  71.         return $this->query($keyword);
  72.     }
  73.  
  74.     /**
  75.      * Init
  76.      *
  77.      * @param AppController $controller
  78.      */
  79.     function startup(&$controller) {
  80.  
  81.     }
  82.  
  83.     /**
  84.      * Looks for $pattern in $s and returns match no. $index
  85.      *
  86.      * @param string $pattern RegEx
  87.      * @param string $s
  88.      * @param int $index
  89.      * @return string
  90.      */
  91.     function _find($pattern, $s, $index=1) {
  92.         preg_match($pattern, $s, $out);
  93.         return (isset($out[$index])) ? $out[$index] : '';
  94.     }
  95. }
  96.  
  97. ?>

Disclaimer: Используйте этот код только в учебных целях. Google запрещает себя парсить роботами.

Кстати, респект программерам из Google. До того как я поставил случайную задержку между запросами, банили через 300 запросов.

]]> http://php.southpark.com.ua/2007/googlesearch-komponent-dlya-cakephp-kotoryj-parsit-rezultaty-poiska-google/feed/ 6 Browser: компонент для CakePHP http://php.southpark.com.ua/2007/browser-komponent-dlya-cakephp/ http://php.southpark.com.ua/2007/browser-komponent-dlya-cakephp/#comments Sun, 14 Oct 2007 16:36:33 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/10/14/browser-komponent-dlya-cakephp/ Мне часто приходится обрабатывать информацию с других сайтов и наконец я решил написать свой компонент Browser.

Функциональные возможности

  • Корректно разделяет header и body
  • Может кешировать запросы
  • Может отправлять POST-запросы
  • Может работать через proxy
  • Поддерживает cookies
  • Может автоматически вводить имя пользователя и пароль
  • Автоматически подставляет referer с прошлой страницы (можно установить свой)
  • Подставляет нормальный UserAgent, чтобы сайты не думали, что это робот

Использовать компонент, как и все компоненты для CakePHP очень легко.
1. Добавьте в контроллер сверху

plain text
PHP:
  1. var $components = array('Browser');

2. В функции контроллера можно использовать

plain text
PHP:
  1. $body = $this->Browser->get('http://php.southpark.com.ua/');
  2. $header = $this->Browser->header; // необязательно

Перед get, можно настроить параметры

plain text
PHP:
  1. $this->Browser->userAgent = 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)';
  2. $this->Browser->username = 'root';
  3. $this->Browser->password = 'upyachka';
  4. $this->Browser->proxy = '192.168.0.1:3128';
  5. $this->Browser->referer = 'http://php.southpark.com.ua/';
  6. $this->Browser->timeout = 10; // по умолчанию 30 секунд

Правильно было бы написать тест, который проверяет все функции, но я и так молодец, что написал хоть какой-то тест :)
Когда вы пишете свои компоненты, не забывайте писать тесты.

Кстати, корректно разбивать header и body не так просто. В идеале, они должны разделяться \r\n\r\n. Но на практике мне встечались \r\n\n\r\n\n и \n\r\n\r. Вдобавок иногда бывает несколько header, например, при redirect.

Для того, чтобы заработало кеширование, создайте папку APP/tmp/cache/browser и дайте права на запись в неё.
Чтобы работали cookie, дайте права на запись в папку APP/tmp. Там будет создан файл cookie.txt.

Остальные функции - это просто обёртка над CURL

app\controllers\components\browser.php

plain text
PHP:
  1. <?
  2.  
  3. /**
  4. * Emulation of browser
  5. *
  6. * @version 1.2 (14 Oct 2007)
  7. *
  8. */
  9. class BrowserComponent extends Object {
  10.     var $handle;
  11.     var $header;
  12.     var $body;
  13.  
  14.     var $userAgent = 'random';
  15.  
  16.     // если нужно логиниться
  17.     var $username = null;
  18.     var $password = null;
  19.  
  20.     var $proxy = ''; // 'ip:port'
  21.     var $referer = 'http://www.google.com/';
  22.     var $timeout = 30;
  23.  
  24.     /**
  25.      * if you want to cache your requests then create folder APP/tmp/cache/browser
  26.      *
  27.      * @var unknown_type
  28.      */
  29.     var $cacheFolder = null;
  30.  
  31.     var $symbolsNotFile = array( '~',  '!',  '@',  '#',  'http://', '/',  "\\", ':',  '*',  '?',  '"',  '<',  '>',  '|');
  32.     var $symbolsFile = array('~~', '!!', '@@', '##', '#~',      '~!', '~@', '~#', '!~', '!@', '!#', '@~', '@!', '@#'); // ещё можно использовать  '#!', '#@'
  33.  
  34.     /**
  35.      * Init handle for connection
  36.      *
  37.      * @param AppController $controller
  38.      */
  39.     function startup(&$controller) {
  40.         $cacheFolder = APP . 'tmp' . DS . 'cache' . DS . 'browser' . DS;
  41.         if (is_dir($cacheFolder)) {
  42.             $this->cacheFolder = $cacheFolder;
  43.         }
  44.  
  45.         $this->_initUserAgent();
  46.  
  47.         $this->handle = curl_init();
  48.     }
  49.  
  50.     function _setHeaderBody($response) {
  51.         $regex = '/(.*?)\n[\r\n]*?\n+(.*)/sm';
  52.  
  53.         $this->header = '';
  54.         if (!preg_match($regex, $response, $m)) {
  55.             $this->body = $response;
  56.         } else {
  57.             $this->header = $m[1];
  58.             $this->body = ltrim($m[2], "\r");
  59.  
  60.             // sometimes there are several headers
  61.             while (strpos($this->body, 'HTTP/')==0 && preg_match($regex, $this->body, $m)) {
  62.                 $this->header .= "\n\n" . $m[1];
  63.                 $this->body = ltrim($m[2], "\r");
  64.             }
  65.         }
  66.  
  67.         return true;
  68.     }
  69.  
  70.     /**
  71.      * Main function
  72.      *
  73.      * @param string $url
  74.      * @param array $postvars
  75.      * @return string body
  76.      * after execution $this->header is accessible if needed
  77.      */
  78.     function get($url, $postvars=null) {
  79.         if (!empty($this->cacheFolder) && empty($postvars)) {
  80.             $cacheFile = $this->cacheFolder . r($this->symbolsNotFile, $this->symbolsFile, $url).'.txt';
  81.         } else {
  82.             $cacheFile = null;
  83.         }
  84.  
  85.         if (!empty($cacheFile) && file_exists($cacheFile)) {
  86.             $response = file_get_contents($cacheFile);
  87.         } else {
  88.             $this->prepare($url, $postvars);
  89.             $response = curl_exec($this->handle);
  90.             if (!empty($cacheFile)) {
  91.                 file_put_contents($cacheFile, $response);
  92.             }
  93.         }
  94.         $this->referer = $url;
  95.  
  96.         $this->_setHeaderBody($response);
  97.  
  98.         return $this->body;
  99.     }
  100.  
  101.     /**
  102.      * Set default options of curl
  103.      *
  104.      * @param string $url
  105.      * @param array $postvars
  106.      */
  107.     function prepare($url, $postvars=false){
  108.         curl_setopt($this->handle, CURLOPT_PROXY, $this->proxy);
  109.         curl_setopt($this->handle, CURLOPT_REFERER, $this->referer);
  110.         curl_setopt($this->handle, CURLOPT_USERAGENT, $this->userAgent);
  111.         curl_setopt($this->handle, CURLOPT_URL, str_replace('&amp;','&',$url));
  112.         curl_setopt($this->handle, CURLOPT_HEADER, 1);
  113.         curl_setopt($this->handle, CURLOPT_FOLLOWLOCATION,1);
  114.         curl_setopt($this->handle, CURLOPT_RETURNTRANSFER, 1);
  115.         curl_setopt($this->handle, CURLOPT_TIMEOUT, $this->timeout);
  116.         curl_setopt($this->handle, CURLOPT_SSL_VERIFYPEER, false);
  117.         curl_setopt($this->handle, CURLOPT_SSL_VERIFYHOST,  2);
  118.  
  119.         curl_setopt($this->handle, CURLOPT_COOKIEJAR, APP.'tmp/cookie.txt');
  120.         curl_setopt($this->handle, CURLOPT_COOKIEFILE, APP.'tmp/cookie.txt');
  121.  
  122.         if (!empty($postvars)){
  123.             curl_setopt($this->handle, CURLOPT_POST, 1);
  124.             curl_setopt($this->handle, CURLOPT_POSTFIELDS, $postvars);
  125.         }
  126.  
  127.         if (!empty($this->username)) {
  128.             curl_setopt($this->handle, CURLOPT_HTTPAUTH, CURLAUTH_ANY);
  129.             curl_setopt($this->handle, CURLOPT_USERPWD, $this->username.':'.$this->password); // $auth should be [username]:[password]
  130.         }
  131.  
  132.         return true;
  133.     }
  134.  
  135.     /**
  136.      * Close current connection
  137.      *
  138.      */
  139.     function close() {
  140.         curl_close($this->handle);
  141.         return true;
  142.     }
  143.  
  144.     /**
  145.      * Clears cache
  146.      */
  147.     function clearCache() {
  148.         if (empty($this->cacheFolder)) return false;
  149.  
  150.         $dir = dir($this->cacheFolder);
  151.         while (($file = $dir->read()) !== false) {
  152.             if (in_array($file, array('', '.', '..'))) continue;
  153.  
  154.             unlink($dir->path . $file);
  155.         }
  156.  
  157.         return true;
  158.     }
  159.  
  160.     /**
  161.      * What browser should be emulated
  162.      *
  163.      * @return string browser name
  164.      */
  165.     function _initUserAgent() {
  166.         if ($this->userAgent!='random') return true;
  167.  
  168.         $browsers = array(
  169.             'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0)',
  170.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)',
  171.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
  172.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.0.3705)',
  173.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)',
  174.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Avant Browser; .NET CLR 2.0.50727)',
  175.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.10',
  176.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; FunWebProducts)',
  177.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; MRA 4.8 (build 01709); Maxthon; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
  178.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.50',
  179.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; ru) Opera 8.54',
  180.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)',
  181.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705)',
  182.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0; .NET CLR 2.0.50727)',
  183.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)',
  184.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)',
  185.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; MAXTHON 2.0)',
  186.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)',
  187.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 1.1.4322; InfoPath.1)',
  188.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)',
  189.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; InfoPath.2; .NET CLR 1.1.4322; MAXTHON 2.0)',
  190.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.1)',
  191.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; InfoPath.2)',
  192.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.7 (build 01670); .NET CLR 1.1.4322)',
  193.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.7 (build 01670); InfoPath.1)',
  194.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709))',
  195.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709); .NET CLR 1.1.4322)',
  196.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709); .NET CLR 2.0.50727; InfoPath.2; .NET CLR 1.1.4322; .NET CLR 3.0.04506.30)',
  197.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 4.8 (build 01709); Maxthon; .NET CLR 2.0.50727; .NET CLR 1.1.4322; .NET CLR 3.0.04506.30)',
  198.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MyIE2; InfoPath.1)',
  199.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MyIE2; MRA 4.8 (build 01709); .NET CLR 1.1.4322; InfoPath.1)',
  200.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)',
  201.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322)',
  202.             'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)',
  203.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
  204.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322)',
  205.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.1)',
  206.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727)',
  207.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322; InfoPath.1)',
  208.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser; Avant Browser; .NET CLR 1.1.4322)',
  209.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon)',
  210.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon; Avant Browser; InfoPath.2)',
  211.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon; MyIE2; .NET CLR 1.0.3705; .NET CLR 2.0.50727; InfoPath.2)',
  212.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.6 (build 01425); InfoPath.1)',
  213.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.8 (build 01709))',
  214.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.8 (build 01709); .NET CLR 1.1.4322; InfoPath.1)',
  215.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.8 (build 01709); Avant Browser)',
  216.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MRA 4.9 (build 01863); .NET CLR 2.0.50727)',
  217.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MyIE2)',
  218.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; MyIE2; .NET CLR 2.0.50727; InfoPath.1; .NET CLR 1.1.4322; MEGAUPLOAD 1.0)',
  219.             'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506; InfoPath.2; .NET CLR 1.1.4322)',
  220.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; bg; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  221.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11',
  222.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  223.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4',
  224.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  225.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  226.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4',
  227.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.0.11) Gecko/20070312 Firefox/1.5.0.11',
  228.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1.3) Gecko/20070309 Firefox/2.0.0.3',
  229.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.8.1.4) Gecko/20070515 Firefox/2.0.0.4',
  230.             'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7',
  231.             'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.1) Gecko/20060313 Fedora/1.5.0.1-9 Firefox/1.5.0.1 pango-text',
  232.             'Mozilla/5.0 (X11; U; Linux i686; ru; rv:1.8) Gecko/20060112 ASPLinux/1.5-1.2am Firefox/1.5',
  233.             'Opera/8.54 (Windows NT 5.1; U; en)',
  234.             'Opera/9.00 (Windows NT 5.1; U; ru)',
  235.             'Opera/9.01 (Windows NT 5.1; U; ru)',
  236.             'Opera/9.02 (Windows NT 5.0; U; ru)',
  237.             'Opera/9.02 (Windows NT 5.1; U; ru)',
  238.             'Opera/9.02 (Windows NT 5.2; U; en)',
  239.             'Opera/9.10 (Windows NT 5.1; U; ru)',
  240.             'Opera/9.20 (Windows NT 5.1; U; en)',
  241.             'Opera/9.20 (Windows NT 5.1; U; ru)',
  242.             'Opera/9.21 (Windows NT 5.1; U; ru)',
  243.             );
  244.  
  245.         $this->userAgent = $browsers[array_rand($browsers)];
  246.         return true;
  247.     }
  248. }
  249.  
  250. ?>

]]> http://php.southpark.com.ua/2007/browser-komponent-dlya-cakephp/feed/ 11 Тестирование компонентов CakePHP http://php.southpark.com.ua/2007/komponent-browser-dlya-cakephp/ http://php.southpark.com.ua/2007/komponent-browser-dlya-cakephp/#comments Sat, 13 Oct 2007 11:31:21 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/10/14/komponent-browser-dlya-cakephp/ Проникшись идеей Test-Driven Development, я решил наконец делать тесты для новых проектов. Предлагаю написать компонент Browser, на котором посмотрим как тестируются компоненты.

Для большинства проектов не нужно фанатично тестировать всё, что теоретически может случиться. Обычно достачно проверить базовую функциональность.

Например, наш браузер должен:

  1. загружаться в контроллер без ошибок
  2. скачивать http://www.google.com

Для того, чтобы протестировать пункт 1, надо создать пустой контроллер и попробовать загрузить в него наш компонент.

app\tests\cases\components\browser.test.php

plain text
PHP:
  1. <?php
  2.  
  3. class BrowserTestController extends Controller {
  4.     var $name = 'BrowserTest';
  5.     var $uses = null;
  6.     var $components = array('Browser');
  7. }
  8.  
  9. class BrowserTest extends CakeTestCase {
  10.     var $name = 'Browser';
  11.     var $controller = null;
  12.     var $Browser = null;
  13.  
  14.     function setUp() {
  15.         $this->controller =& new BrowserTestController();
  16.  
  17.         restore_error_handler();
  18.         @$this->controller->_initComponents();
  19.         set_error_handler('simpleTestErrorHandler');
  20.  
  21.         $this->Browser = $this->controller->Browser;
  22.         $this->Browser->startup($this->controller);
  23.         ClassRegistry::addObject('view', new View($this->controller));
  24.     }
  25.  
  26.     function testDownload() {
  27.         $result = $this->Browser->get('http://www.google.com');
  28.         $this->assertPattern('/<html>/i', $result);
  29.         $this->assertPattern('/HTTP\/1.1 200 OK/', $this->Browser->header);
  30.     }
  31.  
  32.     function testUserAgent() {
  33.         $this->assertPattern('/^.* \(/', $this->Browser->userAgent);
  34.     }
  35.  
  36. }
  37. ?>

]]> http://php.southpark.com.ua/2007/komponent-browser-dlya-cakephp/feed/ 6