PHP в SouthPark » CakePHP http://php.southpark.com.ua Хитрости и секреты CakePHP Mon, 07 Jun 2010 09:41:42 +0000 http://wordpress.org/?v=2.9.2 en hourly 1 Отладка PHP с FirePHP в Firebug http://php.southpark.com.ua/2008/cakephp-firebug-firephp/ http://php.southpark.com.ua/2008/cakephp-firebug-firephp/#comments Fri, 11 Jul 2008 16:29:07 +0000 Владимир Лучанинов http://php.southpark.com.ua/?p=77 Я часто ругаюсь на print_r() и чуть более продвинутый pr() потому что выводимая информация перемешивается с тем, что должен видеть пользователь. Также раздражает просмотр объектов с огромными массивами информации. Мне не очень нравится Javascript с его дурацким синтаксисом, но, наверное, единственное, что меня в нём греет - это Firebug, которые делает отладку не столь ужасной. Приятно, когда можно сделать console.log(everything, you, want); и потом просматривать информацию в нормальном раскрывающемся дереве, а не в огромной простыне.

Для этого я даже когда-то написал JsDebugHelper, но что-то меня в нём смущало (наверное, eval :) ) и в итоге я им пользовался всего пару раз. Сегодня я нашёл более удобный способ скрестить Firebug с PHP - FirePHP.

FirePHP состоит из 2 частей - Extension к Firefox и PHP-класс FirePHP. Скачайте их с сайта FirePHP - firephp.org. Достаньте из FirePHPLibrary-FirePHPCore-x.x.x.tar.gz в папке \FirePHPCore\lib\FirePHPCore\ файл FirePHP.class.php и разархивируйте его в папку vendors вашего проекта на CakePHP.

Добавьте в config/bootstrap.php

plain text
PHP:
  1. App::import('Vendor', 'FirePHP', array('file'=>'FirePHP.class.php'));
  2. function fb() {
  3.     if (Configure::read('debug')>=1) {
  4.         $instance = FirePHP::getInstance(true);
  5.         $args = func_get_args();
  6.         return call_user_func_array(array($instance,'fb'),$args);
  7.     }
  8. }

Теперь вы можете писать

plain text
PHP:
  1. fb('Hello World'); // Defaults to FirePHP::LOG
  2.  
  3. fb('Log message'  ,FirePHP::LOG);
  4. fb('Info message' ,FirePHP::INFO);
  5. fb('Warn message' ,FirePHP::WARN);
  6. fb('Error message',FirePHP::ERROR);
  7.  
  8. fb('Message with label','Label',FirePHP::LOG);
  9.  
  10. fb(
  11.     array(
  12.         'key1'=>'val1',
  13.         'key2'=>array(
  14.             array('v1', 'v2'),
  15.             'v3'
  16.         )
  17.     ),
  18.     'TestArray',
  19.     FirePHP::LOG
  20. );
  21.  
  22. function test($Arg1) {
  23.     throw new Exception('Test Exception');
  24. }
  25. try {
  26.     test(array('Hello'=>'World'));
  27. } catch(Exception $e) {
  28.     fb($e);
  29. }
  30.  
  31. fb(
  32.     array(
  33.         '2 SQL queries took 0.06 seconds',
  34.         array(
  35.             array('SQL Statement','Time','Result'),
  36.             array('SELECTFROM Foo','0.02',array('row1','row2')),
  37.             array('SELECTFROM Bar','0.04',array('row1','row2'))
  38.         )
  39.     ),
  40.     FirePHP::TABLE
  41. );

И получите такую красивую картинку
FirePHP

Очень важная вкусность - всё передаётся не в response text, а в headers. Плюс в том, что можно отлаживать AJAX-запросы и изображения, не мусорится вывод. Недостаток - все fb() должны вызываться до того как что-то будет выведено на экран. Но недостаток не так критичен, ведь тру-программисты не выводят текст в моделях и контроллерах :) . В крайнем случае, можно использовать кеширование вывода (ob_start,...).

Эх, если бы все ошибки CakePHP можно было бы автоматически выводить в Firebug в 2 строки: dump и trace (как Exception в примере). Было бы очень удобно.

]]> http://php.southpark.com.ua/2008/cakephp-firebug-firephp/feed/ 12 Нужен CakePHP-программист http://php.southpark.com.ua/2008/cakephp-programmer/ http://php.southpark.com.ua/2008/cakephp-programmer/#comments Mon, 28 Apr 2008 10:07:00 +0000 Владимир Лучанинов http://php.southpark.com.ua/?p=72 Мне недавно предложили участие в проекте как раз таком, как я больше всего люблю – автоматический сбор и анализ информации, сотни тысяч записей, всякие там XML, AJAX, Google Maps и самое важное – кажется, адекватные заказчики.

К сожалению, у меня сейчас совсем нет свободного времени, и я вспомнил, что у меня есть блог, в который я давно не писал. И этот блог читают более сотни CakePHP-программистов, которым может быть интересен этот проект.

Меня попросили не рассказывать о деталях проекта, но вы можете отправить краткое резюме на jinis_services (собачка) yahoo.de и попросить ТЗ.

Кстати, если ещё кому-то нужны программеры на Cake – оставляйте комментарии. Ко мне уже не первый раз обращаются с блога, может быть, сделаю отдельную страничку для вакансий.

]]> http://php.southpark.com.ua/2008/cakephp-programmer/feed/ 11 Что делать, если скрипт съедает 50Гб памяти? http://php.southpark.com.ua/2008/chto-delat-esli-skript-sedaet-50gb-pamyati/ http://php.southpark.com.ua/2008/chto-delat-esli-skript-sedaet-50gb-pamyati/#comments Mon, 17 Mar 2008 16:50:24 +0000 Владимир Лучанинов http://php.southpark.com.ua/2008/chto-delat-esli-skript-sedaet-50gb-pamyati/ Я всегда выступал за то, что в большинстве случаев надо, в первую очередь, оптимизировать время разработчика, а не пытаться написать самый быстрый и нетребовательный к ресурсам код. Если код работает медленно или съедает много памяти, то можно это иногда обходить другими путями.

В моём текущем проекте есть Customers, у которых есть много Orders. Надо эти Orders обработать и вывести обработанную информацию.

plain text
PHP:
  1. foreach ($customers as &$customer) {
  2.     $id = $customer['Customer']['id'];
  3.    
  4.     $orders = $this->processOrders($id); // eats a lot of memory
  5.     $customer['Order'] = $orders;
  6. }
  7.  
  8. $this->set(compact('customers'));

Но функция processOrders($customerId) работает как-то странно, при каждом новом вызове съедая 100Мб памяти. И после 40 клиентов заканчивается физическая память и начинается жуткий своп.

Программист-идеалист разбирался бы в этой странной функции долго и нудно, смотрел, где утечка памяти, оптимизировал алгоритм. Я посмотрел мельком на эту функцию, понял, что на её понимание может уйти несколько часов. Потом заметил, что для каждого клиента обработка заказов происходит только один раз и можно просто разбить работу скрипта на части. Пусть скрипт обрабатывает 10 клиентов (съедая всего 1Гб памяти), а потом перезапускается.

plain text
PHP:
  1. $counter = 0;
  2. foreach ($customers as $customer) {
  3.     $id = $customer['Customer']['id'];
  4.    
  5.     if (Cache::read('Customer.Order.'.$id)==false) {
  6.         $orders = $this->processOrders($id); // eats a lot of memory
  7.         Cache::write('Customer.Order.'.$id, $orders);
  8.         if (++$counter>=10) {
  9.             exit('refreshing...<script>window.location.reload(true)</script>');
  10.         }
  11.     }
  12. }
  13.  
  14. foreach ($customers as &$customer) {
  15.     $id = $customer['Customer']['id'];
  16.     $customer['Order'] = Cache::read('Customer.Order.'.$id);
  17. }
  18.  
  19. $this->set(compact('customers'));

При этом получаем дополнительный бонус - если надо будет обработать заказы новых клиентов, то старые не будут заново обрабатываться, так как результат закеширован.

Спасибо CakePHP Cache и JavaScript.

]]> http://php.southpark.com.ua/2008/chto-delat-esli-skript-sedaet-50gb-pamyati/feed/ 23 CakePHP action из командной строки http://php.southpark.com.ua/2008/cakephp-action-iz-komandnoj-stroki/ http://php.southpark.com.ua/2008/cakephp-action-iz-komandnoj-stroki/#comments Mon, 04 Feb 2008 13:16:21 +0000 Владимир Лучанинов http://php.southpark.com.ua/2008/cakephp-action-iz-komandnoj-stroki/ Эх, если бы создатель PHP знал как будут мучать его "простенький скриптовый язык для домашних страниц". Я сам использую его часто для таких задач, для которых намного лучше подошли бы Perl, C# и Java. Но так как их знаю в режиме read-only, то у меня получается писать более эффективный код на PHP.

Меня в таких случаях раздражают 2 вещи:
1. Отсутствие многопоточности
В основном для загрузки/закачки одновременно нескольких файлов с нескольких серверов. Для загрузки обхожусь multi_curlом, для закачки можно написать алгоритм с неблокирующими сокетами. То есть, при желании, можно обойтись.
Для других задач можно также создавать другие процессы, но это не работает под Windows.

2. Проблемы с долгими скриптами
Известная ошибка Request timeout возникает, если не передавать никаких данных в браузер долгое время (вроде 30 секунд). Решается тем, что периодически выводится какой-то текст.

Я решал вторую проблему тем, что писал скрипты не в CakePHP и запускал их напрямую через php /path/to/script.php. Но ведь так хорошо было бы запускать CakePHP actions с командной строки, чтобы вешать их на cron.

Shells+Tasks теоретически могли бы подойти, но хочется, чтобы можно было запускать напрямую любой action.

Сейчас это выглядет вроде

45 * * * * /usr/bin/lynx -source http://example.com/controller/action
или
45 * * * * /usr/bin/wget -O - -q http://example.com/controller/action

(скопировано с задачи обслуживания Drupal)

А хотелось бы
45 * * * * php /home/www/example.com/index.php controller/action

И, оказывается, что решается это удивительно просто. В config/bootstrap.php добавляется

plain text
PHP:
  1. if (!empty($_SERVER['argv'][1])) {
  2.     $_GET['url'] = $_SERVER['argv'][1];
  3.     Configure::write('CLI', 1);
  4. } else {
  5.     Configure::write('CLI', 0);
  6. }

и можно запускать actions из командной строки.

В начале функций, которые выводят статус для того, чтобы передать что-то в браузер добавляется проверка

plain text
PHP:
  1. if (Configure::read('CLI')==1) return true;

, чтобы не мусорить stdout и не отвлекать php от основной задачи.

Насколько я знаю, сейчас связка Apache-PHP сделана довольно хорошо и от того, что скрипт запускается из командной строки, скорость выполнения практически не меняется, так что это просто для уверенности в том, что скрипт будет работать до конца.

Только не забывайте, от чьего имени выполняется скрипт. Потому что можно создать как root кучу файлов и папок, а потом apache не сможет получить к ним доступ.

]]> http://php.southpark.com.ua/2008/cakephp-action-iz-komandnoj-stroki/feed/ 8 Меню с выделением текущего раздела http://php.southpark.com.ua/2008/menu-element/ http://php.southpark.com.ua/2008/menu-element/#comments Fri, 01 Feb 2008 21:32:46 +0000 Владимир Лучанинов http://php.southpark.com.ua/2008/menu-element/ Практически на всех сайтах есть навигация в виде меню. К сожалению, в CakePHP нет хелпера, который бы помогал делать меню автоматически. Это вполне реализуемо, ведь на семантически правильно свёрстаных сайтах меню делается одинаково: <ul><li>...

Мне надоело делать меню вручную и я написал небольшой Element, который делает одноуровневое меню, выделяя текущий раздел.

В шаблоне (например, views/layouts/default.ctp) пишется

plain text
PHP:
  1. <?=$this->renderElement('menu', array('items'=>array(
  2.     'Главная' => '/',
  3.     'О компании' => '/pages/company',
  4.     'Услуги' => '/services/',
  5.     'Контакты' => '/feedbacks/add',
  6. )))?>

, где ключи - это названия разделов, а значения - пути к разделам в формате Router (то есть array('controller'=>'feedbacks', 'action'=>'add') будет работать).

Это выведет на главной такой код

plain text
PHP:
  1. <div class="menu">
  2.     <ul>
  3.         <li class="current">Главная</li>
  4.         <li><a href="/pages/company">О компании</a></li>
  5.         <li><a href="/services/">Услуги</a></li>
  6.         <li><a href="/feedbacks/add">Контакты</a></li>
  7.     </ul>
  8. </div>

Обёрточный div мне советуют делать наши верстальщики, чтобы было легче оформлять его как угодно с помощью CSS. Текущая страница выделена классом current и не является ссылкой. Если вы привыкли верстать по-другому, то код элемента интуитивно понятен.

/views/elements/menu.ctp

plain text
PHP:
  1. <div class="menu">
  2.     <ul>
  3.         <? $here = Router::url(substr($this->here, strlen($this->webroot)-1)) ?>
  4.         <? foreach ($items as $name=>$link): ?>
  5.             <? if (Router::url($link) != $here): ?>
  6.                 <li><?=$html->link($name, $link)?></li>
  7.             <? else: ?>
  8.                 <li class="current"><?=$name?></li>
  9.             <? endif ?>
  10.         <? endforeach ?>
  11.     </ul>
  12. </div>

Для стандартной темы CakePHP я вставляю главное меню в #header после h1 и применяю такой CSS:

plain text
CSS:
  1. #header {padding-bottom:27px}
  2. #header h1 {height: auto; float:left}
  3. #header div.menu ul {padding-top:0; float:right}
  4. #header div.menu ul li {float:left; list-style:none; font-weight:bold;}
  5. #header div.menu ul li a {color:#dd9; font-weight:normal}
  6. #header div.menu ul li a.current {color:#fff; text-decoration:none}

Вроде получилось в стиле Cake. Что скажете?

]]> http://php.southpark.com.ua/2008/menu-element/feed/ 20 Как сделать собственный шаблонизатор http://php.southpark.com.ua/2008/your-smarty/ http://php.southpark.com.ua/2008/your-smarty/#comments Mon, 28 Jan 2008 18:43:28 +0000 Владимир Лучанинов http://php.southpark.com.ua/2008/your-smarty/ Рано или поздно у каждого программиста возникает желание написать свой Smarty :) .
Называются разные аргументы - более быстрый, гибкий, удобный и так далее.

После того, как я начал пользоваться CakePHP ко мне неожиданно пришло просветление - это было как раз то, что я хотел. Но иногда возникают задачи, когда действительно нужны простейшие шаблонизаторы и CakePHP становится слишком тяжёлой артиллерией.

И тут все сразу смотрят в сторону eval. Первое, что приходит в голову - написать eval(file_get_contents('template.htm')). И, конечно же, это не работает. Потом читается документация и пишется что-то вроде eval('echo("'.file_get_contents('template.htm').'");');. Но и это тоже не работает.

А потом наконец включается мозг и приходит понимание, что нужно учится у умных людей. Например, тех, кто написал CakePHP :)
Они устанавливают нужные переменные, отключают вывод на экран, инклюдят шаблон, берут вывод из буфера и обрабатывают. Обычно даже это сильно сложно, можно переменные не устанавливать.

Например, чтобы

plain text
HTML:
  2. <head><title>{=$title}</title></head>
  3. <body>{=$content}</body>
  4. </html>

превратилось в

plain text
HTML:
  2. <head><title>My homepage</title></head>
  3. <body>Under construction</body>
  4. </html>

можно написать такую простенькую функцию.

plain text
PHP:
  1. <?php
  2.  
  3. function parsePage($params=array(), $template='main.tpl') {
  4.     ob_start(); // echo to buffer, not screen
  5.     include($template);
  6.     $html = ob_get_clean(); // get buffer contents
  7.    
  8.     foreach ($params as $key=>$value) {
  9.         $html = str_replace('{=$'.$key.'}', $value, $html);
  10.     }
  11.    
  12.     return $html;
  13. }
  14.  
  15. $params = array('title'=>'My homepage', 'content'=>'Under construction');
  16. $html = parsePage($params);
  17. echo($html);
  18.  
  19. ?>

Преимущество в том, что работает очень быстро, кода мало, верстальщикам можно объяснить суть шаблонов за пару минут.

Если вы знаете, как сделать шаблонизатор ещё проще - расскажите.

]]> http://php.southpark.com.ua/2008/your-smarty/feed/ 26 Вернуться назад и сообщить о результате http://php.southpark.com.ua/2007/redirect-back/ http://php.southpark.com.ua/2007/redirect-back/#comments Thu, 06 Dec 2007 18:03:04 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/redirect-back/ Некоторые задачи не совсем укладываются в парадигму Model-View-Controller, потому что у них нет как такового View. Они просто тихо делают свою задачу (backup, импорт/экспорт, оптимизация, удаление,...) и выдают либо, что всё ОК, либо ошибку. Раньше я для большинства таких задач использовал exit/die. Но это как-то не красиво.

Другой вариант - это делать так как в Cake-шаблонах по умолчанию

plain text
PHP:
  1. $this->Session->setFlash('Record was successfully deleted');
  2. $this->redirect(array('action'=>'index'), null, true);

Но раз уж есть возможность делать красивые flash-сообщения, то можно дальше оптимизировать код.
Тут надо учесть 2 вещи. Во-первых, я очень люблю, когда кода с которым работаешь, очень мало. У Джоела я прочитал интересное правило - функция должна помещаться в один экран без прокруток (тут, правда, я немного хитрю - меряю по основному 21" монитору, а не по второму 17"). Во-вторых, хоть все и советуют использовать фигурные кавычки для любого if, я иногда их не ставлю для return/die, то есть, когда конструкция завершает работу функции, либо для $i++, то есть когда кода очень мало. Поэтому было бы приятно вместо

plain text
PHP:
  1. if (!$id) {
  2.     $this->Session->setFlash('Invalid Customer.');
  3.     $this->redirect(array('action'=>'index'), null, true);
  4. }

писать

plain text
PHP:
  1. if (!$id) $this->redirectBack('error: Invalid Customer.');

А компьютер пусть сам догадывается, что это ошибка и нужно вывести "Invalid Customer." и что нужно переадресовать на предыдущую страницу.
Для этого в app_controller.php надо добавить

plain text
PHP:
  1. /**
  2. * Set flash message and redirect
  3. *
  4. * @param string $message Optional flash message. Accepted 'error: something', and 'ok: something'
  5. * @param string/array $url Redirect url. If not mentioned will redirect to previous page
  6. */
  7. function redirectBack($message=null, $url=null) {
  8.     if (!empty($message)) {
  9.         if (preg_match('/^error:(.+)$/', $message, $m)) {
  10.             $this->flash(trim($m[1]), 'error');
  11.         } elseif (preg_match('/^ok:(.+)$/', $message, $m) || preg_match('/^success:(.+)$/', $message, $m)) {
  12.             $this->flash(trim($m[1]), 'success');
  13.         } else {
  14.             $this->flash($message);
  15.         }
  16.     }
  17.  
  18.     if (empty($url)) {
  19.         $url = $this->referer();
  20.     }
  21.     $this->redirect($url, null, true);
  22. }

]]> http://php.southpark.com.ua/2007/redirect-back/feed/ 14 Модели и контроллеры CakePHP в подпапках http://php.southpark.com.ua/2007/organizing-subfolder/ http://php.southpark.com.ua/2007/organizing-subfolder/#comments Tue, 04 Dec 2007 12:42:56 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/organizing-subfolder/ Когда накапливается больше 20 контроллеров и моделей, то начинает казаться не такой уже и хорошей идея жёсткого закрепления папок, куда нужно помещать файлы определённого типа. Конечно, есть $modelPaths и $controllerPaths, но каждый раз назначать их вручную не так уж и приятно.

plain text
PHP:
  1. $modelPaths = array('/path_to_model_folder_A/', '/path_to_model_folder_B/');

В посте cakebaker.42dh.com/2007/11/22/organizing-your-code-with-folders/ рассказывается, что в последних версиях CakePHP можно создавать любые подпапки и Cake сам поймёт, где что искать.
Но у меня, во-первых, не получилось сходу это сделать и некоторые проекты не могут работать на последних night-билдах. Поэтому я использую альтернативное решение (почти всё одолжено отсюда - bakery.cakephp.org/articles/view/flexible-controller-and-modelpaths)

Просто добавьте этот код в config/bootstrap.php

plain text
PHP:
  1. function getSubFolders($baseDir) {
  2.     $result = array();
  3.  
  4.     $cwd =getcwd();
  5.     chdir($baseDir);
  6.     $dirs = glob("*", GLOB_ONLYDIR);
  7.     if (sizeof($dirs)> 0) {
  8.         foreach($dirs as $dir) {
  9.             $result[] = $baseDir.DS.$dir.DS;
  10.         }
  11.     }
  12.     chdir($cwd);
  13.  
  14.     return $result;
  15. }
  16.  
  17. $modelPaths = array_diff(getSubFolders(APP . 'models'), array('behaviors', 'datasources'));
  18. $controllerPaths = array_diff(getSubFolders(APP . 'controllers'), array('components'));

]]> http://php.southpark.com.ua/2007/organizing-subfolder/feed/ 10 Определение языка и кодировки. Компонент для CakePHP http://php.southpark.com.ua/2007/language-detection/ http://php.southpark.com.ua/2007/language-detection/#comments Mon, 03 Dec 2007 21:37:14 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/12/03/language-detection/ Для моего текущего проекта необходимо определять на каком языке пользователь вводит информацию. Причём это не сложный выбор между PHP и Perl, а, например, между английским и испанским. Сначала я хотел составить список самых распространённых слов в популярных языках - предлоги, частые глаголы и т.д. Почти сразу я понял, что точность будет небольшая, а работы - очень много, даже, если её буду делать не я :) .
Поэтому пришлось думать дальше. Мне больше всего понравился способ, в котором учитывается частотность букв, двух-, трёх- и четырёхбуквенных сочетаний.

Сначала система обучается - ей скармливается много текста и указывается, какой это язык. Она разбирает их на части и запоминает наиболее часто встречаемые как эталонные для этого языка.

Потом берётся текст с неизвестным языком и определяются наиболее часто встречаемые части в нём. Эти части сравниваются с эталонными и на основе этого определяется вероятность каждого из языков.

Я взял за основу код с http://boxoffice.ch/pseudo/ng.php, удалил лишнее, немного оптимизировал алгоритм и сделал код красивый и подходящий для CakePHP.

Определим язык для текста

plain text
PHP:
  1. $language = $this->LangDetect->detect('Учи олбанский и убей сибя ап стену.');

Не каждый человек сможет понять, что это за язык :) . А компонент понял - russian-utf8.
Кстати, сразу видно бонус - определяется кодировка. Для русского поддерживаются ISO, KOI8-R, UTF-8, Windows-1251.

Если надо определить несколько наиболее вероятных языков, то надо указать второй параметр true.

plain text
PHP:
  1. $language = $this->LangDetect->detect('Учи олбанский и убей сибя ап стену.', true);

Это выдаст:

plain text
PHP:
  2. (
  3.     [russian-utf8] => 30366
  4.     [bulgarian-utf8] => 31619
  5.     [ukrainian-utf8] => 33273
  6.     [serbian_cyrillic-utf8] => 33878
  7.     [belarusian-utf8] => 35596
  8. ...

Чем меньше значение, тем более вероятно, что это тот язык.

Полный список поддерживаемых языков (можно получить с помощью $this->LangDetect->listLanguages()):
afrikaans, albanian, alemannic, amharic-utf8, arabic-iso8859_6, arabic-utf8, arabic-windows1256, armenian, armenian-utf8, basque, belarusian-utf8, belarusian-windows1251, bosnian, breton, bulgarian-iso8859_5, bulgarian-utf8, catalan, chinese-big5, chinese-gb2312, chinese-utf8, croatian-ascii, czech-iso8859_2, czech-utf8, danish, dutch, english, esperanto, estonian, finnish, french, frisian, georgian, georgian-utf8, german, greek-iso8859_7, greek-utf8, hawaian, hebrew-iso8859_8, hebrew-utf8, hindi, hindi-utf8, hungarian, icelandic, indonesian, irish_gaelic, italian, japanese-euc_jp, japanese-shift_jis, japanese-utf8, korean, korean-utf8, latin, latvian, lithuanian, malay, manx, marathi, marathi-utf8, middlefrisian, mingo_iroquois, nepali, nepali-utf8, norwegian, persian, persian_farsi-utf8, persian_farsi-windows1256, polish-iso8859_2, polish-utf8, portuguese_brazil, portuguese_europe, quechua, romanian, rumantsch, russian-iso8859_5, russian-koi8_r, russian-utf8, russian-windows1251, sanskrit, scots, scots_gaelic, serbian-ascii, serbian_cyrillic-utf8, slovak-ascii, slovak-utf8, slovak-windows1250, slovenian-ascii, slovenian-iso8859_2, spanish, swahili, swedish, tagalog, tamil, tamil-utf8, thai, thai-utf8, turkish, turkish-utf8, ukrainian-koi8_u, ukrainian-utf8, vietnamese, welsh, yiddish-utf8

Чтобы компонент заработал, нужно скачать скомпилированную информацию о языках и положить этот fingerprint.dat в app/vendors.

А вот и сам компонент:

plain text
PHP:
  1. <?php
  2.  
  3. /**
  4. * Language detection component
  5. *
  6. * Most of code was copied from http://boxoffice.ch/pseudo/code_expl/code_class.php
  7. * but a lot of things were simplified and beautified
  8. *
  9. * @link http://php.southpark.com.ua
  10. * @author Vladimir Luchaninov
  11. * @version 1.0 (3 Dec 2007)
  12. *
  13. */
  14. class LangDetectComponent {
  15.     protected $fingerprint = null;
  16.     protected $ngrams = array();
  17.  
  18.     //reasonable defaults
  19.     public $ngramCount = 350;     //default nb of ngrams created from analyzed text
  20.     public $maxDelta = 140000;    //stop evaluation deviate strongly
  21.  
  22.     function startup(&$controller) {
  23.         $this->fingerprint = unserialize(file_get_contents(APP . 'vendors' . DS . 'fingerprint.dat'));
  24.     }
  25.  
  26.     /**
  27.      * Main function
  28.      *
  29.      * @param string $text Text with unknown language
  30.      * @param bool $onlyBest
  31.      *   true - detect the best language
  32.      *   false - detect all languages with possibilities
  33.      * @return LangDetect
  34.      */
  35.     function detect($text, $onlyBest = true) {
  36.         if (empty($text)) {
  37.             trigger_error('Text should not be empty');
  38.             return false;
  39.         }
  40.  
  41.         $this->createNGrams($text);
  42.  
  43.         if ($onlyBest){
  44.             return $this->compareNGramsOne();
  45.         } else {
  46.             return $this->compareNGrams();
  47.         }
  48.     }
  49.  
  50.     /**
  51.      * Get list of the available languages
  52.      *
  53.      * @return array List of languages
  54.      */
  55.     function listLanguages() {
  56.         $languages = array_keys($this->fingerprint);
  57.         sort($languages);
  58.         return $languages;
  59.     }
  60.  
  61.     /**
  62.      * Create ngram-array of given string
  63.      *
  64.      * @param string $text
  65.      *
  66.      */
  67.     protected function createNGrams($text) {
  68.         $array_words = explode(" ", $text);
  69.         $ngrams = array();
  70.         foreach($array_words as $word) {
  71.             $word = "_". $word . "_";
  72.             $wordLength = strlen($word);
  73.             for ($i=0; $i <$wordLength; $i++) { //start position within word
  74.                 for ($s=1; $s <4+1; $s++) {  //length of ngram
  75.                     if (($i + $s) <$wordLength + 1) { //length depends on postion
  76.                         $ngrams[] = substr($word, $i, $s);
  77.                     }
  78.                 }
  79.             }
  80.         }
  81.  
  82.         //count-> value(frequency, int)... key(ngram, string)
  83.         $blub = array_count_values($ngrams);
  84.  
  85.         //sort array by value(frequency) desc
  86.         arsort($blub);
  87.  
  88.         //use only top frequent ngrams (def by $ng_number)
  89.         $top = array_slice($blub, 0, $this->ngramCount);
  90.  
  91.         $this->ngrams = array();
  92.         foreach ($top as $keyvar => $valvar){
  93.             $this->ngrams[] = $keyvar;
  94.         }
  95.     }
  96.  
  97.     /**
  98.      * Compare ngrams: Textinput vs lm-files.
  99.      *
  100.      * @return array of languages with lowest deviation
  101.      */
  102.     protected function compareNGrams() {
  103.         $limit = $this->maxDelta;
  104.         foreach ($this->fingerprint as $basename => $language) {
  105.             $delta = 0;
  106.             //compare each ngram of input text to current lm-array
  107.             foreach ($this->ngrams as $key => $ngram){
  108.                 //match
  109.                 if(in_array($ngram, $language)) {
  110.                     $delta += abs($key - array_search($ngram, $language));
  111.                     //no match
  112.                 } else {
  113.                     $delta += 400;
  114.                 }
  115.                 //abort: this language already differs too much
  116.                 if ($delta> $this->maxDelta) {
  117.                     break;
  118.                 }
  119.             } // End comparison with current language
  120.  
  121.             //include only non-aborted languages in result array
  122.             if ($delta <($this->maxDelta)-400) {
  123.                 $result[$basename] = $delta;
  124.             }
  125.         } //End comparison all languages
  126.  
  127.         if(!isset($result)) {
  128.             $result = array('unknown'=>0);
  129.         } else {
  130.             asort($result);
  131.         }
  132.  
  133.         return $result;
  134.     }
  135.  
  136.     /**
  137.      * Variation - COMPARE ng's - Return 1 LANGUAGE only
  138.      *
  139.      * @return string Most probable language
  140.      */
  141.     protected function compareNGramsOne() {
  142.         $limit = 160000;
  143.         foreach ($this->fingerprint as $basename => $language) {
  144.             $delta = 0;
  145.             foreach ($this->ngrams as $key => $ngram){
  146.                 if (in_array($ngram, $language)) {
  147.                     $delta += abs($key - array_search($ngram, $language));
  148.                 } else {
  149.                     $delta += 400;
  150.                 }
  151.                 if ($delta> $limit) {
  152.                     break;
  153.                 }
  154.             }
  155.  
  156.             if ($delta <$limit) {
  157.                 $result[$basename] = $delta;
  158.                 $limit = $delta; //lower limit
  159.             }
  160.         }
  161.  
  162.         if (!isset($result)) {
  163.             return 'unknown';
  164.         } else {
  165.             asort($result);
  166.             //basename of best matching lm file
  167.             list($result_first, $ignore) = each($result);
  168.         }
  169.  
  170.         return $result_first;
  171.     }
  172.  
  173. }
  174. ?>

Картинка по теме: "TOP 10 языков технической документации"
lang_map.gif

]]> http://php.southpark.com.ua/2007/language-detection/feed/ 15 Холиварчик и 2 новогодних подарка http://php.southpark.com.ua/2007/holywar/ http://php.southpark.com.ua/2007/holywar/#comments Thu, 29 Nov 2007 01:06:33 +0000 Владимир Лучанинов http://php.southpark.com.ua/2007/11/29/holywar/ CakePHP - это только один из фреймворков. Признаюсь, я довольно поверхностно знаю Zend, Symfony и CodeIgniter (PHP), Rails (Ruby) и Django (Python). Так как по многим причинам мне приходится писать на PHP (сам я бы выбрал, наверное, Python - синтаксис нравится и готовых модулей много), то остаются только 4 известных фреймворка.

В предыдущем посте Sam, чей блог rmcreative.ru я сам читаю и часто кидаю ссылки нашим верстальщикам (это я так подлизываюсь, чтобы он меня в друзья добавил, как сделал Лог программиста :) ), сказал, что с помощью Zend легко делается то, что нельзя сделать на Cake. Ну, я, истинный евангелист Cake, сразу же нашёл как это сделать двумя способами.

Да, так вот, уверен, что среди читателей блога есть люди, которые не так фанатично любят Cake, а предпочитают по каким-то причинам evil Zend другие фреймворки. Но, уверен, вы довольно умны и приняли это решение обдуманно, понимая хотя бы в общих чертах философию и возможности других PHP-фреймворков, включая Cake.

Пожалуйста, напишите в комментах, что может хорошего делать ваш любимый фреймворк и чего не может Cake. Условия:

  • соревнуются только PHP-фреймворки;
  • возможность должна быть действительно полезной, а не надуманной;
  • скорость работы скриптов не обсуждается - предполагается, что все ресурсы бесконечны, кроме труда программиста.

Я попробую придумать как это сделать в CakePHP и, может быть, мне помогут такие гуру как Анатолий, Дмитрий и Влад (напомню, что на этом блоге после 5-го комментария rel="nofollow" убирается ;) ).

Чтобы вас раззадорить, посмотрите статистику поисковых запросов (Google Trends):
trends.gif
Знаю, что искать "zend framework", а не "zend" было не совсем честно, но "zend" много искали и задолго до появления Zend Framework.

И ещё одна просьба, которая поможет получить побольше откликов и больше шансов найти невозможные для CakePHP вещи. Вы ведь тоже программисты и у многих есть блоги. Напишите, пожалуйста, в следующем своём посте (где-то в конце, когда ваш пост уже дочитают) об этом посте. Ссылка "Почему CakePHP - отстой по сравнению с другими PHP-фреймворками" подойдёт :)
Если у вас нет своего блога, но вы Хабрачеловек, напишите, пожалуйста, в http://habrahabr.ru/blog/php/.

А теперь новогодние подарки!
Подарок 1
Тот, по чьей ссылке прийдёт больше всего людей (буду смотреть 25 декабря, так что можно успеть поставить ссылку несколько раз), получит от меня огромную благодарность и 10WMZ (или аналог в Яндекс.Деньгах). Если будет с Хабрахабра или какого-то другого сайта вроде News2.ru, то всё равно найду по нику создателя новости :)

Подарок 2
Человек, который придумает самую полезную вещь, которую нельзя будет относительно легко реализовать в CakePHP, тоже получит от меня 10WMZ. В качестве жюри будут выступать читатели блога (я сделаю голосование в отдельном посте 20 декабря, голосование закончится 25 декабря)

UPD 25 декабря 2007: Победитель определён.

]]> http://php.southpark.com.ua/2007/holywar/feed/ 21