Комментарии на запись: PHP парсер PHP Simple HTML DOM Parser

От: Yurii

Yurii — Thu, 07 Jul 2011 14:22:37 +0000

echo “Peak memory usage: “.(memory_get_peak_usage(true)/1024/1024).” MB\r\n”;
Посмотрите СКОКО ОН ЖРЕТ!!!

От: Павел

Павел — Sat, 15 Jan 2011 10:10:03 +0000

Упс… Только ж не забудьте убрать экранирующие слэши, а вместо двойных - одинарные.
P.S. Админ, сделай что-нибудь с кодом подтверждения. Я ввожу правильно. Трезв.

От: Павел

Павел — Sat, 15 Jan 2011 10:01:14 +0000

Да нет же, разобрался уже давно. Всё дело в файле base.txt. Вместе со строчкой из этого файла в переменную $keyword подхватываются символы перевода строки \\n и \\r. Помогло это:
$keyword_old = array (
\"\’\\r\’ si\",
\"\’\\n\’ si\",
);
$keyword_new = array (
\"\",
\"\",
);
$keyword = preg_replace($keyword_old, $keyword_new, $keyword);

От: Megaultraseo

Megaultraseo — Thu, 13 Jan 2011 19:55:44 +0000

Павел, может надо использовать urlencode?

От: Иван

Иван — Mon, 20 Dec 2010 20:54:25 +0000

Павел попробуй так там уже допиши все как надо.
$url = (’http://www.google.com/search?hl=en&q=’.$keyword);

От: Дмитрий

Дмитрий — Sat, 06 Nov 2010 22:43:33 +0000

Ребят, такой вопрос.
Парсю html-код

$text = file_get_html(’http://googe.com’);

Теперь ведь код мне надо записать в базу данных, представим, что есть бд, с таблицей одной, у нее одно поле, например sample.

Как это сделать?

От: Павел

Павел — Wed, 15 Sep 2010 14:10:07 +0000

Здравствуйте. Прошу подсказать. Два дня голову ломаю. Написал небольшой парсер, но что-то он не совсем правильно работает. Я его привожу в немного урезанном виде, так как обработчик напарсенного текста работает нормально.

ob_implicit_flush();
$keywords = file(\"keys.txt\");
$zapisi = fopen(\"base.txt\", \"a\");
foreach ($keywords as $keyword)
{
$num = mt_rand(10,20);
$url = (\"http://www.google.com/search?hl=en&num=$num&q=keyword\");
$content = file_get_contents($url);
$pos = strpos($content, \"<div id=ires>\");
$content = substr($content, $pos);
$pos = strpos($content, \"<div id=leftnav>\");
$content = substr($content, 0, $pos);
fwrite($zapisi, $content. \"\\n\");
echo $content, $url;
sleep (10);
}
fclose($zapisi);
?>

(На кавычки внимания не обращайте,- пришлось изменить, чтобы отобразился код на этой странице)
Файл keys.txt - список кейвордов, где для гугла пробелы заменены на \"+\".
Когда я заменяю адрес с переменной $keyword
http://www.google.com/search?hl=en&num=$num&q=$keyword
на простой запрос, например слово keyword
http://www.google.com/search?hl=en&num=$num&q=keyword ,
то при парсинге в файл base.txt вписывается всё как надо. Цикл тоже запускается, но естественно запрос каждый раз повторяется один и тот же.
Когда же я в урле ставлю обратно переменную $keyword , парсится какая-то ерунда, совсем не по теме, хотя и с файла keys.txt при каждом новом цикле берется новый по порядку запрос. Может кто знает, что в коде не так. Не программер я, к сожелению.

От: Arthur

Arthur — Fri, 28 May 2010 22:13:02 +0000

Для тех, у кого проблемы с пожиранием памяти, юзайте clear();

foreach($html->find(’div[class=”video]’) as $container) {
$item[’title’] = $container->find(’h2[class=”videoTitle”]’, 0)->plaintext;
$item[’img’] = $container->find(’img[class=”t”]’, 0)->src;
$item[’href’] = str_replace(”/”, “”, $container->find(’a[class=”s”]’, 0)->href);
$containers[] = $item;

//И сама очистка
$container->clear();
}
//и ещё раз
$html->clear();