Парсим данные из olx

Как то раз мне пришлось искать квартиру и первые ссылки что были в интернете вели на площадку OLX .Но все новые предложения уходили в первые пол часа .Вот тогда и пришла идея парсить olx сохранять в базу последнее предложение и поставив скрипт на cron обновлял каждую минуту ,если появлялось новое предложение скрип писал это в базу и оправлял мне в телеграм.

Для парсинга использовал самую простую библиотеку phpQuery.

Запросы делаю через Curl.

/*подключаем библиотеку*/
 require ('phpQuery.php');

 /*подключение к базе*/
 require ('bd.php');
/*функция получения контента в переменную*/

function curl_content($url){
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
// curl_setopt($ch, CURLOPT_HEADER, false);
curl_setopt($ch, CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; WinNT; en; rv:1.0.2) Gecko/20030311 Beonex/0.8.2-stable');
//curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefiles);
//curl_setopt($ch, CURLOPT_NOBODY,true);
//curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefiles);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER ,false);
//////курл
$html=curl_exec($ch);
return $html;
unset($url);
}
$html=curl_content('https://www.olx.ua/nedvizhimost/arenda-kvartir/dolgosrochnaya-arenda-kvartir/uman/');// адрес страници с которой парсим даные
phpQuery::newDocument($html);
//выводим в цыкле
$menu = pq('#offers_table')->find('.breakword');

$prices=pq('.space')->find('a.detailsLink');

$sr= new Test();
print_r($sr->b);
$i=0;
foreach ($menu as $res) {
 $pqres=pq($res);//оборачеваем в pq для использования в foreach
$linkarray=$pqres->find('a')->attr('href');//извлекаем ссылки
$pricearray=$pqres->find('p.price>strong')->text();//извлекаем цену
$img=$pqres->find('img.fleft')->attr('src');//извлекаем картинки
$url = $linkarray;

На сколько знаем чтобы узнать номер нужно нажать "показать номер ". Чтобы обойти это есть вот такой скрип

$cookie_path = $_SERVER['DOCUMENT_ROOT'].'/cookie.dat';
preg_match('|-ID(.*).html|', $url, $id);
$olx = curl_init($url);
curl_setopt($olx, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($olx, CURLOPT_RETURNTRANSFER, true);
curl_setopt($olx, CURLOPT_HEADER, 1);
curl_setopt($olx, CURLOPT_COOKIEFILE, $cookie_path);
curl_setopt($olx, CURLOPT_COOKIEJAR, $cookie_path);
$result = curl_exec($olx);
$content = $result; 
curl_close($olx);
preg_match("|phoneToken = '(.*)';|", $result, $token);
$olx_number = curl_init('https://www.olx.ua/ajax/misc/contact/phone/' . $id[1] . '/?pt=' . $token[1]);
    curl_setopt($olx_number, CURLOPT_HTTPHEADER, [
            'Host: www.olx.ua',
            'Accept: */*',
            'Accept-Language: uk,ru;q=0.8,en-US;q=0.5,en;q=0.3',
            'Accept-Encoding: gzip, deflate, br',
            'Connection: keep-alive',
            'X-Requested-With: XMLHttpRequest'
        ]);
        curl_setopt($olx_number, CURLOPT_REFERER, $url);
        curl_setopt($olx_number, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
        curl_setopt($olx_number, CURLOPT_COOKIEFILE, $cookie_path);
        curl_setopt($olx_number, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($olx_number, CURLOPT_RETURNTRANSFER, true);
        $result = curl_exec($olx_number);

        curl_close($olx_number);
        

        $json = json_decode($result);

Далее заходим на страницу чтобы получить текст что внутри (Описание).И подготовим данные для записи в базу

phpQuery::newDocument($content);
$htmlcon=pq('#textContent>p')->text();
$big_img=pq('.photo-glow')->find('img')->attr('src');

phpQuery::newDocument($json->value);
$tel=pq('span')->text();

echo $json->value;
echo $big_img;


if (empty($tel)) {
    $tel=$json->value;
}


$resarray= array(
  'imglink'=>$img,
  'link' => $linkarray,
  'price' =>$pricearray,
  'tel' => $tel,
  'content'=> $htmlcon,
);

$linkimgbd=$resarray['imglink'];
$linkbd=$resarray['link'];
$pricebd=$resarray['price'];
$telbd=$resarray['tel'];
$conrentbd=trim($resarray['content']) ;

Следующий шаг, работа с базой и api телеграма

/*выборка з бази*/
$resultbd =mysqli_query($mysqli,"SELECT * FROM base ORDER BY id DESC") or die (mysql_error());
$rowbd =mysqli_fetch_array($resultbd);



if ($rowbd['link']==$resarray['link']) {
	echo "нету новых";
	echo$resarray['content'];
}
else{



echo "Есть новые обявления";
$mysqli->query("INSERT INTO base (link,tel,price,content) 	VALUES ('$linkbd','$telbd','$pricebd','$conrentbd'); ") or die (mysql_error());


$tokens = 'XXXXXXXXXX:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX';// токен что выдал вам @BotFather 
$idChat = -XXXXXXXXXXXXXX;//id чата куда нужно отправить


//отправляем фотку
$param = [
'chat_id'=> $idChat,
'photo'	 => $big_img,
];

curl_content('https://api.telegram.org/bot'.$tokens.'/sendPhoto?'.http_build_query($param));



//отправляем ссылку

$masenge = $conrentbd.chr(10).'------------- '.chr(10).'Цена оренди '.$pricebd.''.chr(10).'-----'.chr(10).'тел: '.$telbd.''.chr(10).$linkbd;
$param = [
'chat_id'=> $idChat,
'text'	 => $masenge,
];

curl_content('https://api.telegram.org/bot'.$tokens.'/sendMessage?'.http_build_query($param));



}





echo "---------------
";
echo $rowbd['link'];

echo "---------------
";

echo $resarray['link'];








if(++$i == 1) break;//ограничение в 1 вывода

}

phpQuery::unloadDocuments();