Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
-
hellrised
Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
Я в этом деле ничего не понимаю, и возможно спрошу\скажу глупость, но я попробую.
Есть и-нет магазин. Есть необходимость раз-два в неделю проверить наличие \ остутсвие 200 - 300 наименований товара. В идеале вывести результат в таблицу.
Насколько это вообще реально? Насколько трудоемко, и, как следствие, насколько дорого заказать такую вещь?
Предполагаю, что все-таки зависит еще и от того самого и-нет магазина, но пока вопрос такой, какой есть, без конкретики.
Спасибо.
Есть и-нет магазин. Есть необходимость раз-два в неделю проверить наличие \ остутсвие 200 - 300 наименований товара. В идеале вывести результат в таблицу.
Насколько это вообще реально? Насколько трудоемко, и, как следствие, насколько дорого заказать такую вещь?
Предполагаю, что все-таки зависит еще и от того самого и-нет магазина, но пока вопрос такой, какой есть, без конкретики.
Спасибо.
-
Coutty
Re: Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
Если разметка и адреса всех страниц схожие, то реализовать сбор информации достаточно просто (адреса, например, имеют номера от 1.html до 300.html или что-то в этом духе). Кодируется, думаю, за час (плюсуем сюда время на формирование красивого отчёта, обновления по расписанию, создание интерфейса и т.п.)
Если надо на странице каталога выискивать ссылки и по ним скачивать страницы, то это сложнее, но незначительно. Опять же, "ровная" разметка значительно упрощает процедуру.
Да, ещё: если владелец сайта установил ограничения на загрузку страниц (например, не больше 10 штук в секунду или что-то в этом духе), то надо будет ещё предусматривать интервалы между запросами. Проф, может, это быстро сделает, а новичку придётся повозиться.
Если надо на странице каталога выискивать ссылки и по ним скачивать страницы, то это сложнее, но незначительно. Опять же, "ровная" разметка значительно упрощает процедуру.
Да, ещё: если владелец сайта установил ограничения на загрузку страниц (например, не больше 10 штук в секунду или что-то в этом духе), то надо будет ещё предусматривать интервалы между запросами. Проф, может, это быстро сделает, а новичку придётся повозиться.
-
hellrised
Re: Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
вообще надо не совсем сбор информации. есть код товара. этот код берется из таблицы (ее несложно сделать вручную - час/ два моего времени), ищется на сайте, определяется его наличие по соответствующей надписи (этот момент меня смущает больше всего), и ставится в таблице соответсвующая этому товару запись - есть он или отсутствует.
вообще скорость сканирования совсем не критична, критично делать это вручную.
вообще скорость сканирования совсем не критична, критично делать это вручную.
-
Sham
Re: Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
Регекспы подразумевают постоянство хтмл-кода. Удобнее сделать API для получения данных в удобном формате (XML,JSON и т.д.)
-
hellrised
Re: Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
Регекспы - тут не пропущен пробел или точка?А то я нервничаю при виде этого слова. 

-
Sham
Re: Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
Регексп - регулярное выражение (много букв). Парсинг хтмл-кода идет в основном за счет них (preg_match и т.д.).
-
Coutty
Re: Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
Sham, думаю, речь идёт о разборе чужого интернет-магазина, т.ч. API вряд ли получится сделать. Или о своём всё-таки? Нет данных.
Цитата hellrised:
есть код товара. этот код берется из таблицы, ищется на сайте, определяется его наличие по соответствующей надписи, и ставится в таблице соответсвующая этому товару запись - есть он или отсутствует.
Каким образом он ищется? Поисковым движком или подставляется куда-нибудь в адресную строку типа id=8387?
Найти конкретное слово в тексте - очень просто, если оно единственное на странице. Смущать не должно
А я в первую очередь подумал о простой функции поиска - без регулярных выражений.
Цитата hellrised:
есть код товара. этот код берется из таблицы, ищется на сайте, определяется его наличие по соответствующей надписи, и ставится в таблице соответсвующая этому товару запись - есть он или отсутствует.
Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
Каким образом он ищется? Поисковым движком или подставляется куда-нибудь в адресную строку типа id=8387?
Найти конкретное слово в тексте - очень просто, если оно единственное на странице. Смущать не должно

А я в первую очередь подумал о простой функции поиска - без регулярных выражений.
-
hellrised
Re: Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
магазин чужой.
Адреса страниц типа - [url=http://www.адрес_магазина]http://www.адрес_магазина[/url] /код_товара_типа_AB123C /название_товара_с_подчеркиваниями_вместо_пробелов. html
если уж делать исходную таблицу кодов интересующих товаров, то вместе с его кодом можно воткнуть и адрес страницы.
Видимо поиск товара ни к чему, если его адрес известен. Остается автоматом найти метку "товар в наличии" или ее отсутствие. (в коде страницы даже мне не составило труда его найти вручную)
Адреса страниц типа - [url=http://www.адрес_магазина]http://www.адрес_магазина[/url] /код_товара_типа_AB123C /название_товара_с_подчеркиваниями_вместо_пробелов. html
если уж делать исходную таблицу кодов интересующих товаров, то вместе с его кодом можно воткнуть и адрес страницы.
Видимо поиск товара ни к чему, если его адрес известен. Остается автоматом найти метку "товар в наличии" или ее отсутствие. (в коде страницы даже мне не составило труда его найти вручную)
-
Coutty
Re: Можно-ли собрать оптом инфу о статусе товаров с и-нет магазина?
Ну что ж, если все ссылки будут, то вообще всё просто. А если страницы открываются даже по запросу [url=http://www.адрес_магазина]http://www.адрес_магазина[/url] /код_товара_типа_AB123C / (без дальнейшей части), то и ссылки не нужны - кода хватит.
Вопрос решён?
Вопрос решён?
