Скраппер для своего сайта
 

У меня есть свой с описаниями отдельных фильмов. Мне нужен скраппер для этого сайта. По названию файла сайт будет выдавать описание. Соответственно, поскольку это мой собственный сайт, то формат выдачи я могу сделать каким угодно (json, xml и т.п.).

Интересует вопрос - есть ли готовый скраппер, который нужно минимально переделать (название :), url и т.п.), чтобы не изобретать велосипед и максимально упростить свою работу в этой части?

Сайт сможет выдавать в т.ч. постер, url трейлера, кинопоиск id.

Если знаешь инглиш, то тебе стоит заглянуть в официальный вики Scrapers и HOW-TO:Write media scrapers.

Я мало знаком с теорией, скорее всего удобнее будет выдача в xml (с заменой спецсимволов), потому что сраппер представляет из себя набор регулярных выражений, а для json будет сложнее регулярки писать.

Из того что твой сайт может выдавать, я думаю следует добавить фан-арт (это просто красиво), а не только постер. На счет кинопоиск id, не думаю что он кому-то нужен, лучше сразу рейтинг, количество проголосовавших и т.п.

Я думаю наиболее продвинутым считается стандартный themoviedb.org, хотя и не уверен, в любом случае можешь просто открыть в редакторе его. Если хочешь посмотреть пример выдачи по фильму, то нужно включить Дебаг в Настройках-Система и запустить скраппер, но так что бы были удачные попытки, в логе останется url с api-key и запросом.

Да, вики уже читаю.
Надеялся, что есть что-то готовое :)

Кинопоиск id - думал как раз про ваш сервис MyShows (Service), что ему он понадобится. Но (спасибо за ответ в соотв. теме) теперь понятно, что он не нужен.

Где лучше всего (и проще) фан-арты брать? На кинопоиске их ведь нет?

Ну фан-арт это я сказал как привык в XBMC, на самом деле это обои http://www.kinopoisk.ru/film/418839/wall/ типо этих, на themoviedb.org тоже есть. Короче большая прямоугольная картинка на весь экран.

Начал писать свой скрапер и столкнулся с огромной проблемой - в скрапере не удается получить оригинальное имя файла (XBMC его предварительно "очищает" - удаляет точки, расширение, DVDRip и т.п.). Это как-то лечится?

Судя по моему расследованию все сводится к функции в VideoInfoScanner.cpp под названием CVideoInfoScanner::RetrieveInfoForMovie строка 549. К скрапперу ведет "FindVideo(pItem->GetMovieName(bDirNames), info2, url, pDlgProgress))" на 585, т.е. она идет к Scraper.cpp функции CScraper::FindMovie на 556. Получается из оригинального имени файла в Название превращает pItem->GetMovieName(bDirNames), соответственно это CFileItem::GetMovieName на 2552 FileItem.cpp. Дальше я копать не стал, но судя по входным данным, там нет выбора использовать Название или имя файла. Похоже что бы это исправить нужно вводить новую настройку и перекомпилировать XBMC.
По сути это правильно, потому что бывает фильм в виде образа диска, там какой-нибудь VTS_01_0.VOB, или в meta-полях контейнера скрыто нормальное название, а эта функция как раз возвращает Название фильма, а не преобразованное имя файла.

Да, я тоже немного исходники смотрел. Частично может помочь настройка через advancedsettings, но в этом случае скраппер будет работать лишь у тех, у кого такая настройка сделана (и перестанут работать другие скрапперы) - что мне совсем не нравится. Пытался на github'e зарегистрировать соответствующий запрос ("передавать имя файла в $$3 в скраппер"), но он был закрыт с комментарием, что они принимают только pull-реквесты. Но в С++ я совсем не разбираюсь ((

Upd. т.е. на самом деле не нужно вместо "названия фильма" передавать имя файла. К передающимся сейчас в $$1 названии фильма и в $$2 - году нужно добавить $$3 с именем файла.

Upd2. следующее интересное наблюдение - в output можно использовать переменную вида $INFO[language] - подставляет язык XBMC. Есть ли аналог, содержащий имя файла - пока не ясно.
Upd3. хм, нет. $INFO позволяет получать данные из настроек скрипта, т.е. мне никак не поможет.

Имя файла не обязательно. Тут два выхода есть
1. Держать библиотеку в папках с названием фильма а в XBMC ставить галку "Файлы в отдельных папках с названиями фильмов". Тогда в $$1 будет название.
2. Своя база - тут и карты в руки. Сам сейчас пишу что-то подобное. У меня, к примеру, есть такая табличка

выгребаю оттуда mid так -

предварительно удалив из $query (это поисковый запрос) всё кроме букв цифр и пробелов. В title,originaltitle,translit,badencoding тоже лишние символы удалены
Я выдаю в xml с заголовком header("Content-Type: text/xml");
А скрапер такой -

Это естественно, что есть множество обходных путей (я, например, в результате стал использовать nfo файлы), но все они неудобны и некрасивы. Имя файла в $$3 очень бы помогло.

Вернулся к XBMC (точнее, теперь уже к Kodi)... Передачу имени файла не реализовали?)