В жизни каждого разработчика, рано или поздно приходят такие моменты когда необходимо перенести какие-то данные, из какого-либо формата (xml, csv и т.д) на сайт, который как правило уже находится в продакшене и времени на разработку уже нет, тогда приходится писать свои различные парсеры, в зависимости от формата исходных данных. Но в Drupal, есть уже и готовые решения, которые смогут нам помочь без написания своих костылей, а именно сегодня затронем модуль Feeds. На своём личном опыте, парсил через него 2000 позиций номенклатуры, которые содержали дополнительные поля, изображения, описание и заголовок – время на обработку файл в формате CSV было потрачено примерно около 2х минут, причём обработку можно запускать в фоновом режиме, что не может не радовать. Итак, давайте на примере будет разбираться с данным модулем. Первым делом, что нам необходимо сделать - это скачать и включить сам модуль, думаю с этим у вас вопросов не должно возникнуть, не забываем так же про установку зависимостей для него. Давайте реализуем следующую задачу, есть исходные данные в файле формата CSV, который имеет следующие поля:
- Заголовок
- Описание
- Категория
И есть тип материала «Товары», который так же содержит поля «Заголовок» и «Описание», а так же имеет словарь таксономии для определения категории товара, в моём случае тип материала выглядит вот так:
Структура словаря таксономии выглядит следующим образом:
И теперь нам необходимо из имеющегося файла формата CSV, выгрузить в тип материала «Товары» все данные, а именно Заголовок, Описание и привязку к категории, сам файл CSV для примера, вы можете скачать вот отсюда.
Итак, после активации модуля Feeds, в разделе «Структура» у вас появится дополнительный пункт «Feeds importers»
В котором нам будут доступны, 2 готовых импорта, это импорт «Нод» и импорт «Пользователей».
Я не буду затрагивать эти два импорта, а создам свой, что бы вы поняли как использовать данный модуль. Для этого жмём «Add importer»
Далее необходимо вписать название нашего будущего импорта и если хотите описание
Жмём «Далее». Теперь перед нами откроется страница с настройками нашего «импорта».
Приступим к настройке. Жмём «Настройки» и убираем периодичность импорта и оставляем галочку напротив «Import in submission» (запуск импорта по нажатию кнопки)
Далее «Сохранить». Теперь переходим в раздел «Сборщик», где нам необходимо выбрать откуда мы будем забирать данные, это может быть как удалённый сервер, так и локальный файл, в нашем случае это локальный файл, поэтому выбираем «File upload»
Жмём «сохранить». Далее переходим в настройки раздела «File upload», здесь мы можем вписать какие файлы могут быть загружены для импорта, видим, что в данном списке уже есть наш формат CSV, поэтому здесь всё оставляем по умолчанию
Переходим в раздел «Обработчик», где нам необходимо выбрать парсер для обработки нашего файла, в данном случае это «CSV parser»
Жмём «Сохранить». Переходим в раздел настройки «CSV parser», где мы можем выбрать знак разделителя полей, в данном случае в качестве разделителя у нас выступает «,», поэтому здесь оставляем настройки как есть
Переходим в раздел «Processor», где нам необходимо выбрать в какую сущность Drupal, мы будем импортировать данные, в данном случае у нас это ноды, поэтому выбираем «Node processor»
Жмём «Сохранить». Переходим в настройки «Node processor», где нам необходимо выбрать в какой тип материала мы будем производить импорт, в моём случае это «Товары», а так же выберем обновление уже имеющихся нод, и в качестве автора выберем «admin»
Жмём «Сохранить». Теперь переходим в «Mapping» раздела «Node processor», где нам необходимо выставить поля для соответствия, т.е. мы должны явно указать куда какие поля из файла CSV , мы должны залить в тип материала «Товары». У нас есть два исходных поля это «Источник», т.е название поля в файле CSV и «Цель», где мы должны выбрать поле типа материала.
Приступим, выбираем первое поле, которым у нас является «Заголовок», - оно у нас будет источником, а в качестве цели у нас соответственно будет так же «Заголовок».
Жмём «Сохранить». Для поля «Описание» по аналгии выбираем «Body»
Жмём «Сохранить». Теперь нам осталось лишь выбрать категорию, для этого источником у нас будет «Категория», а в качестве цели так же будет «Категория» (это название словаря, которое относится к данному типу материала)
И так же жмём «Сохранить». С настройками импорта мы закончили, теперь осталось лишь проверить, как это всё дело у нас заработает. Для этого переходим по адресу
И выбираем только-что созданный нами импорт, в моём случае «Импорт товаров»
Далее выбираем наш файл CSV и жмём «Импорт»
После чего мы увидим сообщение, что создано 4 материала
Для отката импорта необходимо перейти в пункт «Delete items», где потом нажать «Удалить»
Но пока в этом у нас нет необходимости, давайте посмотрим, как теперь выглядят наши 4 новых материала на сайте:
Как мы видим, всё выгрузилось именно так, как нам и было нужно. Надеюсь, принципы работы данного модуля стали более менее понятны. Feeds это мощный модуль, который может справиться с 80% всех необходимых задач, ну а если задача сверх сложная, то есть универсальный фреймворк «Migration», который позволяет переносить всё что угодно и откуда угодно, о нём мы поговорим в дальнейших уроках, а пока на этом всё.
Комментарии (52)
Здрасти! возможно ли спарсить название товара, картинку цену и описание вот с этого сайта? http://posudniymir.ru
Конечно!
а как?? ткните носом ))
готового csv или другого файла нет, парсить удаленно или как? подскажи браток уже нет сил, мозг рвется
вот этот файлик обработай в редакторе с помощью Поиск&Замена
http://posudniymir.ru/pricelist/?view=printable
Хороший у Вас стиль, все доступно и понятно. Очень интересно было бы почитать как парсить xml в друпал с дополнительными полями, к примеру дополнительными изображениями (несколько изображений с названиями к одному материалу)
Добрый день! А по крону из удаленного файла csv можно сделать?
да...
Еще вопрос! 70000 товаров осилит?
на счет этого, точно не скажу... пробуйте...
контент в виде стиха, с короткими строками! в файле нормально, а после импорта на странице сплошной текст, нету переноса в нужном месте строки! пробовал и в цсв и тхт форматы! как импортировать контент рус с переносами на новую строку? пробовал пошаманить с форматом текста почемуто не получилось задействовать теги бр
например:
title,body
"стих 1","Былик ли в моей жизни мужчины которых я хотела бы вернуть?
Нет. Но есть мужчина которого я не хотела бы потерять."
"стих 2","- Ну, и что он тебе сказал?
- Что любит меня.
- Прямо так сразу и сказал?
- Нет, как только я вышла замуж за другого."
а после импорта получилось:
Былик ли в моей жизни мужчины которых я хотела бы вернуть? Нет. Но есть мужчина которого я не хотела бы потерять.
- Ну, и что он тебе сказал?- Что любит меня.- Прямо так сразу и сказал?- Нет, как только я вышла замуж за другого.
ну так сложно сказать, возможно проблема кроется в текстовом формате, при сохранении ноды... Посмотрите в созданных через импорт нодах, какой используется текстовый формат.
Добрый день! Как же парсить остатки товаров на складе? Может есть дополнительные модули? Хелп!!!
ну если вы используете ubercart то можно воспользоваться этим модулем
Доброго!
В форме настройки соответствий (где "select target") нет остатков. Есть альтернативный путь?
Уточните пожалуйста где именно эта посмотреть?
так а этим модулем можно перенести контент, например, ноды, с одного сайта на другой (если быть точным, то с 6 на 7-ку)? а то урок как-то резко обрывается... и что с фреймворк «Migration»? эта тема будет раскрыта на сайте?
А если мне нужно табличку где много полей перенести,то это возможно?![http://radikal.ru/fp/c0fb6e92de3943259fcef58cb6030871][IMG]http://s006.radikal.ru/i215/1407/4b/23009d9b525ct.jpg](http://www.radikal.ru][IMG]http://s006.radikal.ru/i215/1407/4b/23009d9b525c.jpg)
В материале должно быть столько же полей сколько и в таблице,и нужно указывать соответствие между всеми полями?
А если мне нужно табличку где много полей перенести,то это возможно?
В материале должно быть столько же полей сколько и в таблице,и нужно указывать соответствие между всеми полями?http://s006.radikal.ru/i215/1407/4b/23009d9b525c.jpg
да, для каждого поля необходимо выставлять соответствие.
Лююди добрый подскажите почему у меня импорт происходит, только ноды пустые (совсем пустые). Пишет создано столько то нод. а в итоге .пустота,
не правильное соответствие полей для импорта.
Подскажите а можно как-то передать дату публикации? в расчете на то что кое какие материалы попадут в отложку.
Дату добавить можно, про "отложку" не понял.
Подскажите как передать дату создания в стандартное поле?
через
Приветствую.
А если, необходимо ноду привязать к нескольким терминам таксоновии т.е. допустим: Товары-Авто-Зап. части. Как в CSV писать? Через запятую?
да, через запятую.
Что-то у меня не получается через запятую. Тип поля - Ссылка на термин, Виджет - Автозавершение ввода. Количество значений - 2.
Пробывал и через русскую запятую и через латиницу, и точку с запятой, и с пробелом и без. Если одно значение то все ОК. Если вожу 2 через запятую не одно не привязывается.
Подскажите пожалуйста, в чем может быть проблема?
Разобрался. Сделал при помоще Tamper
У меня не получается вывести имя пользователя пишет Опубликовано пт, 01/30/2015 - 23:45 пользователем Гость (не проверено), хотя я указал в Node processor автора. Помогите разобраться.
Добрый день.
А Вы случайно не подскажете, почему при импортировании нод feeds записи создает, но значения в поля не записывает и поля остаются пустыми ?
Скорее всего указали не правильный разделитель
млин а как с ленты новостей RSS новость полностью скачать а не только заголовок и краткое описание
никак, только через свой парсер. В RSS только заголовок и краткое описание, больше данных не приходят в основном.
http://feedex.net/ а подобное реально сделать на друпале
да. В RSS же идет и ссылка на полную статью, вам нужно забирать ссылку из RSS и через парсер, по данной ссылке, загружать что вам необходимо.
Прошу подсказать: материал имеет несколько вложенных терминов таксономии (например: каталог, подраздел каталога, акция), импортируется только один первый термин. Материал предварительно экспортирован с того же сайта, так что структура типа материалов и католога терминов такие как долнжны быть, вроде бы. В остально все гладко. Как быть в таком случае?
Разобрался с множественными полями: модуль Feeds Tamper, плагин Explode - объединение нескольких значений в массив. Вложенные термины таксономии импортируются как надо.
Добрый день!
Во-первых, хочу поблагодарить автора за замечательную и доходчивую статью!
А теперь вопросы:
1. При составлении соответствий полей, почему то в выпадающем списке отсутствует поле "Цена". В чем может быть причина?
2. Как добавить импортируемые товары в Commerce?
Товары очень хорошо импортировались (кроме цены, т.к. такое поле добавить не смог), но при этом они не отражаются в разделе "Товары" в Commerce. Соответственно совершить покупку невозможно. Подскажите, пожалуйста, где копать?
может commerce_feeds вам поможет
Спасибо. Уже разобрался. Дело действтвительно было в модуле commerce_feeds.
Скажите, импорт происходит нормально, НО при импортировании код HTML потом на сайте так и показывается
Скажите где поменять, что бы код HTML импортировался как код.
Здравствуйте.
У меня идет импорт из нескольких csv файлов. Состав - название, картинка, тег. Картинки складываю в папку.
Почему то при каждом импорте происходит дублирование картинок, типа было img1. При каждом импорте добавляется img1_0, потом img1_1 и так далее.
Подскажите пожалуйста что это? И как правильно организовать импорт, или как бороться с такой проблемой?
скорее всего у вас стоит "принудительное обновление" нод при каждом импорте. Отсюда и вытекает ваша проблема.
Здравствуйте.
У меня создаются ноды, но пустые в содержание заместо заголовка пишет -Новое.
Подскажите в чем проблема?
Здравствуйте.
Это скорей всего ошибка при создании соответствий. Какое то поле соотнесено правильно, поэтому ноды создаются. А дальше ошибка.
Я в такой ситуации обычно все удаляю и начинаю заново по одному полю. То есть сделал соответствие например заголовку, сделал импорт проверил, если заголовок залился, то добавляю еще поле, если нет ищу ошибку. Ошибка может быть любая, даже грамматическая.
Здравствуйте еще раз! Где может быть ошибка в csv файле в поле заголовка?
все проверил перенес как там в поле источник ! не парсит даже заголовок все тоже самое. Разделители верные все верное. В типе материалов в форме убрал все обязательные поля. Не могу разобраться в чем проблема. В поле язык в содержание почему то пишет -Нейтральный по отношению к языку. Может в этом проблема ? Какой кодировкой должен быть фаил CSV ?
ААА полнял )))) При редактирование фала в excl снимаются кавычки в файле Csv ))))
Ошибка может быть любая, например "Заголовок" можно написать "Загловок" и все. Можно неправильно соотнести поля. Кодировка только UTF_8. EXEL не знаю как последние версии, раньше не сохранял в этой кодировке, поэтому я делаю в OPEN OFFICE. А вообще так подсказать очень сложно. Если уже совсем приперло и ничего не получается пиши в скайп ddd2207984 , только обозначься как то, а то слишком много спамеров развелось. Попробую помочь.