Как использовать mongoimport для импорта CSV

Попытка импортировать CSV с контактной информацией:

Name,Address,City,State,ZIP  
Jane Doe,123 Main St,Whereverville,CA,90210  
John Doe,555 Broadway Ave,New York,NY,10010 

Запуск этого, кажется, не добавляет никаких документов в базу данных:

$ mongoimport -d mydb -c things --type csv --file locations.csv --headerline

Трассировка говорит imported 1 objects, но запуск оболочки Mongo и запуск db.things.find()не показывает никаких новых документов.

Чего мне не хватает?

Ваш пример работал для меня с MongoDB 1.6.3 и 1.7.3. Пример ниже был для 1.7.3. Вы используете старую версию MongoDB?

$ cat > locations.csv
Name,Address,City,State,ZIP
Jane Doe,123 Main St,Whereverville,CA,90210
John Doe,555 Broadway Ave,New York,NY,10010
 ctrl-d
$ mongoimport -d mydb -c things --type csv --file locations.csv --headerline
connected to: 127.0.0.1
imported 3 objects
$ mongo
MongoDB shell version: 1.7.3
connecting to: test
> use mydb
switched to db mydb
> db.things.find()
{ "_id" : ObjectId("4d32a36ed63d057130c08fca"), "Name" : "Jane Doe", "Address" : "123 Main St", "City" : "Whereverville", "State" : "CA", "ZIP" : 90210 }
{ "_id" : ObjectId("4d32a36ed63d057130c08fcb"), "Name" : "John Doe", "Address" : "555 Broadway Ave", "City" : "New York", "State" : "NY", "ZIP" : 10010 }

Я был озадачен подобной проблемой, когда mongoimport не выдал мне ошибку, но сообщил об импорте 0 записей. Я сохранил свой файл, который не работал, используя версию OSX Excel для Mac 2011, используя стандартное «Сохранить как ...» «xls as csv», не указав формат «Windows Comma Separated (.csv)». После изучения этого сайта и попытки «Сохранить как снова с помощью« Windows Comma Separated (.csv) »формат, mongoimport работал нормально. Я думаю, что mongoimport ожидает символ новой строки в каждой строке, и экспорт по умолчанию в Mac Excel 2011 csv не обеспечил этого символ в конце каждой строки.

Нам нужно выполнить следующую команду:

mongoimport --host=127.0.0.1 -d database_name -c collection_name --type csv --file csv_location --headerline

-d это имя базы данных

-c - имя коллекции

--headerline Если используется --type csv или --type tsv, в качестве имен полей используется первая строка. В противном случае mongoimport импортирует первую строку как отдельный документ.

Для получения дополнительной информации: Монгоимпорт

вам, скорее всего, понадобится пройти аутентификацию, если вы работаете в производственной среде. Вы можете использовать что-то подобное для аутентификации в правильной базе данных с соответствующими учетными данными.

mongoimport -d db_name -c collection_name --type csv --file filename.csv --headerline --host hostname:portnumber --authenticationDatabase admin --username 'iamauser' --password 'pwd123'

Убедитесь, что в конце файла есть пустая строка, в противном случае последняя строка будет игнорироваться в некоторых версиях mongoimport

Я использую это на оболочке mongoimport

mongoimport --db db_name --collection collection_name --type csv --file C:\\Your_file_path\target_file.csv --headerline

Тип можно выбрать CSV / TSV / JSON Но только CSV / TSV может использовать --headerline

Вы можете прочитать больше на официальном документе .

Роберт Стюарт уже ответил за то, как импортировать с mongoimport.

Я предлагаю простой способ элегантного импорта CSV с 3T MongoChef Tool (версия 3.2+ ). Может помочь кому-то в будущем.

1. Вам просто нужно выбрать коллекцию
2. Выберите файл для импорта
3. Вы также можете отменить выбор данных для импорта. Также есть много вариантов.
4. Коллекция импортирована

Посмотрите, как импортировать видео

Сначала вы должны выйти из mongoоболочки, а затем выполнить mongoimportкоманду следующим образом:

Manojs-MacBook-Air:bin Aditya$ mongoimport -d marketdata -c minibars 
--type csv 
--headerline
--file '/Users/Aditya/Downloads/mstf.csv'

2017-05-13T20:00:41.989+0800    connected to: localhost
2017-05-13T20:00:44.123+0800    imported 97609 documents
Manojs-MacBook-Air:bin Aditya$

Ответы Роберта Стюарта великолепны.

Я хотел бы добавить, что вы также можете вводить свои поля с помощью --columHaveTypes и --fields следующим образом:

mongoimport -d myDb -c myCollection --type csv --file myCsv.csv 
  --columnsHaveTypes --fields "label.string(),code.string(),aBoolean.boolean()"

(Осторожно, чтобы после запятой между полями не было пробела)

Для других типов, см. Документ здесь: https://docs.mongodb.com/manual/reference/program/mongoimport/#cmdoption-mongoimport-columnshavetypes

Для версии 3.4, пожалуйста, используйте следующий синтаксис:

mongoimport -u "username" -p "password" -d "test" -c "collections" --type csv --file myCsv.csv --headerline

Через 3 дня я наконец сделал это самостоятельно. Спасибо всем пользователям, которые поддержали меня.

Когда я пытался импортировать файл CSV, я получал ошибку. Что я наделал. Сначала я изменил имена столбцов в строке заголовка заглавными буквами, удалил «-» и добавил «_», если это необходимо. Затем введите команду ниже для импорта CSV в Монго

$ mongoimport --db=database_name --collection=collection_name --type=csv --file=file_name.csv --headerline  

C: \ wamp \ mongodb \ bin> mongoexport --db proj_mmm - коллекция предложений --csv --fieldFile offerings_fields.txt --out offerings.csv

Просто используйте это после выполнения mongoimport

Он вернет количество импортированных объектов

use db
db.collectionname.find().count()

вернет количество объектов.

использовать:

mongoimport -d 'database_name' -c 'collection_name' --type csv --headerline --file filepath/file_name.csv

mongoimport -d test -c test --type csv --file SampleCSVFile_119kb.csv --headerline

проверить сбор данных: -

var collections = db.getCollectionNames();

for(var i = 0; i< collections.length; i++)
{    
   print('Collection: ' + collections[i]);
   // print the name of each collection
   
   db.getCollection(collections[i]).find().forEach(printjson);
   
   //and then print the json of each of its elements
}

1]We can save xsl as .csv file
2] Got to MongoDB bin pathon cmd - > cd D:\Arkay\soft\MongoDB\bin
3] Run below command
> mongoimport.exe -d dbname -c collectionname --type csv --file "D:\Arkay\test.csv" --headerline
4] Verify on Mongo side using below coomand.
>db.collectioname.find().pretty().limit(1)

Странно никто не упомянул --uriфлаг

mongoimport --uri connectionString -c questions --type csv --file questions.csv --headerline 

Поделиться для будущих читателей:

В нашем случае нам нужно было добавить hostпараметр, чтобы он работал

mongoimport -h mongodb://someMongoDBhostUrl:somePORTrunningMongoDB/someDB -d someDB -c someCollection -u someUserName -p somePassword --file someCSVFile.csv --type csv --headerline --host=127.0.0.1

Мое требование было импортировать в .csv (with no headline)удаленный MongoDBэкземпляр. Для mongoimport v3.0.7меня ниже работает команда:

mongoimport -h <host>:<port> -u <db-user> -p <db-password>  -d <database-name> -c <collection-name> --file <csv file location> --fields <name of the columns(comma seperated) in csv> --type csv

Например:

mongoimport -h 1234.mlab.com:61486 -u arpitaggarwal -p password  -d my-database -c employees --file employees.csv --fields name,email --type csv

Ниже приведен скриншот того, как это выглядит после импорта:

где nameи emailстолбцы в .csvфайле.

Для данного .csvфайла, в котором есть только один столбец без заголовка , у меня сработала следующая команда:

mongoimport -h <mongodb-host>:<mongodb-port> -u <username> -p <password> -d <mongodb-database-name> -c <collection-name> --file file.csv --fields <field-name> --type csv

где field-name относится к имени заголовка столбца в .csvфайле.

Обязательно скопируйте файл .csv в / usr / local / bin или в любую папку, в которой находится ваш mondodb