MongoDB 初学者指南：掌握文档数据库的基础知识 (mongodb数据库)

引言

MongoDB 是一个跨平台的、面向文档的数据库系统，因其灵活性、可扩展性和性能而受到广泛欢迎。对于希望创建动态、可扩展应用程序的开发人员来说，它是理想的选择。本指南将带你踏上 MongoDB 之旅，帮助你掌握其基本概念和操作。

文档数据库

MongoDB 采用文档数据模型，这意味着数据被存储在称为“文档”的 JSON 类似结构中。文档包含键值对，其中键表示字段名称，值表示字段值。这种灵活的结构允许以非关系方式存储数据，使其非常适合存储结构复杂的复杂数据。

MongoDB 架构

MongoDB 采用客户端-服务器架构。客户端应用程序与 MongoDB 服务器进行交互，服务器管理数据存储和检索。服务器由一个或多个称为分片的节点组成，共同存储和管理数据。

基本操作

创建数据库和集合```jsdb.createCollection("myCollection");```插入文档```jsdb.myCollection.insertOne({ name: "John Doe", age: 30 });```查询文档```jsdb.myCollection.find({ name: "John Doe" });```更新文档```jsdb.myCollection.updateOne({ name: "John Doe" }, { $set: { age: 31 } });```删除文档```jsdb.myCollection.deleteOne({ name: "John Doe" });```

高级概念

索引索引是存储在字段上的特殊数据结构，可以加快查询速度。在经常被查询的字段上创建索引可以显著提高性能。分片分片是一种将数据水平分布在多个服务器上的技术。它允许 MongoDB 扩展到更大规模，并提高并发性和可用性。复制复制是在多个服务器上复制数据集的过程。它提供了数据冗余和故障转移能力，确保应用程序的高可用性。聚合管道聚合管道是一种将多个数据处理操作链接在一起以执行复杂查询和数据转换的技术。

工具和资源

MongoDB Compass：一个图形化用户界面，用于管理和查询 MongoDB 数据库。MongoDB Shell：一个交互式命令行界面，用于与 MongoDB 服务器进行交互。MongoDB 文档：官方文档，包含有关 MongoDB 所有方面的全面信息。

结论

MongoDB 是一个强大的文档数据库，为存储和管理复杂数据提供了灵活且可扩展的解决方案。通过理解基本概念和操作，以及利用高级技术，你可以充分利用 MongoDB 的强大功能，为你的应用程序提供卓越的性能和可扩展性。

---

怎样学 MongoDB

入门当然是 MongoDB 公司推出的免费在线课程 MongoDB University。 这是关于 MongoDB 最好的在线教程，没有之一，权威、系统并且更新及时。 可以告诉你的是，MongoDB 新入职员工培训都从这些在线课程开始。 MongoDB University 比其它地方能找到的文章和教程要好太多。 课程分别针对开发者和 DBA 而设计，非常用心。 拿 MongoDB for Developers 来说，它在 mongo shell 之外使用 python 教学，但并不要求 python 经验。 7周的课程中，从安装开始，带你写出一个基于 MongoDB 数据库的博客。 每周的课程都有小作业，写写代码，答答题。 除了在实践中学习，课程也涵盖了开发者需要知道的各方面细节，全面深入。 另外，还有对 Foursquare 和 Codecademy 的采访，分享他们的使用经验和演变过程。 还可以选择从 Kaltura 加载视频，不用翻墙看 Youtube，是不是非常贴心？另一个值得推荐的免费课程是 edX 上的 Introduction to MongoDB using the MEAN Stack。 这个课程由 edX 与 MongoDB 合作完成，使用 ，AngularJS 与 MongoDB 建设一个在线商城，帮你快速上手。 如果你的团队都希望快速学习 MongoDB，MongoDB 提供定制化的 MongoDB University 团队培训 ，讲师都有非常丰富的第一手经验。 这其实就是 MongoDB 新员工培训的第二部分，所以课程质量没得说。 客户包括像 ebay 这样的大公司，也包括创业小公司。 国内当然提供中文培训。 进阶了解基本概念和用法之后，在项目里试试吧。 英文的 MongoDB 文档 绝对会是最好的帮手，能解答你许多疑问。 主要内容都有中文翻译 MongoDB 中文文档。 不夸张地说，80% 的疑问都可以很容易在文档里找到答案。 这个时候，你可能会遇到问题，需要帮助。 加入 MongoDB中文社区，你需要的同路人都在这里。 中文社区在最新两年建立起来，帮助翻译了中文文档，也欢迎你加入翻译的队伍。 社区里包括了国内各大公司的用户，不时举办 MongoDB User Group 线下用户组，现在在北京、上海、重庆、深圳和杭州都有不定期活动。 社区邀请 MongoDB 的大牛们做技术讲座，答疑解惑，也提供一个机会让大家互相结识，拓宽社交圈子。 中文在线讲座 则会由MongoDB 的官方工程师和资深架构师带来最权威的内容。 我也做过一次在线讲座，讨论 Replica Set 复制集的内部机制。 印象最深的是大家的提问特别热情，Q&A 环节时间根本不够用。 2016年8、9月的中文讲座 你的第一个MongoDB应用 也特别适合入门。 加入中文社区首页上的微信公众号吧，第一时间得到通知。 希望在社区里提问？中国区同事积极活跃在 segmentfault 问答中的 MongoDB 标签下，那是中文社区里提问的好地方。 遇到问题还可以到 stackoverflow 看看，官方的 Google Group 也有专人负责。 在公司最初的四年里，CTO 每天都亲自在 Google Group 上回答问题，而且基本秒回。 从那时开始，重视开发者社区作为一个传统一直到了今天。 市面上有一些书也很好，比如《MongoDB权威指南》，不过书很容易过时。 实战首先要重磅推荐 MongoDB 自己开发的数据库托管服务 MongoDB Atlas！依靠 Amazon AWS，部署和管理 MongoDB 不能更方便！2017年最新推出了免费款机型，512MB 磁盘空间，共享CPU和内存，特别容易上手。 过了一段时间，你使用 MongoDB 的项目已经开始开发，或者已经上线了，遇到了新问题。 可能你会需要：咨询。 MongoDB 公司提供咨询服务 Global Consulting Services，帮你优化架构设计方案。 运维。 你的项目越来越火，运维开始成了新问题。 MongoDB Cloud Manager 提供监控和备份。 托管。 2016 年推出的 Database as a Service 数据库即服务 MongoDB Atlas 依靠 AWS 让整个运维都变简单。 可视化。 MongoDB Compass 是 MongoDB 官方开发的数据可视化工具，好评不断。 认证。 包括针对开发者和 DBA 的两种认证考试。 在中国区众多用户中，大概只有10名左右工程师成功获得认证，可见其中含金量。 云计算方面，国外 AWS，Azure 和 Google Cloud 都有各种合作和整合。 国内的话，阿里云和腾讯云都支持 MongoDB，他们的团队也在社区里做了很多贡献，技术实力有目共睹。 遇到问题，你的团队可能需要更专业、更及时的帮助，MongoDB Professional 客户支持是 MongoDB 公司最早开展的服务。 我们开发工程师每几个月就要到客户支持部门轮岗，为了更好地了解用户。 我的感觉就是客服绝不只是关掉一个 ticket，而是门大学问。 在时间限制里尽快地找到用户问题，提出解决方案，就像急救室的医生一样，背后有完善的流程和深厚的技术积累。 个别问题也会很快升级到开发工程师那里，毕竟我们就坐在不远的地方。 自己写的代码哪里有搞不定的道理？用户也是普通人，会高兴会生气，也会力不能及，所以理解客户和技术精通一样重要。 对了，他们也提供中文服务。 这篇文章毕竟不是广告，就不提大公司用的商业版和相应的服务了。 我总觉得工程师和 DBA 时间那么值钱，不应该花在找免费资源和“在线等”好心人解答问题上，毕竟还有技术理想等着去实现呢。 介绍 MongoDB 的产品和服务，就像健身建议请个教练一样，少走些弯路。

如何在MongoDB中建立新数据库和集合

由于Mongodb不是关系型数据库文件，实际上，它并不存在传统关系型数据库中的所谓ldquo;数据库rdquo;的概念，但不用担心，当你第 创建Mongodb数据库由于Mongodb不是关系型数据库文件，实际上，它并不存在传统关系型数据库中的所谓“数据库”的概念，但不用担心，当你第一次新增数据时，mongodb就会以collection集合的形式进行保存和新建，而不需要你手工去新建立。 下面是例子：1)列出当前的数据库MongoDB shell version: 1.8.1connecting to: test> show dbs -admin 0.GBlocal (empty) 可以使用show dbs来列出当前有多少个数据库，上面看到的是有两个，分别是admin和local。 2) 定义新的数据库名我们通过使用“use new-databasename”的语法去使用一个新的数据库，注意，即使你的数据库还没建立起来，依然可以这样使用，因为mongodb会在真正插入了数据后，才会真正建立起来。 >use mkyongdbswitched to db mkyongdb> show dbsadmin 0.GBlocal (empty)注意，在use mkyongdb后，mkyongdb实际上还没真正建立起来，只是表明目前是在使用mkyongdb了。 3)保存数据定义一个collection,名为“users”,然后插入数据，如下：> ( {username:mkyong} )> (){ _id : ObjectId(4dbac7bfeabd), username : mkyong }> show dbs -admin 0.GBlocal (empty)mkyongdb 0.GB可以看到，用()可以找出已插入的数据。 这个时候，，名为“users”的collection已经建立起来了，同时，数据库mkyongdb也建立起来了。

MongoDB是什么，怎么用？看完你就知道了

MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库。

（1）MongoDB提出的是文档、集合的概念，使用BSON（类JSON）作为其数据模型结构，其结构是面向对象的而不是二维表，存储一个用户在MongoDB中是这样子的。

使用这样的数据模型，使得MongoDB能在生产环境中提供高读写的能力，吞吐量较于mysql等SQL数据库大大增强。

（2）易伸缩，自动故障转移。易伸缩指的是提供了分片能力，能对数据集进行分片，数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念，MongoDB能检测主节点是否存活，当失活时能自动提升从节点为主节点，达到故障转移。

（3）数据模型因为是面向对象的，所以可以表示丰富的、有层级的数据结构，比如博客系统中能把“评论”直接怼到“文章“的文档中，而不必像myqsl一样创建三张表来描述这样的关系。

（1）文档数据类型

SQL类型的数据库是正规化的，可以通过主键或者外键的约束保证数据的完整性与唯一性，所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库，且MongoDB没有固定的Schema，正因为MongoDB少了一些这样的约束条件，可以让数据的存储数据结构更灵活，存储速度更加快。

（2）即时查询能力

MongoDB保留了关系型数据库即时查询的能力，保留了索引（底层是基于B tree）的能力。这一点汲取了关系型数据库的优点，相比于同类型的NoSQL redis 并没有上述的能力。

（3）复制能力

MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余，目的是可以提供自动故障转移、扩展读能力。

（4）速度与持久性

MongoDB的驱动实现一个写入语义 fire and forget ，即通过驱动调用写入时，可以立即得到返回得到成功的结果（即使是报错），这样让写入的速度更加快，当然会有一定的不安全性，完全依赖网络。

MongoDB提供了Journaling日志的概念，实际上像mysql的bin-log日志，当需要插入的时候会先往日志里面写入记录，再完成实际的数据操作，这样如果出现停电，进程突然中断的情况，可以保障数据不会错误，可以通过修复功能读取Journaling日志进行修复。

（5）数据扩展

MongoDB使用分片技术对数据进行扩展，MongoDB能自动分片、自动转移分片里面的数据块，让每一个服务器里面存储的数据都是一样大小。

MongoDB核心服务器主要是通过mongod程序启动的，而且在启动时不需对MongoDB使用的内存进行配置，因为其设计哲学是内存管理最好是交给操作系统，缺少内存配置是MongoDB的设计亮点，另外，还可通过mongos路由服务器使用分片功能。

MongoDB的主要客户端是可以交互的js shell 通过mongo启动，使用js shell能使用js直接与MongoDB进行交流，像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据，另外还提供了各种语言的驱动包，方便各种语言的接入。

mongodump和mongorestore,备份和恢复数据库的标准工具。输出BSON格式，迁移数据库。

mongoexport和mongoimport，用来导入导出JSON、CSV和TSV数据，数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入，但是在导入前顺便还要注意一下，为了能充分利用好mongoDB通常需要对数据模型做一些调整。

mongosniff,网络嗅探工具，用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。

因此，可以总结得到，MongoDB结合键值存储和关系数据库的最好特性。因为简单，所以数据极快，而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面，且最好单独部署，因为是数据库，所以也需要对其进行热备、冷备处理。

因为本篇文章不是API手册，所有这里对shell的使用也是基础的介绍什么功能可以用什么语句，主要是为了展示使用MongoDB shell的方便性，如果需要知道具体的MongoDB shell语法可以查阅官方文档。

创建数据库并不是必须的操作，数据库与集合只有在第一次插入文档时才会被创建，与对数据的动态处理方式是一致的。简化并加速开发过程，而且有利于动态分配命名空间。如果担心数据库或集合被意外创建，可以开启严格模式。

以上的命令只是简单实例，假设如果你之前没有学习过任何数据库语法，同时开始学sql查询语法和MongoDB 查询语法，你会发现哪一个更简单呢？如果你使用的是java驱动去操作MongoDB，你会发现任何的查询都像Hibernate提供出来的查询方式一样，只要构建好一个查询条件对象，便能轻松查询（接下来会给出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成没问题，也正因为这样简洁，完善的查询机制，深深的爱上了MongoDB。

使用java驱动链接MongoDB是一件非常简单的事情，简单的引用，简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用，下面简单的展示一下使用。

这里只举例了简单的链接与简单的MongoDB操作，可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的，如果查询结果较多，恰好无法全部放进第一服务器中，将会向服务器发送一个getmore指令获取下一批查询结果。

插入数据到服务器时间，不会等待服务器的响应，驱动会假设写入是成功的，实际是使用客户端生成对象id，但是该行为可以通过配置配置，可以通过安全模式开启，安全模式可以校验服务器端插入的错误。

要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档，在键值中有指向不定类型值的键，MongoDB拥有即时查询，但不支持联结操作，简单的键值存储只能根据单个键来获取值，不支持事务，但支持多种原子更新操作。

如读写比是怎样的，需要何种查询，数据是如何更新的，会不会存在什么并发问题，数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。

在关于schema 的设计中要注意一些原则，比如：

数据库是集合的逻辑与物理分组，MongoDB没有提供创建数据库的语法，只有在插入集合时，数据库才开始建立。创建数据库后会在磁盘分配一组数据文件，所有集合、索引和数据库的其他元数据都保存在这些文件中，查阅数据库使用磁盘状态可通过。

集合是结构上或概念上相似得文档的容器，集合的名称可以包含数字、字母或 . 符号，但必须以字母或数字开头，完全。

限定集合名不能超过128个字符，实际上 . 符号在集合中很有用，能提供某种虚拟命名空间，这是一种组织上的原则，和其他集合是一视同仁的。在集合中可以使用。

其次是键值，在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式，所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会限制在16m以内，因为这样可以防止创建难看的数据类型，且小文档可以提升性能，批量插入文档理想数字范围是10~200，大小不能超过16MB。

（1）索引能显著减少获取文档的所需工作量，具体的对比可以通过 ()方法进行对比

（2）解析查询时MongoDB通过最优计划选择一个索引进行查询，当没有最适合索引时，会先不同的使用各个索引进行查询，最终选出一个最优索引做查询

（3）如果有一个a-b的复合索引，那么仅针对a的索引是冗余的

（4）复合索引里的键的顺序是很重要的

（1）单键索引

（2）复合索引

（3）唯一性索引

（4）稀疏索引

如索引的字段会出现null的值，或是大量文档都不包含被索引的键。

如果数据集很大时，构建索引将会花费很长的时间，且会影响程序性能，可通过

当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时，可使用

对索引进行压缩，重建。

（1）查阅慢查询日志

（2）分析慢查询

注意新版本的MongoDB 的explain方法是需要参数的，不然只显示普通的信息。

本节同样主要简单呈现MongoDB副本集搭建的简易性，与副本集的强壮性，监控容易性

提供主从复制能力，热备能力，故障转移能力

实际上MongoDB对副本集的操作跟mysql主从操作是差不多的，先看一下mysql的主从数据流动过程

而MongoDB主要依赖的日志文件是oplog

写操作先被记录下来，添加到主节点的oplog里。与此同时，所有从结点复制oplog。首先，查看自己oplog里最后一条的时间戳；其次，查询主节点oplog里所有大于此时间戳的条目;最后，把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。

当遇到以下情况，从节点会停止复制

local数据库保存了所有副本集元素据和oplog日志

可以使用以下命令查看复制情况

每个副本集成员每秒钟ping一次其他所有成员，可以通过()看到节点上次的心跳检测时间戳和 健康 状况。

这个点没必要过多描述，但是有一个特殊场景，如果从节点和仲裁节点都被杀了，只剩下主节点，他会把自己降级成为从节点。

如果主节点的数据还没有写到从库，那么数据不能算提交，当该主节点变成从节点时，便会触发回滚，那些没写到从库的数据将会被删除，可以通过rollback子目录中的BSON文件恢复回滚的内容。

（1）使用单节点链接

只能链接到主节点，如果链接到从节点的话，会被拒绝写入操作，但是如果没有使用安全模式，因为mongo的fire and forget 特性，会把拒绝写入的异常给吃掉。

（2）使用副本集方式链接

能根据写入的情况自动进行故障转移，但是当副本集进行新的选举时，还是会出现故障，如果不使用安全模式，依旧会出现写不进去，但现实成功的情况。

分片是数据库切分的一个概念实现，这里也是简单总结为什么要使用分片以及分片的原理，操作。

当数据量过大，索引和工作数据集占用的内存就会越来越多，所以需要通过分片负载来解决这个问题

（1）分片组件

（2）分片的核心操作

分片一个集合：分片是根据一个属性的范围进行划分的，MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置

块：是位于一个分片中的一段连续的分片键范围，可以理解为若干个块组成分片，分片组成MongoDB的全部数据

（3）拆分与迁移

块的拆分：初始化时只有一个块，达到最大块尺寸64MB或个文档就会触发块的拆分。把原来的范围一分为二，这样就有了两个块，每个块都有相同数量的文档。

迁移：当分片中的数据大小不一时会产生迁移的动作，比如分片A的数据比较多，会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡，是由名为均衡器的软件进程管理的，任务是确保数据在各个分片中保持均匀分布，当集群中拥有块最多的分片与拥有块最少分片的块差大于8时，均衡器就会发起一次均衡处理。

启动两个副本集、三个配置服务器、一个mongos进程

配置分片

（1）分片查询类型

（2）索引

分片集合只允许在_id字段和分片键上添加唯一性索引，其他地方不行，因为这需要在分片间进行通信，实施起来很复杂。

当创建分片时，会根据分片键创建一个索引。

（1）分片键是不可修改的、分片键的选择非常重要

（2）低效的分片键

（3）理想的分片键

（1）部署拓扑

根据不同的数据中心划分

这里写图片描述

（2）最低要求

（3）配置的注意事项

需要估计集群大小，可使用以下命令对现有集合进行分片处理

（4）备份分片集群

备份分片时需要停止均衡器

（1）部署架构

使用64位机器、32位机器会制约mongodb的内存，使其最大值为1.5GB

mongodb 只有当索引和工作集都可放入内存时，才会遇到CPU瓶颈，CPU在mongodb使用中的作用是用来检索数据，如果看到CPU使用饱和的情况，可以通过查询慢查询日志，排查是不是查询的问题导致的，如果是可以通过添加索引来解决问题

mongodb写入数据时会使用到CPU，但是mongodb写入时间一次只用到一个核，如果有频繁的写入行为，可以通过分片来解决这个问题

（3）内存

大内存是mongodb的保障，如果工作集大小超过内存，将会导致性能下降，因为这将会增加数据加载入内存的动作

（4）硬盘

mongodb默认每60s会与磁盘强制同步一次，称为后台刷新，会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存，高速磁盘将会减少同步的时间

（5）文件系统

使用ext4 和 xfs 文件系统

禁用最后访问时间

（6）文件描述符

linux 默认文件描述符是1024，需要大额度的提升这个额度

（7）时钟

mongodb各个节点服务器之间使用ntp服务器

（1）绑定IP

启动时使用 - -bind_ip 命令

（2）身份验证

启动时使用 - -auth 命令

（3）副本集身份认证

使用keyFile，注意keyFile文件的权限必须是600，不然会启动不起来

（1）拓扑结构

搭建副本集至少需要两个节点，其中仲裁结点不需要有自己的服务器

（2）Journaling日志

写数据时会先写入日志，而此时的数据也不是直接写入硬盘，而是写入内存

但是Journaling日志会消耗内存，所以可以在主库上面关闭，在从库上面启动

可以单独为Journaling日志使用一块固态硬盘

在插入时，可以通过驱动确保Journaling插入后再反馈，但是会非常影响性能。

logpath 选项指定日志存储地址

-vvvvv 选项（v越多，输出越详细）

({logrotare:1}) 开启滚动日志

（1）serverStatus

这里写图片描述

动态展示mongodb活动数据

占用当前mongodb监听端口往上1000号的端口

（1）mongodump

把数据库内容导出成BSON文件，而mongorestore能读取并还原这些文件

（2）mongorestore

把导出的BSON文件还原到数据库

（3）备份原始数据文件

可以这么做，但是，操作之前需要进行锁库处理 ({fsync:1,lock:true})

db.$() 请求解锁操作，但是数据库不会立刻解锁，需要使用()验证。

（1）修复

mongd --repair 修复所有数据库

({repairDatabase:1}) 修复单个数据库

修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引

（2）压紧

压紧，会重写数据文件，并重建集合的全部索引，需要停机或者在从库上面运行,如果需要在主库上面运行，需要添加force参数 保证加写锁。

（1）监控磁盘状态

（2）为提升性能检查索引和查询

总的来说，扫描尽可能少的文档。

保证没有冗余的索引，冗余的索引会占用磁盘空间、消耗更多的内存，在每次写入时还需做更多工作

（3）添加内存

dataSize 数据大小 和 indexSize 索引大小，如果两者的和大于内存，那么将会影响性能。

storageSize超过dataSize 数据大小 两倍以上，就会因磁盘碎片而影响性能，需要压缩。

若对本页面资源感兴趣，请点击下方或右方图片，注册登录后

搜索本页相关的【资源名】【软件名】【功能词】或有关的关键词，即可找到您想要的资源

如有其他疑问，请咨询右下角【在线客服】，谢谢支持！