2021-01-22 10:13发布
1 数据写入时将数据迅速复制到另一个独立节点上2 在接收写入的节点发生故障时自动选举出一个新的替代节点
3 数据分发:将数据从一个区域复制到另一个区域,减少另一个区域的读延迟
4 读写分离:不同类型的压力分别在不同的节点上执行5 异地容灾:在数据中心故障时快速切换到异地
MongoDB复制集的主要意义在于实现服务高可用。
它的实现依赖于两个方面的功能:
数据写入时将数据迅速复制到另一个独立节点上
在接收写入的节点发生故障时自动选举出一个新的替代节点。
数据分发:将数据从一个区域复制到另一个区域
读写分离:读写折分到不同的节点
异地灾备:中心节点故障时自动转移到灾备节点
由3个及以上具有投票权的节点构成
一个主节点(PRIMARY):接受数据写入及进行投票
两个及以上从节点(SECONDARY):复制主节点上新数据及进行投票
不推荐使用Arbiter(投票节点)
主节点产生数据时(插入、修改、删除等等),向oplog数据集写入变动记录
从节点检测主节点oplog数据集,有变动时,读取变动到从节点,然后在从节点复现变动的所有操作。
具有投票权的节点两两之间会发送心跳信息,2秒一次
5次心跳未收到时,认为节点失联
如果失效的是主节点,则从节点会选举出新的主节点
如是失效的是从节点,不会发起选举
选举是基于RAFT一致性算法实现,大多数投票节点存活的时候,才会发起选举
一个集群最多可以有50个节点,但只有7个有投票权的节点
整个集群必须有大多数的节点存活
被选举为主节点的必备条件
能够与大多数的节点连通
具有较新的oplog
具要有较高的优选级(可通过参数配置)
投票权(v参数):有此参数可以参与投票
优先级(priority参数):优先级越高,成为主节点的可能性越高。为0时,永远不会成为主节点。
隐藏(hidden参数):应用不能访问,但可以用来复制数据,可以参与投票,且优先级必须为0,即永远不成为主节点
延迟(slaveRelay参数):单位为秒,控制从主节点复制数据的时间延迟,否则是即时复制。将从节点更改较高延迟,可以在主节点数据删除或更改时,有回退数据的机会。
硬件
无论主从节点,建议采用一样的硬件配置
为保证节点不会同时宕机,各节点之间保证硬件的独立
软件
保证各节点间软件版本一致
增加从节点时,不会提升主节点性能,但可以分流读。建议采用分片方式处理性能的问题。
通过在一个电脑上装三个数据库实例来搭建一个复制集,步骤如下:
启动一个MongoDB实例;
将3个实例搭建成一个复制集
对复制集参数的常规调整
mkdir -p /data/db{1,2,3}
命名为mongod.conf,每个目录下面一个
每个实例指向不同的端口:28017、28018、28019
systemLog:
destination: file
path: /data/db1/mongod.log
## 日志文件
logAppend:
true
storage:
dbPath: /data/db1
## 数据目录
net:
bindIp: 0.0.0.0
## 本机所有网卡连接都提供对外服务
port: 28017
## 端口号
replication:
replSetName: rs0
## 复制集的名字为 rs0
processManagement:
fork:
## 进程在后台运行
mongod -f /data/db1/mongod.conf
hostname替换成实际的主机名,需要 /etc/hosts 文件中做了配置
方法1:
mongo --port 28017
> rs.initiate()
> rs.add(
"HOSTNAME:28018"
)
"HOSTNAME:28019"
方法2:
> rs.initiate({
_id:
"rs0"
,
members: [
{
_id: 0,
host:
"localhost:28017"
},
_id: 1,
"localhost:28018"
_id: 2,
"localhost:28019"
}
]
})
在28017上插入数据,然后在28018上查看结果
插入数据
rs0:PRIMARY> db.test.findOne()
rs0:PRIMARY> db.test.insert({a:1})
查找数据
rs0:SECONDARY> rs.slaveOk()
## 使从节点可以读数据
rs0:SECONDARY> db.test.find()
1、保障数据的安全性
2、数据高可用性 (24*7)
3、灾难恢复
4、无需停机维护(如备份,重建索引,压缩)
5、分布式读取数据
换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...
前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...
迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...
python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写
第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...
head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...
挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了
Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...
或许是里面有没被注释的代码
自学的话要看个人情况,可以先在B站找一下视频看一下
最多设置5个标签!
1 数据写入时将数据迅速复制到另一个独立节点上
2 在接收写入的节点发生故障时自动选举出一个新的替代节点
3 数据分发:将数据从一个区域复制到另一个区域,减少另一个区域的读延迟
4 读写分离:不同类型的压力分别在不同的节点上执行
5 异地容灾:在数据中心故障时快速切换到异地
MongoDB复制集的主要意义在于实现服务高可用。
它的实现依赖于两个方面的功能:
数据写入时将数据迅速复制到另一个独立节点上
在接收写入的节点发生故障时自动选举出一个新的替代节点。
复制集的作用
数据分发:将数据从一个区域复制到另一个区域
读写分离:读写折分到不同的节点
异地灾备:中心节点故障时自动转移到灾备节点
典型复制集结构
由3个及以上具有投票权的节点构成
一个主节点(PRIMARY):接受数据写入及进行投票
两个及以上从节点(SECONDARY):复制主节点上新数据及进行投票
不推荐使用Arbiter(投票节点)
数据是如何复制的
主节点产生数据时(插入、修改、删除等等),向oplog数据集写入变动记录
从节点检测主节点oplog数据集,有变动时,读取变动到从节点,然后在从节点复现变动的所有操作。
通过选举完成数据恢复
具有投票权的节点两两之间会发送心跳信息,2秒一次
5次心跳未收到时,认为节点失联
如果失效的是主节点,则从节点会选举出新的主节点
如是失效的是从节点,不会发起选举
选举是基于RAFT一致性算法实现,大多数投票节点存活的时候,才会发起选举
一个集群最多可以有50个节点,但只有7个有投票权的节点
影响选举的因素
整个集群必须有大多数的节点存活
被选举为主节点的必备条件
能够与大多数的节点连通
具有较新的oplog
具要有较高的优选级(可通过参数配置)
复制节点常见选项
投票权(v参数):有此参数可以参与投票
优先级(priority参数):优先级越高,成为主节点的可能性越高。为0时,永远不会成为主节点。
隐藏(hidden参数):应用不能访问,但可以用来复制数据,可以参与投票,且优先级必须为0,即永远不成为主节点
延迟(slaveRelay参数):单位为秒,控制从主节点复制数据的时间延迟,否则是即时复制。将从节点更改较高延迟,可以在主节点数据删除或更改时,有回退数据的机会。
复制集注意事项
硬件
无论主从节点,建议采用一样的硬件配置
为保证节点不会同时宕机,各节点之间保证硬件的独立
软件
保证各节点间软件版本一致
增加从节点时,不会提升主节点性能,但可以分流读。建议采用分片方式处理性能的问题。
实践
通过在一个电脑上装三个数据库实例来搭建一个复制集,步骤如下:
启动一个MongoDB实例;
将3个实例搭建成一个复制集
对复制集参数的常规调整
创建数据目录
配置文件
命名为mongod.conf,每个目录下面一个
每个实例指向不同的端口:28017、28018、28019
systemLog:
destination: file
path: /data/db1/mongod.log
## 日志文件
logAppend:
true
storage:
dbPath: /data/db1
## 数据目录
net:
bindIp: 0.0.0.0
## 本机所有网卡连接都提供对外服务
port: 28017
## 端口号
replication:
replSetName: rs0
## 复制集的名字为 rs0
processManagement:
fork:
true
## 进程在后台运行
启动MongoDB进程
mongod -f /data/db1/mongod.conf
配置复制集
hostname替换成实际的主机名,需要 /etc/hosts 文件中做了配置
方法1:
mongo --port 28017
> rs.initiate()
> rs.add(
"HOSTNAME:28018"
)
> rs.add(
"HOSTNAME:28019"
)
mongo --port 28017
> rs.initiate({
_id:
"rs0"
,
members: [
{
_id: 0,
host:
"localhost:28017"
},
{
_id: 1,
host:
"localhost:28018"
},
{
_id: 2,
host:
"localhost:28019"
}
]
})
验证配置
在28017上插入数据,然后在28018上查看结果
插入数据
rs0:PRIMARY> db.test.findOne()
rs0:PRIMARY> db.test.insert({a:1})
查找数据
rs0:SECONDARY> rs.slaveOk()
## 使从节点可以读数据
rs0:SECONDARY> db.test.find()
rs0:SECONDARY> db.test.find()
复制集的作用
数据分发:将数据从一个区域复制到另一个区域
读写分离:读写折分到不同的节点
异地灾备:中心节点故障时自动转移到灾备节点
1、保障数据的安全性
2、数据高可用性 (24*7)
3、灾难恢复
4、无需停机维护(如备份,重建索引,压缩)
5、分布式读取数据
数据分发:将数据从一个区域复制到另一个区域
读写分离:读写折分到不同的节点
异地灾备:中心节点故障时自动转移到灾备节点
相关问题推荐
换行。比如,print hello\nworld效果就是helloworld\n就是一个换行符。\是转义的意思,'\n'是换行,'\t'是tab,'\\'是,\ 是在编写程序中句子太长百,人为换行后加上\但print出来是一整行。...
十种常见排序算法一般分为以下几种:(1)非线性时间比较类排序:a. 交换类排序(快速排序、冒泡排序)b. 插入类排序(简单插入排序、希尔排序)c. 选择类排序(简单选择排序、堆排序)d. 归并排序(二路归并排序、多路归并排序)(2)线性时间非比较类排序:...
前景很好,中国正在产业升级,工业机器人和人工智能方面都会是强烈的热点,而且正好是在3~5年以后的时间。难度,肯定高,要求你有创新的思维能力,高数中的微积分、数列等等必须得非常好,软件编程(基础的应用最广泛的语言:C/C++)必须得很好,微电子(数字电...
迭代器与生成器的区别:(1)生成器:生成器本质上就是一个函数,它记住了上一次返回时在函数体中的位置。对生成器函数的第二次(或第n次)调用,跳转到函数上一次挂起的位置。而且记录了程序执行的上下文。生成器不仅记住了它的数据状态,生成器还记住了程序...
python中title( )属于python中字符串函数,返回’标题化‘的字符串,就是单词的开头为大写,其余为小写
第一种解释:代码中的cnt是count的简称,一种电脑计算机内部的数学函数的名字,在Excel办公软件中计算参数列表中的数字项的个数;在数据库( sq| server或者access )中可以用来统计符合条件的数据条数。函数COUNT在计数时,将把数值型的数字计算进去;但是...
head是方法,所以需要取小括号,即dataset.head()显示的则是前5行。data[:, :-1]和data[:, -1]。另外,如果想通过位置取数据,请使用iloc,即dataset.iloc[:, :-1]和dataset.iloc[:, -1],前者表示的是取所有行,但不包括最后一列的数据,结果是个DataFrame。...
挺简单的,其实课程内容没有我们想象的那么难、像我之前同学,完全零基础,培训了半年,直接出来就工作了,人家还在北京大公司上班,一个月15k,实力老厉害了
Python针对众多的类型,提供了众多的内建函数来处理(内建是相对于导入import来说的,后面学习到包package时,将会介绍),这些内建函数功用在于其往往可对多种类型对象进行类似的操作,即多种类型对象的共有的操作;如果某种操作只对特殊的某一类对象可行,Pyt...
相当于 ... 这里不是注释
还有FIXME
python的两个库:xlrd和xlutils。 xlrd打开excel,但是打开的excel并不能直接写入数据,需要用xlutils主要是复制一份出来,实现后续的写入功能。
单行注释:Python中的单行注释一般是以#开头的,#右边的文字都会被当做解释说明的内容,不会被当做执行的程序。为了保证代码的可读性,一般会在#后面加一两个空格然后在编写解释内容。示例:# 单行注释print(hello world)注释可以放在代码上面也可以放在代...
主要是按行读取,然后就是写出判断逻辑来勘测行是否为注视行,空行,编码行其他的:import linecachefile=open('3_2.txt','r')linecount=len(file.readlines())linecache.getline('3_2.txt',linecount)这样做的过程中发现一个问题,...
或许是里面有没被注释的代码
自学的话要看个人情况,可以先在B站找一下视频看一下