主要的几个类说明:
- 1. Call,表示一次rpc的调用请求
- 2. Connection,表示一个client与server之间的连接,一个连接一个线程启动
- 3. ConnectionId:连接的标记(包括server地址,协议,其他一些连接的配置项信息)
- 4. ParallelCall:实现并行调用的请求
- 5. ParallelResults:并行调用的执行结果
执行逻辑:
1
- . 当要执行一个调用时,将call放到connectin的map中;同时将请求发送到connection的输出流中,之后返回,并不一直持有connection并等待结果,所以是异步的处理过程;
- 2. connection自身线程不停从server读取请求返回,服务器返回的结果中包含请求的id,因此根据id从map中找到对应的call,从而设置call的调用结果;
可以看到,client的端的调用是很简单。
可以简单的来看一下代码:
public Writable call(Writable param, ConnectionId remoteId),此方法是调用入口,代码分析:
/**
* 创建一个call,并得到连接,之后在连接中保存call,之后向连接的输出流写入请求
* 并返回, 底层使用的是oio(即blocking io),采用什么样的io与异步消息机制没有
* 必然联系.
**/
Call call = new Call(param);
Connection connection = getConnection(remoteId, call);
connection.sendParam(call);
// 接口是同步的,异步变同步的操作再这里
synchronized (call) {
while (!call.done) {
try {
call.wait(); // wait for the result
} catch (InterruptedException ie) {
// save the fact that we were interrupted
interrupted = true;
}
}
……
}
对应的,可以看到Connection类的receiveResponse方法里处理从server里读到的结果:
int id = in.readInt(); // try to read an id
Call call = calls.get(id);
Writable value = ReflectionUtils.newInstance(valueClass, conf);
value.readFields(in); // read value
call.setValue(value);
calls.remove(id);
Call调用setValue方式,会执行notify操作.
备注:
- 1. 一个Client会对应多个Connection,并且会对这些Connection进行缓存;
- 2. 一个Connection对应一个线程,这主要是内网中调用,节点之间的连接量应该不会太多(我想太多时,估计一个连接一个线程时就有问题了)
- 3. 当出现异常时,直接关闭连接,并处理没有返回结果的call
- 4. Connection中保存Call的调用,使用的是一个HashTable,没有进行数量限制,若服务器阻塞后,Call会积累,感觉这个时候是有问题的。
分享到:
相关推荐
Hadoop_RPC详细分析.doc,这是你多关注的
windows 64位下hadoop2.7.3搭建环境所需的hadoop.dll及winutil.exe等
Hadoop_in_Action.pdf
pc机连接hadoop集群必须的文件,把它放到本地,然后配置到环境变量中,才能在本地操作集群。
Hadoop_进行分布式并行编程.doc Hadoop_进行分布式并行编程.doc
细细品味Hadoop_Hadoop集群(第11期副刊)_HBase之旅.pdf
hadoop_spark_数据算法hadoop_spark_数据算法hadoop_spark_数据算法hadoop_spark_数据算法
细细品味Hadoop_第16期_ZooKeeper简介及安装_V1.2细细品味Hadoop_第16期_ZooKeeper简介及安装_V1.2
hadoop_介绍
HDFS 客户端接口的调用和测试示例,基于 hadoop-release-HDP-2.5.0.0 ,供初学者参考
Hadoop_Hadoop集群Hadoop_Hadoop集群Hadoop_Hadoop集群Hadoop_Hadoop集群Hadoop_Hadoop集群Hadoop_Hadoop集群Hadoop_Hadoop集群Hadoop_Hadoop集群Hadoop_Hadoop集群
FP把这样的函数称为”higher order function”(”High order function”被成为Function Programming的利器之一哦),也就是说,这些函数是编写来被与其它函数相结合(或者说被其它函数调用的)。如果说硬要比的化,...
hadoop_dll_winutil_2.7 hadoop 依赖库 hadoop 依赖库
hadoop_dll_winutil_2.7.1
Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop集群(第5期副刊)_JDK和SSH无密码配置 Hadoop_Hadoop集群(第6期...
FP把这样的函数称为”higher order function”(”High order function”被成为Function Programming的利器之一哦),也就是说,这些函数是编写来被与其它函数相结合(或者说被其它函数调用的)。如果说硬要比的化,...
01_Hadoop_开篇_课程整体介绍.mp4 03_Hadoop_概论_大数据的特点.mp4 04_Hadoop_概论_大数据的应用场景.mp4 06_Hadoop_概论_未来工作内容.mp4 07_Hadoop_入门_课程介绍.mp4 11_Hadoop_入门_Hadoop优势.mp4 13_Hadoop_...
Hadoop_MapReduce教程,Hadoop_MapReduce教程
Hadoop_Spark相关面试问题总结 - Hadoop知识库.pdf Hadoop_Spark相关面试问题总结 - Hadoop知识库.pdf Hadoop_Spark相关面试问题总结 - Hadoop知识库.pdf
当我们想要在Windows系统中模拟Hadoop集群,可以使用该插件 1.在没有中文路径下进行解压 2.将. 本地路径/hadoop_dll2.6.0_64bit/bin添加到环境变量,HADOOP_HOME=本地路径/hadoop_dll2.6.0_64bit/bin