ITeye博客

jimmee的博客

jimmee · 共 178 篇文章

[置顶] 整理一下准备编写的笔记目录

工作6年,主要从事分布式服务器端开发(3年),做过垂直爬虫和搜索以及数据挖掘(2年),1年的产品的业务开发,学习过和使用过的东西,陆续会写笔记,在整理的同时,算是一种经验积累的记录吧。 tcp通信过程中的一些重要事项,udt的原理和源码分析,参看 http://jimmee.iteye.com/admin/blogs/2037451 系列 图片处理 垂直爬虫的注意点 http://jimmee.iteye.com/blog/2042780 索引的注意点,lucene的一些源码的分析说明 hadoop和hive等使用的一些经验积累, 参看 http://jimmee.iteye.com/adm…

2013-12-31 21:21 · 算法 · J2SE · 硬件,操作系统 · 通信 · linux · NIO · java线程同步 · 搜索引擎 · 机器学习 · 数据挖掘 · 笔记 · 评论(0)

[转载]并发之痛 Thread,Goroutine,Actor

转自 http://jolestar.com/parallel-programming-model-thread-goroutine-actor/ 本文基于我在2月27日Gopher北京聚会演讲整理而成,进行了一些补充以及调整。投稿给《高可用架构》公众号首发。 聊这个话题之前,先梳理下两个概念,几乎所有讲并发的文章都要先讲这两个概念: 并发(concurrency) 并发的关注点在于任务切分。举例来说,你是一个创业公司的CEO,开始只有你一个人,你一人分饰多角,一会做产品规划,一会写代码,一会见客户,虽然你不能见客户的同时写代码,但由于你切分了任务,分配了时间片,表现出来好像是多个任务一起在…

2017-04-06 19:21 · J2SE · 硬件,操作系统 · linux · 评论(0)

[转载]Why size_t matters

http://www.embedded.com/electronics-blogs/programming-pointers/4026076/Why-size-t-matters Using size_t appropriately can improve the portability, efficiency, or readability of your code. Maybe even all three. Numerous functions in the Standard C library accept arguments or return values that repres…

2017-04-01 08:02 · c&c++ · 评论(0)

【转载】RVO V.S. std::move

Return Value Optimization Return value optimization, simply RVO, is a compiler optimization technique that allows the compiler to construct the return value of a function at the call site. The technique is also named "elision". C++98/03 standard doesn’t require the compiler to provide RVO optimizat…

2016-08-31 22:11 · c&c++ · 评论(0)

paxos的实现源码分析(以keyspace的paxoslease的实现为例子)

看过太多的paxos的算法的介绍,paxos个人认为没有那么难,但是为啥那么难懂呢?因为大家都是根据理论讨论,作为一个程序员,源码下无秘密,因此我结合keyspace的paxos lease的源码实现来分析一下paxos的算法(paxos的直接实现会存在活锁问题,因此大多数的实现都是通过一个paxos的lease算法选择一个主proposer,可以看成一轮paxos的实现)。 1. 阶段一: prepare-》promise proposer选择一个提案编号proposalID,然后向acceptor的集合中的全部成员发送编号为proposalID的Prepare请求。 void PLeas…

2016-07-26 22:18 · 分布系统一致性 · 评论(0)

JVM动态调整字节码

粗略的点开btrace的源码看了一下,实际上他只是封装了JDK自带的功能而已 1. attach client到java进程 VirtualMachine vm = null; if (debug) { debugPrint("attaching to " + pid); } vm = VirtualMachine.attach(pid); if (debug) { debugPrint("checking port availability: " + port); } Properties serverVmProps = vm.getSystemProperties(); int serv…

2016-04-14 19:27 · J2SE · 评论(0)

java字节码常量池处理说明

1. 根据java的字节码格式说明,常量池中每一项的大小不一样的。运行时,若要通过数组索引获取具体的一项时, 必须要经过一定的处理才能根据数组下标进行处理,具体的实现原理实际上就是空间换时间,可以参考kvm的实现: 每一项的定义,采用的是union的定义(会取最大的字节数进行内存分配) /* Each of these represents one entry in the constant pool */ union constantPoolEntryStruct { struct { unsigned short classIndex; unsigned short nameTypeIn…

2016-04-13 23:23 · J2SE · c&c++ · 评论(0)

JPEG 简易文档 V2.15【转载】

JPEG 简易文档 V2.15 ------------------------------ 初稿写于 2000.1.23 最后修订 2003.12.5 2007.7.16 作者: 云风 Email: cloudwu (a) gmail.com Homepage: http://www.codingnow.com 写在前面 ------- 1. 为什么写这个文档? 云风想对 JPEG/MPEG 有一个系统的研究, 但是苦于找到好的资料. 而英文水平又 不怎样, 所以在学习的过程, 将已经了解了的东西记录下来. 方便自己在编写 代码的时候查阅. 而且正式的 JPEG 文档非常复杂, 打印出来也…

2016-04-10 16:35 · 算法 · 图像处理 · 评论(0)

Mac OSX 10.10 Yosemite编译OpenJDK 8

编译时间:2016-04-03 系统版本:Mac OS X Yosemite 10.10.2 编译OpenJDK版本:JDK8 相关软件版本: • XCode版本:Version 5.1.1 (5B1008) • JDK版本:1.8.0_51 • 软件管理工具:brew • Xquartz(X11):2.5.3 1. 安装必须的软件,如git 和 mercurial (hg) 2. 安装XCode 3. 安装X11 ,系统默认好像是没有这个东西,需要下载安装 XQuartz ,然后link下 sudo ln -s /usr/X11/include/X11 /usr/include/X11 4…

2016-04-03 18:14 · J2SE · 硬件,操作系统 · linux · 评论(0)

BIT DEPTH TUTORIAL

BIT DEPTH TUTORIAL Bit depth quantifies how many unique colors are available in an image's color palette in terms of the number of 0's and 1's, or "bits," which are used to specify each color. This does not mean that the image necessarily uses all of these colors, but that it can instead specify co…

2016-03-30 23:04 · 图像处理 · 评论(0)

JPEG 原理详细实例分析及其在嵌入式 Linux 中的应用 【转载】

级别: 中级 余 涛 ( yut616@21cn.com ), 高级软件工程师 2008 年 9 月 04 日 作为一个基本的图像压缩方式,JPEG 已经得到了广泛的运用,但 JPEG 相关的基本原理,却经常被忽视,或解释得很不确切。这里我们详细讨论一下 JPEG 的编码原理,并结合实例来给出一个更加感性的认识。JPEG 编码的详细过程有着诸多的信息可以给我们巨大的启发,我们在这里讨论的就是要对这些信息做一个具体细致的分析,通过我们的讨论,大家会对 JPEG 编码过程中出现的内容有一个确切的了解,并且能了解到这些内容的来龙去脉。 一、系统架构 本文以一个实际的产品为例,来说明 JPEG 在其…

2016-03-30 22:18 · 图像处理 · 评论(0)

同时管理多个ssh私钥【转载】

在设置github的时候, 官方的说明文档 要求备份当前的id_rsa,然后生成一份新的私钥用于github的登陆。如果真这样做,那么新的私钥是无法再继续登陆之前的机器的。这种方法有点暴力… 还好ssh可以让我们通过不同的私钥来登陆不同的域。 首先,在新增私钥的时候,通过指定不同的文件名来生成不同的私钥文件 ssh-keygen -t rsa -f ~/.ssh/id_rsa.work -C "Key for Work stuff" ssh-keygen -t rsa -f ~/.ssh/id_rsa.github -C "Key for GitHub stuff" 新增ssh的配置文件,并…

2016-03-27 09:13 · linux · 转载 · 评论(0)

SSH原理与运用【转载】

SSH是每一台Linux电脑的标准配置。 随着Linux设备从电脑逐渐扩展到手机、外设和家用电器,SSH的使用范围也越来越广。不仅程序员离不开它,很多普通用户也每天使用。 SSH具备多种功能,可以用于很多场合。有些事情,没有它就是办不成。本文是我的学习笔记,总结和解释了SSH的常见用法,希望对大家有用。 虽然本文内容只涉及初级应用,较为简单,但是需要读者具备最基本的"Shell知识"和了解"公钥加密"的概念。如果你对它们不熟悉,我推荐先阅读 《UNIX / Linux 初学者教程》 和 《数字签名是什么?》 。 ======================================= …

2016-03-27 09:12 · linux · 转载 · 评论(0)

MySQL日志——Undo | Redo【转载】

InnoDB 有两块非常重要的日志,一个是undo log,另外一个是redo log,前者用来保证事务的原子性以及InnoDB的MVCC,后者用来保证事务的持久性。和大多数关系型数据库一样,InnoDB记录了对数据文件的物理更改,并保证总是日志先行,也就是所谓的WAL(Write Ahead Log),即在持久化数据文件前,保证之前的redo日志已经写到磁盘 一、概念 1、Innodb Crash Recovery 这是InnoDB引擎的一个特点,当故障发生,重新启服务后,会自动完成恢复操作,将数据库恢复到之前一个正常状态(不需要重做所有的日志,只需要执行上次刷入点之后的日志,这个点就叫做…

2016-03-26 16:00 · mysql · 评论(0)

由浅入深理解索引的实现【转载】

这篇文章是介绍MySQL数据库中的索引是如何根据需求一步步演变最终成为B+树结构的以及针对B+树索引的查询,插入,删除,更新等操作的处理方法。Oracle和DB2数据库索引的实现基本上也是大同小异的。文章写得很通俗易懂,就转在这了。关于B+树和索引内部结构可以参考:《 B 树、B- 树、B+ 树和B* 树 》和《 深入理解DB2索引(Index) 》。 00 – 背景知识 - B-Tree & B+Tree http://en.wikipedia.org/wiki/B%2B_tree http://en.wikipedia.org/wiki/B-tree - 折半查找(Binary Sear…

2016-03-26 15:17 · mysql · 评论(0)