认识零拷贝

分类专栏:
Java自学

文章标签:
Java自学
原创

零拷贝


在操作系统中进行的拷贝(如图二和图三),叫做CPU拷贝。
连接磁盘或网卡等硬件的拷贝(如图一和图四),叫做DMA拷贝。

零拷贝的定义

1)Zero-copy, 就是在操作数据时, 不需要将数据 buffer 从一个内存区域拷贝到另一个内存区域. 因为少了一次内存的拷贝, 因此 CPU 的效率就得到的提升
2)在 OS 层面上的 Zero-copy 通常指避免在 用户态(User-space) 与 内核态(Kernel-space) 之间来回拷贝数据
3)Netty 中的 Zero-copy 与 OS 的 Zero-copy 不太一样, Netty的 Zero-coyp 完全是在用户态(Java 层面)的, 它的 Zero-copy 的更多的是偏向于优化数据操作

1)传统的拷贝方式(4次)

Socket网络缓冲区,也属于操作系统的内核缓冲区
图一

传统

2)mmap = memory mapping 内存映射

图二

mmap

3)sendfile (linux2.1内核支持)

图三

sendfile

4)sendfile with scatter/gather copy(批量sendfile)

从单个文件的处理,上升到多个物理地址的处理,提高处理速度

5)splice (拼接,在linux2.6内核支持)

在操作系统内核缓冲区和Socket网络缓冲区之间建立管道,来减少拷贝次数
图四

splice

实现

public class ZeroCopyTest {

    public static void main(String[] args) throws Exception {

//        copyByMMap("test.txt", "test_new.txt");
        copyBySendFile("test.txt", "test_new.txt");
    }
    
     public static void copyByMMap(String sourceName, String destName) throws Exception {

        File source = new File(sourceName);
        File dest = new File(destName);
        if (!dest.exists()) {
            dest.createNewFile();
        }
        FileInputStream fis = new FileInputStream(source);
        FileChannel inChannel = fis.getChannel();
        FileOutputStream fos = new FileOutputStream(dest);
        FileChannel outChannel = fos.getChannel();

        // ByteBuffer子类  对应于mmap内存映射的拷贝方式
        MappedByteBuffer buffer = inChannel.map(FileChannel.MapMode.READ_ONLY, 0, source.length());
        outChannel.write(buffer);
        buffer.clear();
        inChannel.close();
        fis.close();
        outChannel.close();
        fos.close();
    }

    /**
     * 效率更高
     *
     * @param sourceName
     * @param destName
     * @throws Exception
     */
    public static void copyBySendFile(String sourceName, String destName) throws Exception {

        File source = new File(sourceName);
        File dest = new File(destName);
        if (!dest.exists()) {
            dest.createNewFile();
        }
        FileInputStream fis = new FileInputStream(source);
        FileChannel inChannel = fis.getChannel();
        FileOutputStream fos = new FileOutputStream(dest);
        FileChannel outChannel = fos.getChannel();
        // 通过transferTo 直接从A通道搬运数据到B通道
        inChannel.transferTo(0, inChannel.size(), outChannel);
        inChannel.close();
        fis.close();
        outChannel.close();
        fos.close();
    }
}
  • 作者:潘震
  • 评论

    pz
    后续更新Netty的“零拷贝”
    留言