Speeding Your Model Training Extras INTRODUCTIONAlthough some methods of model training acceleration have been described, over the past year I have come across a few more techniques in model training that can improve training speed. In 2023-07-10 NeuralNetwork
Speeding Your Model Training Time is very precious for deep learning engineers. A typical time cost for model training could be divided into three parts: Data Loading Forward Propagation Backward Propagation It is essential to 2022-07-30 NeuralNetwork
超声波调制解调信号 完成使用超声波调制发送解调IP地址的任务。 主要流程1、 在电脑使用matlab，将提供的IP转换为32位二进制。将每一位0或1分别调制成480/48000=0.1s的正弦波，进行拼接。 2、 使用安卓手机发射调制的正弦波，使用麦克风接收声波信号。 3、 将麦克风收到的信号通过高通滤波器得到高频信号，根据信号的滑动均值和阈值提取收集到的整段信号，将根据信号窗口提取FFT能量作为 2022-03-26 Dynamic Network 模型压缩 Dynamic Network
动态网络研究总结 模型压缩包括量化、网络剪枝、模型蒸馏和网络结构搜索(NAS)，对于轻量化设备部署神经网络比较有意义。网络剪枝包括动态剪枝和静态剪枝，目的为减少计算量以及模型容量。静态剪枝为主流，通过先确定最优网络然后进行物理修建网络以实现网络瘦身，缺点是对于新的样本效果可能不好。动态剪枝类似于NAS，实际效果有待评估。 为什么要做动态网络 传统网络只根据固定权重来推理每个样本，不同难度的样本(一张图像中，占画面很 2021-12-21 Dynamic Network 模型压缩 Dynamic Network
Restore raw latex file from existing pdf Maybe you have lost the raw latex file due to some strange reasons. Unforturenatly, there is no some simple way to rapidly restore the raw Tex code from the compiled pdf(Portable Document Format) file 2021-08-06 Paper Paper
MultiProcessing of DL in PyTorch This article helps to handle DL tasks(e.g., extract and save embedding) base on multiprocess and multi-GPU in PyTorch. Thought：Difference to the ddp。 Include libs12import GPUtilfrom torch.multiproces 2021-07-23 NeuralNetwork NeuralNetwork
在Nvidia TX2(arm)上搭建YOLOv4环境 总结结合之前的经验，总共耗时两天。由于我的TX2系统为3.x版本，没有自带cuda，要安装非常麻烦，所以进行刷机。如果自带cuda请略过这一部。 主要问题集中在Jetpack系统的刷入以及Pytorch cuda加速上。 安装Jetpack正常流程按照网上的教程： 注册Nvidia账号 安装VMware虚拟机安装Ubuntu系统，开启桥接模式连接网络，安装sdkmanger。 按照流程打开sdk 2021-04-30 嵌入式 arm 环境部署
Knowledge Distillation Introduction经过两天的知识总结与代码梳理，终于完成了知识蒸馏相关内容的PyTorch实现。主要难度点在于：由于需要进行大量的精度验证，因此必须要实现模型精度验证的自动化，根据Hinton的论文，知识蒸馏相关的代码部分并不多。 ImplementDataset数据统一使用CIFAR10，后续可以进行CIFAR100数据集的实验。 使用torchvision自带的dataset类进行调用， 2021-03-08 NeuralNetwork NeuralNetwork 模型压缩
重温PyTorch解决Custom dataset问题 主要问题 如何解决自定义数据集构造和读取 如何将整个数据集分成训练数据和测试数据 PyTorch数据读取PyTorch的数据加载模块，一共涉及到Dataset，Sampler，DataLoader三个类 三者的关系： 设置Dataset，将数据data source包装成Dataset类，暴露提取接口。 设置Sampler，决定采样方式。我们是能从Dataset中提取元素了，还是需要设置Sam 2021-03-06 NeuralNetwork NeuralNetwork
腾讯犀牛鸟面试小记 面试准备自我介绍我叫赵一鸣，是来自南京航空航天大学的研一的学生，平时比较热爱互联网技术，本科主要学习的软件开发，擅长安卓开发。掌握C、Java以及Python语言，可以自己搭建服务器以及网站前后端，对部署嵌入式设备深度学习环境比较熟练。 研究方向及亮点介绍我目前在做的研究方向主要集中在移动设备多模态的智能感知技术，具体到在做的东西主要是基于超声波的手势识别，毕业论文基于元学习的超声波手势识别系统， 2021-03-05 工作实习 面试