Kingtous' Blog

Keep Hungry, Keep Foolish.

Google Colab降级TensorFlow以及Cudnn的正确姿势

Google Colab

Google Colab升/降级TensorFlow以及cudnn的正确姿势 背景 跑leaf-audio论文的时候,代码用到了lingvo库,当前lingvo库的最新版本是0.10.0,并且与tensorflow-gpu版本强依赖(2.6,而colab是2.7)。 直接按要求pip tensorflow-gpu 2.6后,又发现cudnn版本不对。也就是说,tensorflow 2....

【OSDI论文解读】NrOS:Effective Replication and Sharing in an Operating System

一种替代Linux内核的基于共享内存完成一致性的Multikernel内核


C++ Linux 创建UDP组播并发送数据

步骤 声明socket 允许reuse socket 支持设置TTL 设置本机地址 向内核申请加入一个组 [到此可以发数据等] ```c++ #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <arpa/inet.h>...

数据管理——BigTable

要求:高吞吐量的批处理,及时响应 设计思想 使用了很多数据库的实现策略 不支持完整的关系数据类型 只有三层,保证了速度 没有严格的schema,用户自己定义schema 数据模型 访问依据: 索引=行关键字+列关键字+时间戳 Map中的每个value(存储内容)都是一个未经解析的byte数组 (row: string, column: string,...

OpenMP(一):使用OpenMP开发高效率多文件夹大小、数量统计程序

任务:递归统计一个文件夹总大小,以及所有文件数量(只包含regular file) 文件大小——POSIX 在POSIX中,定义一个文件、文件夹的信息使用struct stat,如下: struct stat { dev_t st_dev; /* ID of device containing file */ /...

数据压缩—导论+通用无损压缩方法

指在不丢失有用信息的前提下,缩减数据量以减少存储空间,提高其传输、存储和处理效率,或按照一定的算法进行组织。 结课形式:小论文 参考书: 《数据压缩导论》(第四版,Khalid Sayood) 《数据压缩》(吴乐南) 信息熵: $H(i) = -log_2 (P_i)$ 其中$P_i$是发生$I$事件的概率 统计模型 静态/半静态模型 自适应模型 字典模型 静态字典模...

pandas

I数据类型 astype方法是通用函数,可以把DataFrame中的任何列都转换为其他dtype 1.转换为字符串对象 把列值转换为字符串对象可以使用astype方法,该方法有一个dtype参数,用于指定转换目标数据的类型。sns中原数据集tips数据类型: tips = sns.load_dataset("tips") print(tips.dtypes) tip...

数据管理——TFS、OceanBase、GFS

云存储系统 TFS 两台Name Server,作文件系统管理结点,互为双机备份。多台Data Server。 数据组织:以block文件(一般64M一个block)的形式存放数据文件,block有多个副本。 用户自己保存TFS文件名与实际文件的对照关系——减少元数据量。 元数据:文件名内置元数据信息(如图片大小、时间、访问频次、所在的逻辑块号等),元...

数据管理-多结构化数据管理

</p> </p> </div> </div> memcached 分布式内存对象 内存分配原理 Chunk,按照预先规定的大小,将分配的内存分割成 slab class,尺寸相同的Chunk分组 分配到的内存不会释放,会自动重用(早期的频繁调用malloc,free导致系统负载过高) Lazy Expiration 记录超...

2021.09.25 Python学习记录

Pandas学习 series dataframe Matplotlib Seaborn