Kingtous的博客 | Kingtous' Blog

Google Colab降级TensorFlow以及Cudnn的正确姿势

Google Colab

Google Colab升/降级TensorFlow以及cudnn的正确姿势背景跑leaf-audio论文的时候，代码用到了lingvo库，当前lingvo库的最新版本是0.10.0，并且与tensorflow-gpu版本强依赖（2.6，而colab是2.7）。直接按要求pip tensorflow-gpu 2.6后，又发现cudnn版本不对。也就是说，tensorflow 2....

Posted by Kingtous on November 26, 2021

【OSDI论文解读】NrOS:Effective Replication and Sharing in an Operating System

一种替代Linux内核的基于共享内存完成一致性的Multikernel内核

Posted by Kingtous on November 18, 2021

C++ Linux 创建UDP组播并发送数据

步骤声明socket 允许reuse socket 支持设置TTL 设置本机地址向内核申请加入一个组 [到此可以发数据等] ```c++ #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <arpa/inet.h>...

Posted by {"display_name"=>"jintao", "login"=>"jintao", "email"=>"[email protected]", "url"=>""} on September 30, 2021

数据管理——BigTable

要求：高吞吐量的批处理，及时响应设计思想使用了很多数据库的实现策略不支持完整的关系数据类型只有三层，保证了速度没有严格的schema，用户自己定义schema 数据模型访问依据：索引=行关键字+列关键字+时间戳 Map中的每个value（存储内容）都是一个未经解析的byte数组 (row: string, column: string,...

Posted by Kingtous on September 29, 2021

OpenMP(一)：使用OpenMP开发高效率多文件夹大小、数量统计程序

任务：递归统计一个文件夹总大小，以及所有文件数量（只包含regular file）文件大小——POSIX 在POSIX中，定义一个文件、文件夹的信息使用struct stat，如下： struct stat { dev_t st_dev; /* ID of device containing file */ /...

Posted by Kingtous on September 28, 2021

数据压缩—导论+通用无损压缩方法

指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法进行组织。结课形式：小论文参考书：《数据压缩导论》（第四版，Khalid Sayood）《数据压缩》（吴乐南）信息熵： $H(i) = -log_2 (P_i)$ 其中$P_i$是发生$I$事件的概率统计模型静态/半静态模型自适应模型字典模型静态字典模...

Posted by Kingtous on September 28, 2021

pandas

I数据类型 astype方法是通用函数，可以把DataFrame中的任何列都转换为其他dtype 1.转换为字符串对象把列值转换为字符串对象可以使用astype方法，该方法有一个dtype参数，用于指定转换目标数据的类型。sns中原数据集tips数据类型： tips = sns.load_dataset("tips") print(tips.dtypes) tip...

Posted by 胡, 琼 on September 28, 2021

数据管理——TFS、OceanBase、GFS

云存储系统 TFS 两台Name Server，作文件系统管理结点，互为双机备份。多台Data Server。数据组织：以block文件(一般64M一个block)的形式存放数据文件，block有多个副本。用户自己保存TFS文件名与实际文件的对照关系——减少元数据量。元数据：文件名内置元数据信息（如图片大小、时间、访问频次、所在的逻辑块号等），元...

Posted by {"display_name"=>"jintao", "login"=>"jintao", "email"=>"[email protected]", "url"=>""} on September 26, 2021

数据管理-多结构化数据管理

</p> </p> </div> </div> memcached 分布式内存对象内存分配原理 Chunk，按照预先规定的大小，将分配的内存分割成 slab class，尺寸相同的Chunk分组分配到的内存不会释放，会自动重用（早期的频繁调用malloc，free导致系统负载过高） Lazy Expiration 记录超...

Posted by Kingtous on September 26, 2021

2021.09.25 Python学习记录

Pandas学习 series dataframe Matplotlib Seaborn

Posted by {"display_name"=>"jintao", "login"=>"jintao", "email"=>"[email protected]", "url"=>""} on September 25, 2021

ABOUT ME

Kingtous' Blog