使用集群进行计算
使用集群进行计算
为什么会冒出这么一篇东西呢?
其实这个是我大创的一个副产物。我要训练一个有点大的VAE模型,但是自己电脑跑不动了,所以要使用集群上的gpu节点进行计算嘛。哎呀,发现连怎么交任务都不会。
所以这是名副其实的小白入门教程。
平时用电脑运行程序(比如python程序),常常就是 python xxx.py ,最多前面加一句 conda activate xx(name of env)。但是使用集群,你得把任务写成bash脚本交上去!!
以我们的集群为例,用的是jsub进行提交。【用什么提交,不同集群是不一样的。笔者在今年寒假去TDLI冬令营时使用的集群交任务用的就是sbatch。这个具体看超算的文档,一般都能搜到。】师兄很贴心的给集群装了一个插件叫easy_jsub,其实就是对jsub命令进行了一个简化和包装,使得我们可以用一行命令就把任务交上去。
jsub
交任务之前,先看看可调用的cpu,gpu之类的东西:jhosts attrib -l
(加多一句,如果跑的东西用到cuda加速,而且只需要某个gpu,.py文件里要加上下面这个)
12import os os.envi ...
Correlation Function and Power Spectrum
这是一篇对2pcf及功率谱的简要介绍。由于学术书面语言需要,下文使用英语。/
Here is a short introduction of 2pcf and power spectrum. The following would be written in English.
Correlation function
2PCF
: the number of pairs in volumes and seperated by .
Def 2pcf (2 point correlation function , is the average numerical density.
Obviously, .
, average, may have 2 meanings.
taking many relizations of the distribution, all of them produced in the same IC (initial condition), selecting in each realization that at the s ...
澳门印象
澳门初回印象
啊啦没有在澳门拍过照片。
嗯印象是建筑风格奢华,金碧辉煌。以及东西很好吃。
伦敦人楼下的添好运:蒸排骨超正!
大三巴整条街都是吃的,有牛肉干、凉果、干海味、杏仁饼什么的。可以试吃(嗯疯狂白嫖(bushi)).
黄枝记的云吞面还不错,在十月初五日街。
澳门次回印象
时间来到2024年1月14号。
其实主要是来看Hins的生日会(致谢:Friend嘅Ticket~)
更多照片就不放啦,伦敦人综艺馆不给拍照呀。
氹仔真的很富贵!!
【插曲:被骗了200现金… 有人假扮赌输要饭吃,不还。不可以那么善良!下次自己执生】
到了澳门当然还要去大三巴啦~
美珍香的肉干yyds!!
澳门的街巷是很有味道的。
恋爱巷
东望洋巷
日落东望洋山下,回去啦。夜景绝美。
Git
Git
ref:14.GUI工具_哔哩哔哩_bilibili by GeekHour
一些教程
https://www.runoob.com/manual/git-guide/
什么是Git
Git 是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目。
git速成
创建仓库
git init 将当前文件夹新建为仓库
git clone /path/to/repository 创建一个本地仓库的克隆版本
git clone username@host:/path/to/repository 克隆远程仓库
常见指代
HEAD指代分支的最新提交节点
HEAD~ / HEAR^ 指上一个版本
HEAD~3 上第三个版本
工作流
git status #查看仓库状态
git add <filename> / git add * #添加文件到暂存区
git commit -m "代码提交信息" #提交代码到本地仓库
git remote add origin <server> #将本地仓库链接到远程仓库
git pu ...
Shell
Shell
What is Shell
a textual interface
they allow you to run programs, give them input, and inspect their output in a semi-structured way
The most popular one: Bourne Again Shell, or Bash
Basic
12345678910111213141516wwwqeo@LAPTOP-QQDH3S15:~$ #this is called a prompt#wwwqeo@LAPTOP-QQDH3S15 is the usernamewwwqeo@LAPTOP-QQDH3S15:~$ dateFri Jan 5 13:49:30 CST 2024wwwqeo@LAPTOP-QQDH3S15:~$ echo $SHELL/bin/bashwwwqeo@LAPTOP-QQDH3S15:~$ echo $PATH/home/wwwqeo/.local/bin:/usr/local/sbin# echo ...
Vim
Vim
Vim is an command-line-based editor purely used with keyboard
Modal editing (使用模式)
Normal: for moving around a file and making edits ,press <Esc> to enter
Insert: for inserting text, press i to enter
Replace: for replacing text, press r to enter
Visual (plain, line, or block): for selecting blocks of text, press v to enter
Command-line: for running a command, press : to enter
Basics
Inserting text
From Normal mode, press i to enter Insert mode. Now, Vim behaves like any other text ed ...
网站更新预告~
网站更新预告
如题,喂喂喂企鹅哦的小窝将进行一次大更新。
这个网站距离其搭建已经过了一个学期。
很遗憾在十月份之后各种事情接踵而至,没有来得及打理。
之后将会调整网站的排版,比如将栏目的具体篇章设置为跳转,比如:
踏上这无尽旅途
随处是旅途
#以下是本页内容
link1:白色&靖西
(内容大纲)巴拉巴拉…
link2:青海&甘肃/2023
(内容大纲)巴拉巴拉…
会新增栏目:星星月亮太阳
顾名思义,这个里面就是放些拍到的星星月亮和太阳嘛
另外,计算机的部分笔记也会上传,其他笔记也在陆续完善中。
内容预告:shell的使用,git入门,vim基础
另外,网站的背景图片将会有更具体的更新
🐧&黄🐮石
感想是:能活着下山真的太好了!(不是)
啊啦这次就不记流水账了。
这学期经历了各种各样的事情,
疏于锻炼辽,体力不太好ww
前几个小时的林子里山路都走的想薯了😫
所幸是到山脊上之后路好走了不少。
最大的感觉是:风好大好大呼呼呼呼呼(要不是背着登山包可能就飞走啦——)而且好冷。
风真是让人站都站不稳。
不过不累的时候迎着风是有一些畅快感在的。
有想象过被吹上天空,那真的就是潇洒遨游天地了(兴奋脸)
路上不知道怎么样啦,然后就到营地了。
冷到把雨衣穿上来御寒🥶。
把帐篷扎好真的很艰难,刚卡好什么就会被吹飞起来。打地钉我踩我踩搬石头压住。
然后钻进去开睡袋呼呼😴
火锅狠吃面饼,不幸的是不知道为什么所处的地方变成辣锅了ԅ(¯﹃¯ԅ)
早早钻回睡袋里(我变蘑菇🍄)
太冷了太冷了(由衷地敬佩野猪的抗寒能力)
虽然一晚上没怎么睡辽,随时就被风打帐篷拍醒🤕好想回去😔
上图是风雨飘摇的帐篷…熬到天亮真是不容易啊😭
早上出太阳雾散,终于看清了周围的世界。阳光从云隙洒在山上,绿与金黄交织中透出的暖意驱散着手脚与心的冰冷。山们就静静地蛰伏在那里,大抵与我们脚下的这一头一样,沉寂着。就当它们在 ...
HK第一回
香港印象
话时话啦,过香港真係有滴似返到细个嗰时嘅广州咁嘅感觉。呢度冇推普,做乜都仲係讲粤语。可能对于香港都有咁传统嘅大地嘅嚟讲,有啲现代化嘅变化来得冇咁快。食嘢买嘢倾计,仲用紧现金。
维多利亚港
西九嘅艺术展
西九龙中心嘅室内过山车。
呢度寸土寸金。楼里边一切都逼逼夹夹咁。
EVA相关
CD Warehouse
关于唱片
对于一个重度嘅粤语歌迷嚟讲,香港你一个去几多次都唔会厌嘅地方。
旺角同深水埗嘅唱片铺,足以蚀走半日嘅时间。如果细细地翻寻,两日都唔够睇吖。
顺手安利几个地方~
信和中心 -1~2F喺小铺 3F,10F的几间铺头碟都好多,价都唔贵。
通菜街的winwin同节拍唱片,碟好全。
几间CD Warehouse, 虽然贵小小。
Show
来香港最紧要梗係睇show啦。
之之 The Missing Something音乐会
印象最深嘅係——《天堂有路》!!
(唔啤影相吖``
轩的Revisit
《倾慕》——”倾慕 满泻再泻 紧贴些 这一个漫长夜“
《隐形人》——今天惨被隐形好应该走 我大概不宜苛求 默默的接受
《隐形游乐场》——生活有时残酷 至少这乐 ...
企鹅的天水线~
是企鹅.肖恩的天水出线的感想 23/4/15
出线前前后后这段时间都忙薯了啊啊啊啊啊啊作业一堆根本写不完呢饶了我吧(苦笑)。不过把一些烦恼焦虑都留在了山上,出一次线能带来很大的治愈啊。下面是一些朴素的碎碎念:
出线前
其实很早就开始准备了,毕竟之前因为某新冠没赶上冬训,要出一次线还是非常兴奋的。对着装备清单发现登山包、头灯之类的东西都还没买,于是直接买了一身装备(所以不去出线就白买了嘛/咕掉了一些周末本来的安排)。
因为ddl实在是太多了,出线前面两周都没怎么来训练+熬夜爆肝作业,临出线两天还感冒了,临时磕了点药幸好好过来了(吓薯我了/但是还是有点虚其实)。
然后开始天水的穿越
那天六点多开始出发。翘了节课,回宿舍洗了个澡就匆匆出门了。五点多我第一次背起装满了的65L登山包(当时感觉是生命难以承受之重了属于是),估摸着由十几快二十公斤吧可能,都有我三分之一那么重了。光是骑个车去门口就肩膀巨酸(流泪)。给学长看了看才发现背包什么地方都没调对呢。最后还是因为太瘦了腰封束不紧(第一次希望肚子长一点点肉)。然后就上车了,一直坐到快十一点才到营地附近(没吃晚饭给我饿扁了已经) ...