后端 - SKILL.NULL

根据.nvmrc自动切换项目所需node版本

vi ~/.bash_profile

插入一下内容

switch_node() {

local nvmrc_path="$(nvm_find_nvmrc)"

if [ -n "$nvmrc_path" ]; then

echo '根据.nvmrc切换node版本'

nvm use

}

switch_node

souce ~/.bash_profile

再打开命令行就会根据.nvmrc切换node版本。

注意：要先安装nvm

2025-04-23by SKILLNULL NodeJS 阅读(1011)评论(0)

python3.7爬取墨菲定律保存在本地txt

书本内容来自书海阁《墨菲定律》

#!/usr/local/bin/python3.7

# -*- coding: utf-8 -*-

# @Time: 2019/07/15

# @Function 获取在线文本内容

import requests

from bs4 import BeautifulSoup

import re

import codecs

url = 'https://www.shuhaige.com/7518/'

header = {

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36',

'Origin': 'https://www.shuhaige.com',

'Host': 'www.shuhaige.com'

}

# 设置代理服务器

proxies = {

'http:': 'http://121.232.146.184',

'https:': 'https://144.255.48.197'

}

def getContent():

contents = requests.get(url, headers=header).text

html = BeautifulSoup(contents, 'html.parser')

lists = html.select('dl')[0].select('a')

for list in lists:

itemUrl = f'https://www.shuhaige.com{list["href"]}'

itemContent = requests.get(itemUrl, headers=header).text

itemHtml = BeautifulSoup(itemContent, 'html.parser')

saveToTxt(itemHtml.select('div .content')[0], list.string)

# 写入文本文件

def saveToTxt(comments, title):

commentsList = ''

for item in comments:

comment_info = f'{item}'.replace(f'<br/>', '')

comment_info = re.sub(f'<p>.*</p>', '', comment_info)

commentsList += comment_info

with codecs.open(f'MoFeiDingLv/{title}.txt', 'w', encoding='utf-8') as file:

file.writelines(commentsList)

print(f'{title}写入文件成功!')

getContent()

2019-07-16by SKILLNULL Python 阅读(6749)评论(0)

NodeJS + PhantomJS 前端自动化资源监控

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

前言：最近做前端资源监控，看了很多例子，没有达到想要的效果。首先的槽点是PhantomJS的官方文档，真鸡肋，其次是网上的例子，多数是介绍PhantomJS的用法，而并没有介绍怎么完整的去实现，跟官方文档好像也没啥区别......

一、实现了什么？

本文只做一个简单的例子，获取网址加载时间，旨在实现一种思路，而不是很复杂的功能。

主要流程：

前端在页面加载时调用node接口 -> 将URL返回给接口 -> node获取url，然后通过子进程(child_process)启动系统命令 -> 启动PhantomJS-> PhantomJS打开url指定的网页，计算加载时间 -> 返回给node接口 -> 接口处理数据 -> 入库

二、主要实现

1、前端获取url

let param = {'url': window.location.protocol + '//' + window.location.host};

将url作为参数传递给接口。

2、NodeJS获取前端传递过来的url并启动phantomjs打开url，数据获取并处理

本文用的是sails框架。

首先是写models定义字段：ResourceMonitor.js

module.exports = {

connection: '数据库名',

tableName: '表名',

autoCreatedAt: true,

autoUpdatedAt: true,

attributes: {

id: {

type: 'integer',

primaryKey: true,

autoIncrement: true

webAddress: {

type: 'string'

loadingTime: {

type: 'string'

}

然后写服务: resourceMonitorService.js

module.exports = {

async create(resourceMonitor){

try {

if (resourceMonitor.id) {

let oldResourceMonitor = await ResourceMonitor.findOne({id: resourceMonitor.id});

Object.assign(oldResourceMonitor, resourceMonitor);

oldResourceMonitor.save(function (err) {

if (err) throw err;

return oldResourceMonitor;

})

} else {

return ResourceMonitor.create(resourceMonitor);

}

} catch (err) {

throw err;

}

} catch (err) {

throw err;

}

接着是controller： resourceMonitorController.js

const Cmd = require('cmd')

module.exports = {

async create(req, res){

try {

let url = req.body['url']

//启动phantomJS

let resource = await Cmd.resourceMonitorPhantom(url);

if (!resource) return;

//正则去除空格换行符回车符

resource = resource.replace(/[\s\n\r]+/g, "")

//正则匹配'total:'和'ms'之间的所有非空白内容，并在返回结果后面加上'ms'

let loadingTime = resource.match(/total:(\S*)ms/)[1] + ' ms';

//正则匹配'webAddress:'和'total:'之间的所有非空白内容

let webAddress = resource.match(/webAddress:(\S*)total:/)[1];

let resourceMonitor = {webAddress, loadingTime}

if (!resourceMonitor) {

sails.log.error("参数异常 " + JSON.stringify(resourceMonitor))

return res.send({code: -1, msg: "参数异常"})

}

resourceMonitorService.create(resourceMonitor).then(function (data) {

return res.send({code: 1, msg: "success", data: data})

}).catch(function (err) {

sails.log.error("create resourceMonitor err" + err)

return res.send({code: -1, msg: "get resourceMonitor list err"})

})

} catch (err) {

sails.log.error("create resourceMonitor failure" + err)

return res.send({code: -1, msg: "create resourceMonitor failure"})

}

NodeJS命令行启动PhantonJS的方法：cmd.js

//用的是node子进程中的execSync同步方法，可以等phantomjs处理完数据返回以后才执行接下来的内容

let execSync = require('child_process').execSync;

module.exports = {

async resourceMonitorPhantom(url){

try {

let resourceMonitorCmd = `phantomjs ./phantom/resourceMonitorPhantom.js ${url}`;

//由于phantomjs返回等数据是二进制流buffer，所以处理称字符串

let resourceMonitorOut = await execSync(resourceMonitorCmd).toString();

return resourceMonitorOut;

} catch (err) {

throw err;

}

PhantomJS获取资源加载时间：resourceMonitorPhantom.js

var page = require('webpage').create();

var system = require('system');

var address;

if (system.args.length === 1) {

console.log(system.args)

phantom.exit();

} else {

var t = Date.now();

address = system.args[1];

page.open(address, function (status) {

if (status !== 'success') {

console.log('fail to load the address');

} else {

t = Date.now() - t;

console.log('webAddress:' + address + 'total:' + t + 'ms');

}

phantom.exit();

});

}

三、涉及的框架及运行环境

1、NodeJS

Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine. Node.js uses an event-driven, non-blocking I/O model that makes it lightweight and efficient. Node.js' package ecosystem, npm, is the largest ecosystem of open source libraries in the world.

Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。 Node.js 使用了一个事件驱动、非阻塞式 I/O 的模型，使其轻量又高效。 Node.js 的包管理器 npm，是全球最大的开源库生态系统。

官网：https://nodejs.org/

2、Sails

Sails.js (or Sails) is a Model-View-Controller (MVC) web application framework developed atop the Node.js environment, released as free and open-source software under the MIT License. It is designed to make it easy to build custom, enterprise-grade Node.js web applications and APIs. Emulating the MVC architecture of other frameworks, like Ruby on Rails it offers similar pattern and familiarity, reducing the cognitive burden when switching between other frameworks/languages.

Sails.js (or Sails)是一个开发的模型-视图-控制器(MVC)web应用程序框架的节点。js的环境,在MIT许可下免费和开源软件的发布。它的目的是使它容易构建定制的,企业级节点。js web应用程序和api。效仿其他框架的MVC架构,像Ruby on Rails提供了类似的模式和熟悉,减少认知负担当切换其他框架/语言。

官网：http://sailsjs.com/

3、 PhantomJS

PhantomJS is a headless WebKit scriptable with a JavaScript API. It has fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG.

PhantomJS，脚本化的WebKit内核的无头浏览器，支持各种web标准:DOM处理CSS选择器,JSON,Canvas,SVG。

简单的说，就是一个没有界面的webkit内核浏览器，只能在命令行下使用。可以做很多事，比如：生成网页截图、抓去网页数据、获取网络资源加载时间等。

官网：http://phantomjs.org/

2018-12-03by SKILLNULL NodeJS 阅读(10629)评论(0)

ajax+php+mysql 实现点赞、局部刷新，每个IP只能对一篇文章点赞一次

主要流程：

点赞—>判断当前设备IP是否对当前文章有过点赞记录—>若有记录，弹出提示“已经赞过了”;

若无记录，当前文章点赞数+1，并在记录设备IP点赞记录的表中插入信息。

文章表 article 必不可少的字段：article_id(必须设置为自增), cat_id, praise

图文表 image_article 必不可少的字段：article_id(必须设置为自增), cat_id, praise

设备IP点赞记录表 client_ip 必不可少的字段：id(必须设置为自增), article_id, cat_id, ip

HTML部分：

({$sentence.praise})

JS部分( praise.js )：

$(function (){

$(".praise").click(function () {

var praise = $(this);

var article_id = praise.attr("rel");//获取HTML页面POST过来的article_id

var cat_id = praise.attr("rev");//获取HTML页面POST过来的cat_id

$.ajax({

type: "POST",

url: "praise.php",

data: "article_id=" + article_id + "&cat_id=" + cat_id,//数据拼接

cache: false,//不缓存此页面

success: function (data) {

praise.html(data);//显示data并局部刷新

error: function () {

alert("error");

}

});

PHP部分( praise.php )：

<?php

$connect = mysql_connect("数据库地址","数据库用户名","数据库密码");//链接数据库

if (!$connect){die('Could not connect: ' . mysql_error());}

mysql_select_db("数据库名称",$connect);//选择数据库

$ip = $_SERVER["REMOTE_ADDR"];//获取终端IP

$article_id = $_POST['article_id'];//获取article_id

$cat_id = $_POST['cat_id'];//获取cat_id

if (!isset($article_id) || empty($article_id) & !isset($cat_id) || empty($cat_id)) exit;//检测变量是否设置

$look = "select ip from client_ip where article_id='$article_id' and cat_id='$cat_id' and ip='$ip'";

$ip_look = mysql_query($look, $connect); //查询client_ip表中是否存在当前终端IP

$count = mysql_num_rows($ip_look); //返回查询结果的记录数目

if ($count == 0) { //如果没有记录

$up_praise = "update article set praise=praise+1 where article_id='$article_id' and cat_id='$cat_id'";

$result = mysql_query($up_praise, $connect); //更新文章点赞数

$up_img_praise = "update image_article set praise=praise+1 where article_id='$article_id' and cat_id='$cat_id'";

$result = mysql_query($up_img_praise, $connect); //更新图文点赞数

$entry_in = "insert into client_ip (article_id,cat_id,ip) values ('$article_id','$cat_id','$ip')";

mysql_query($entry_in, $connect); //写入数据

} else {

echo "<script>alert('已经赞过了');</script>";

}

$new_praise = "select praise from article where article_id='$article_id' and cat_id='$cat_id'";

$look_new_praise = mysql_query($new_praise, $connect);//查询更新后的文章表点赞数

$new_img_praise = "select praise from image_article where article_id='$article_id' and cat_id='$cat_id'";

$look_new_img_praise = mysql_query($new_img_praise, $connect);//查询更新后的图文表点赞数

if ($arr = mysql_fetch_assoc($look_new_praise)) {

$transform_arr[] = $arr;//将查询到的article表的prise转换成数组

} elseif ($arr = mysql_fetch_assoc($look_new_img_praise)) {

$transform_arr[] = $arr;//将查询到的image_article表的prise转换成数组

}

echo '(' . $transform_arr[0]['praise'] . ')';//打印数组值

mysql_close($connect);//关闭数据库

2018-12-03by SKILLNULL PHP 阅读(9614)评论(0)

ThinkPHP动态版本控制

动态版本控制可以根据时间戳来实现，但是这样的话，每次打开页面都会重新下载加了版本控制的文件，如果你的页面自身打开本来就慢的话，

这样一来，无疑会带来很差的用户体验。

　　但是如果在每个引用文件后面都手动加上版本，如果页面比较多的话，这很明显是个很蠢的做法，所以我们可以这样做：

　　（1）在入口文件定义公共模块：

　　　　　　　　 define('COMMON_PATH','./Common/');

　　　　　然后将Home文件夹下的Common剪切出来，放在和入口文件同目录。

　　（2）在Common-->Conf-->config.php中配置一个数组：

　　　　　　　　　　<?php

　　　　　　　　　　　　return array(

　　　　　　　　　　　　//CSS版本控制

　　　　　　　　　　　　'cssVersion' => '1.0',

　　　　　　　　　　　　'cssVersionid' => '1.0',

　　　　　　　　　　　　//JS版本控制

　　　　　　　　　　　　'jsVersion' => '1.0',

　　　　　　　　　　　　'jsVersionid' => '1.0',

　　　　　　　　　　　　);

（3）在控制器中引入　　　　　　

　　　　　　　　<?php

　　　　　　　　　　namespace Home\Controller;

　　　　　　　　　　use Think\Controller;

　　　　　　　　　　class IndexController extends Controller {

　　　　　　　　　　　　public function index(){

　　　　　　　　　　　　/* 版本控制 */

　　　　　　　　　　　　$config = require(COMMON_PATH.'Conf/config.php');

　　　　　　　　　　　　this−>assign(′cssVersionid′,config['cssVersionid']);

　　　　　　　　　　　　this−>assign(′jsVersionid′,config['jsVersionid']);

　　　　　　　　　　　　/* 页面显示 */

　　　　　　　　　　　　$this->display();

　　　　　　　　　　　　　　}

　　　　　当然所有的assign必须放在$this->display();前面。在thinkPHP3.2.3中，你也可以这样写：

　　　　　　　　<?php

　　　　　　　　　　namespace Home\Controller;

　　　　　　　　　　use Think\Controller;

　　　　　　　　　　class IndexController extends Controller {　　　

　　　　　　　　　　　　　　public function __construct(){ /* 版本控制 */

　　　　　　　　　　　　　　　　　parent::__construct();

　　　　　　　　　　　　　　　　 $config = require(COMMON_PATH.'Conf/config.php');

　　　　　　　　　　　　　　　　　this−>assign(′cssVersionid′,config['cssVersionid']);

　　　　　　　　　　　　　　　　　this−>assign(′jsVersionid′,config['jsVersionid']);

　　　　　　　　　　　　　　　}

　　　　　　　　　　　　　　　public function index(){

　　　　　　　　　　　　　　　/* 页面显示 */

　　　　　　　　　　　　　　　$this->display();

　　　　　　　　　　　　　　　}

　　（4）这时候就可以在HTML页面引入了

　　这样一来，每次有更新的话，只需要手动在config.php更改版本就行了，而且可以只更新CSS或JS其中一个。

2018-12-03by SKILLNULL PHP 阅读(10028)评论(0)

2026年五月
一	二	三	四	五	六	日
« 4月
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30	31