独立凹凸曼统计系统支持排行榜等有兴趣朋友可以Q我

分类:软件产品 | 作者:凹凸曼 | 发表于2022/05/17

为什么要自研发统计系统 ?如百度其他第三方统计不能很好的解决文章具体统计数据比如PV和IP ,里面的数据杂乱无章,还有想弄一个文章日排行,周排行,月排行,也支持某个频道内排行,而且还可以导出文章排行,这样方便为考核提供依据。

统计系统命名为:凹凸曼统计 ,系统已经经历过实践具体可以查看下面功能介绍

一、开发语言:PHP+Python+js

二、功能介绍:

1、系统组成包括前端入库嵌入代(类似百度统计那种)、后端分析引擎(python)及后台管理(php mvc)。

2、设计数据库结构并用单库分表设计模式,这样设计好处以前的数据就会归档,不会影响数据性能,每日千万级~亿级完全OK,这样的平台我相信已经比较少了。

3、并且当初还设计了读写分离,前端写入的数据和后端分析可以分开来运行。

4、支持站点管理,意思支持多个站点统计数据。每个根域名对应一个站点。

5、支持每日新闻排行,查询url,页面(频道页排行,文章页面排行),排序(IP,PV),站点,频道,可选择导出excel表格。

6、支持每月新闻排行,查询浏览月份 ,发布月份,排序(IP,PV),站点,频道文章页排行,可选择导出excel表格

采用PYTHON对两个报表差异对比

分类:Python | 作者:凹凸曼 | 发表于2019/07/03 采用PYTHON对两个报表差异对比已关闭评论

对于钢材规格太多要找出两个报表,要找出那些未开票以及有错误,并且 重量和总价也可能写错不一样的 ,那是很浪费时间。花了点时间,开发基于PYTHON 程序解决此问题。
程序命名为:钢材找茬

windows下python3安装包及打包工具遇到的问题

分类:Python | 作者:凹凸曼 | 发表于2018/10/23 windows下python3安装包及打包工具遇到的问题已关闭评论

在安装pyinstaller

使用pip工具进行安装 后面要加 –user

pip install pyinstaller –user

目前的最新版python3.7 安装pyinstaller可能会报错

You are using pip version 10.0.1, however version 18.1 is available.
You should consider upgrading via the ‘python -m pip install –upgrade pip’ command.

解决方法: python -m pip install –upgrade pip –user

然后在再使用pip install pyinstaller –user 就正常了

python开发《小猫抓》分析工具

分类:PHP,Python,工作记 | 作者:凹凸曼 | 发表于2014/05/19 python开发《小猫抓》分析工具已关闭评论

mongodb(nosql)有一段时间木有用,正好最近写一个东东,使用php+python+mongodb(nosql)实战一下
定义工具(项目)名字:小猫抓

需求: 1、 获取子站点每天在百度最新收录新闻、收录总数 2、 获取百度权重、google pr

基本思路:客户端 php 做查询 、服务器端python 做分析并录入数据库、 数据库nosql-mongodb。

运行环境:http服务+php5.3+mongo-1.5.0+mongodb-linux-x86_64-2.6.0+python2.6.6+pymongo-2.7

客户端效果图:

Python代码性能优化技巧

分类:Python | 作者:凹凸曼 | 发表于2012/07/23 Python代码性能优化技巧已关闭评论

代码优化能够让程序运行更快,它是在不改变程序运行结果的情况下使得程序的运行效率更高,根据 80/20 原则,实现程序的重构、优化、扩展以及文档相关的事情通常需要消耗 80% 的工作量。优化通常包含两方面的内容:减小代码的体积,提高代码的运行效率。

改进算法,选择合适的数据结构

一个良好的算法能够对性能起到关键作用,因此性能改进的首要点是对算法的改进。在算法的时间复杂度排序上依次是:

O(1) -> O(lg n) -> O(n lg n) -> O(n^2) -> O(n^3) -> O(n^k) -> O(k^n) -> O(n!)

因此如果能够在时间复杂度上对算法进行一定的改进,对性能的提高不言而喻。但对具体算法的改进不属于本文讨论的范围,读者可以自行参考这方面资料。下面的内容将集中讨论数据结构的选择。

字典 (dictionary) 与列表 (list)

怎样解决抓包pcap无法加载?

分类:Python,问题集 | 作者:凹凸曼 | 发表于2011/06/13 怎样解决抓包pcap无法加载?已关闭评论

环境:winXP+python2.5

pcap下载:http://code.google.com/p/pypcap/downloads/list

接着测试了一下安装的模块,居然报如下错误:

———- python2.5 ———-
Traceback (most recent call last):
File “grupdata.py”, line 2, in

Python写的电话薄部分源码

分类:Python | 作者:凹凸曼 | 发表于2011/05/24 Python写的电话薄部分源码已关闭评论

下面把之前用python写的C/S模式的电话薄程序 USER类,把它晒出来!

其中导入了操作文件类–Bfile

可以看之前的晒过的,源码:

Python怎样打包成exe?

分类:Python | 作者:凹凸曼 | 发表于2011/03/01 Python怎样打包成exe?已关闭评论

发现PyInstaller 是个不错的东东,解决打包单个exe的问题,使用非常简单,不用编写setup脚本: 进入开发目录,执行命令行(可以做个bat文件): 引用 python d:\pyinstaller-1.3\configure.py python d:\pyinstaller-1.3\Makespec.py client.py –onefile –windowed –icon=client.ico python d:\pyinstaller-1.3\build.py client.spec 就这样一个单独的client.exe就产生了,不到3M,是压缩前的三分之一,如果用wxpython大概会有6M多,py2exe压缩的单个exe也差不多这个大小,但py2exe并没有把所有的dll打包。pyinstaller打包比较彻底,就只有一个exe文件。 生成完后同时有个警告文件,内容是

Python 如何操作文件?

分类:Python | 作者:凹凸曼 | 发表于2011/03/01 1条评论

Python 如何操作文件?
分类:Python | 作者:凹凸曼 | 发表于2011/03/01 没有评论 编辑
#文件操作(类) #coding=gbk #author : 凹凸曼( lyc) #email : jar-c@163.com #time : 2010-9-30 try : import pickle import os except: print(‘相关模块未引入!’) class Bfile : path=’contacts.data’ #存放文件的路径 # 打开文件 # @param rw string # return bool def openf(self,rw): try : if os.path.isfile(Bfile.path)==False: f=open(Bfile.path,’w’) f=open(Bfile.path,rw) return f except: […]

Python2.x与 Python3.0的区别

分类:Python | 作者:凹凸曼 | 发表于2011/03/01 1条评论

由javaeye的姜太公翻译 原文:What’s New in Python 3.0 这篇文章主要介绍了相比于python2.6,python3.0的新特性。更详细的介绍请参见python3.0的文档。 Common Stumbling Blocks 本段简单的列出容易使人出错的变动。 * print语句被print()函数取代了,可以使用关键字参数来替代老的print特殊语法。例如: 1. Old: print “The answer is”, 2*2 2. New: print(”The answer is”, 2*2) 3. Old: print x, # 使用逗号结尾禁止换行 […]