但有时我们却又需要这种类型的字段，如何去实现呢？

MongoDB中新建一个Collection，数据为

{“app”:collectionname,”UniqueId”:0}

app为collection名称，UniqueId为当前的最大ID，利用MongoDB的FindAndModify方法，实现对指定collection中的UniqueId的自增操作。

Int64 GenerateUniqueId(string CollectionName,int InitValue)
 {
 Connect();
 CollectionName = CollectionName.Trim();

 var collection = db.GetCollection("UniqueStore");

 var query = Query.EQ("app", CollectionName);
 var update = Update.Inc("id", 1);

 var doc = collection.FindAndModify(query, SortBy.Null, update, true);
 if (doc.ModifiedDocument == null)
 {
 collection.Save(new BsonDocument { { "app", CollectionName }, { "UniqueId", InitValue } });
 return InitValue;
 }
 return Convert.ToInt64(doc.ModifiedDocument["UniqueId"]);
 }

这里采用的MongoDB驱动是官方推荐的MongoDB-CSharp

如在windows环境下的以下示例代码：

#!/usr/bin/env python
import sys
import os
def do():
    f = open('./ansi.txt')
    for a in [x.strip() for x in f]:
        print a
if __name__=='__main__':
    do()

此时的ansi.txt编码为ansi,我们在cmd窗口执行，看到如下结果：

此时一切正常，但，如果还是用上面的脚本去读取utf8.txt，文件是utf8编码，就会得到下面的结果：

经典的“乱码”出现了，有朋友可能会说了，我在python脚本里指定编码应该就解决了，于是：

#!/usr/bin/env python
#coding=utf-8     #在这里指定编码
import sys
import os

def do():

    f = open('./utf8.txt')
    for a in [x.strip() for x in f]:
        print a
if __name__=='__main__':
    do()

再次运行：

OMG，还是乱码。。。。

能不能正常输出中文不取决于#coding=utf-8，也不取决于目标文件的编码，而是取决于你的终端输出设备，这里就是CMD窗口，CMD窗口是不支持UTF-8的，它只支持GBK，所以，我们要转码。

那为什么第一个示例中，它能正确输出？因为目标文件本身就是GBK编码，所以不需要做任何转码就能正常输出。

在第二个示例中，我们只需要做一个小的改动，就可输出UTF8编码的文件：

#!/usr/bin/env python
#coding=utf-8
import sys
import os

def do():

    f = open('./utf8.txt')
    for a in [x.strip() for x in f]:
        print a.decode('UTF-8').encode('GBK')      #在这里转码
if __name__=='__main__':
    do()

结果：

正常输出。

做一个小结：

1. python脚本中的#coding=utf-8并不是决定最终输出的编码，而是指定python脚本本身使用的编码；如果你的脚本本身内部有非ASCII码，那就应该指定编码#coding=gbk
2. 如果文件的编码是GBK，你操作的终端也是支持GBK的，那就不需要编码，直接输出即可。
3. 如果文件的编码不是GBK，但你的操作终端只支持GBK，不支持UTF-8，那么，你就需要对这些字符做转码操作。如文件编码是UTF-8，就需要先decode成UNICODE编码再encode成GBK

1、获取logging.php?action=login页的源代码，分析得到fromhash

2、输入用户名与密码，POST至/logging.php?action=login&loginsubmit=yes地址

3、得到cookie并保存

4、访问发帖页面并附带上cookie

直接源码吧

#-*-coding:utf-8-*-
from urllib import urlencode
import cookielib, urllib2,urllib
import os,sys
import re
from xml.dom.minidom import parse, parseString
import getpass
import time
from Queue import Queue
import threading

class Discuz:
    def __init__(self,uid,pwd,**param):
        self.username = uid
        self.password = pwd
        self.para = param
        self.regex = {
            'loginreg':'<input\s*type="hidden"\s*name="formhash"\s*value="([\w\W]+?)"\s*\/>',
            'postreg':'<input\s*type="hidden"\s*name="formhash"\s*id="formhash"\s*value="([\w\W]+?)"\s*\/>'
        }
        self.opener = None
        self.request = None
        self.islogin = False
        self.donecount = 0
        self.__login()
        self.threadcount = 100    #总线程数
        self.count = 0
        self.totalcount = 100000   #发帖量
    def __login(self):
        try:
            loginPage = urllib2.urlopen(self.para['loginurl']).read()
            formhash = re.search(self.regex['loginreg'],loginPage)
            formhash = formhash.group(1)
            print formhash
            print 'start login......'
            cookiejar = cookielib.CookieJar()
            self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))
            values = {
                         'formhash':formhash,
                         'username':self.username,
                         'password':self.password,
                         'loginsubmit':'true'
                     }
            data = urllib.urlencode(values)
            self.request = urllib2.Request(self.para['loginsubmiturl'], data)
            rq = self.opener.open(self.request)

            #print 'login success......'
            self.islogin = True

        except Exception ,e:
            print 'Loggin Error:%s' % e
    def Post(self,subject,wysiwyg,content):
        threads = []
        for i in range(self.threadcount):
            t = threading.Thread(target=self.__postTopic,kwargs={'_subject':subject,'_wysiwyg':wysiwyg,'_body':content})
            threads.append(t)
        for i in range(self.threadcount):
            threads[i].start()
        lst = threading.enumerate()
        for i in range(self.threadcount):
            threads[i].join()
        print 'done'
    def __postTopic(self,**para):
        if not self.islogin:
            print 'please login......'
            return
        while self.count < self.totalcount:
            try:
                print 'current count %d:' % self.count
                print 'current thread name %s' % (threading.currentThread().getName())
                self.request = urllib2.Request(self.para['posturl'])
                rq = self.opener.open(self.request)
                data = rq.read()
                formhash = re.search(self.regex['postreg'],data)
                formhash =  formhash.group(1)
                postdata = {
                    'addtags':'+可用标签',
                    'checkbox':'0',
                    'formhash':formhash,
                    'iconid':'',
                    'message':para['_body'],
                    'subject':para['_subject'],
                    'tags':'',
                    'updateswfattach' : '0',
                    'wysiwyg' : para['_wysiwyg']
                }
                self.request = urllib2.Request(self.para['postsubmiturl'],urllib.urlencode(postdata))
                self.opener.open(self.request)
                self.donecount+=1
                print '%d done.....' % self.donecount
            except Exception,e:
                print e
            if para.has_key('sleep'):
                time.sleep(float(para['sleep']))
            self.count +=1

if __name__=='__main__':
    name = raw_input('username:').strip()
    password = getpass.getpass('password:').strip()
    dz = Discuz(name,password,
    loginurl='http://localhost/logging.php?action=login',
    loginsubmiturl='http://localhost/logging.php?action=login&loginsubmit=yes',
    posturl='http://localhost/post.php?action=newthread&fid=28',
    postsubmiturl='http://localhost/post.php?&action=newthread&fid=28&extra=&topicsubmit=yes',
    sleep='1'
    )
    content='''新手如何 练级更加快？？送极品装备！新手必看
绑定升级钻石账号方法超简单：
1 新用户：直接到推广页面[url=http://tg.sdo.com/38797039]http://tg.sdo.com/38797039[/url]注册账号时在“推广员账号”一栏填推广员号adaccount直接升级钻石账号。
2 已经注册盛.大通行证的玩家在这里绑定直接成为 钻石账号 玩家
第一步: 点此 预绑定用户认证 [url=http://178.sdo.com/web/ConsumerBindUser.aspx]http://178.sdo.com/web/ConsumerBindUser.aspx[/url]
第二步: 点此进行最终绑定确认 [url=http://gift.sdo.com/Consumer/AIONBindUser.aspx]http://gift.sdo.com/Consumer/AIONBindUser.aspx[/url]

推广员填:adaccount'''

    dz.Post('送极品装备！新手必看','1',content)

运行截图

Godaddy的域名购买过种那是相当容易，最主要是支持支付宝，免去用Paypal和信用卡之苦，当然，如果你有paypal也愿意用信用卡的美元支持也未尝不可。

Blog地址由原来的yibin.us变成yibin.us，并在.haccess对yibin001.com做了301跳转，全部跳到yibin.us

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_HOST} ^yibin001.com$ [OR]
RewriteCond %{HTTP_HOST} ^yibin.us$
RewriteRule ^(.*)$ http://yibin.us/$1 [R=301,L]
</IfModule>
# END WordPress

另外，阅读器的地址也已更改，gae现在不支持绑定非appspot.com的域名，不过，你可以通过注册一个企业套件来做反向代理。

rss4py.appspot.com已转到http://r.yibin.us，也已做301跳转：

if request.headers["Host"].lower() != settings.AppDomain.lower()[7:] and settings.Enable302:
            self.redirect(settings.AppDomain+self.pathinfo,True)

相册：http://photo.yibin.us
书签：http://mark.yibin.us
如果你还未能访问yibin.us，可能是由于域名尚未解析到，稍等便可。

def main():
    webapp.template.register_template_library('filter')
    application = webapp.WSGIApplication(
                                       [
                                        (r'/member/(?P<site>[0-9]+)/?', Main),
                                        (r'/member/(?P<site>[0-9]+)/page/(?P<page>[0-9]+)/?', Main),
                                        (r'/page/(?P<page>[0-9]*)/?', Main),
                                        ('.*',Error404),
                                       ], debug=True)
    wsgiref.handlers.CGIHandler().run(application)

if __name__ == "__main__":
    main()

在这里，有三种符合匹配条件的url被交给Main controller去处理，即：

1. /member/1                                 成员ID为1的记录
2. /member/1/page/2                成员ID为1的第2页记录
3. /page/1                                         所有成页的第1页记录

Main Controller:

class Main():
    def get(self,site = 0,page=1):
        self.write('site : %s' % site)
        self.write('<br />page: %s' % page)
        return

当访问/member/1/时，输出：site:1 page:1
访问/member/1/page/2/ 时，输出： site:1 page:2
访问/page/3 时，输出：site:3 page:1
可以看出，前面二个URL的区配都是正确的，但第3个是错误的，需要的输出是：site:0 page:3，很明显，3被当成参数site被传递了，
如果单纯交换Main/get方法中site/page参数的顺序的话，第三个URL匹配正确，第一、二个就不正确了。

方案1：将URL规则做如下修改：

def main():
    webapp.template.register_template_library('filter')
    application = webapp.WSGIApplication(
                                       [
                                       (r'/(?P<site>member/[0-9]+)/?', Main),
                                       (r'/(?P<site>member/[0-9]+)/(?P<page>page/[0-9]+)/?', Main),
                                       (r'/(?P<page>page/[0-9]*)/?', Main),
                                       ], debug=True)
    wsgiref.handlers.CGIHandler().run(application)

if __name__ == "__main__":
    main()

修改后的URL规则中将member/page都做为参数传递到Main的get方法中，即访问/member/1/page/5时，get方法中的site参数值为member/1，page参数值为page/5，这样轻易分析一下就能得到正确的site/page值。

方案2：一个URL规则搞定：

(?:/member/(?P<site>[0-9]+))?(?:/page/?(?P<page>[0-9]+))?/?

这个正则太狠了

有段时间没写gae的小应用了，刚开始时还显得有点陌生，在此期间也遇到一些小问题，在这里一并写出来，希望对初次开发gae应用的朋友有一个帮助。

1. gae datastore，在gae中，所有Gql的排序字段都是需要建索引的，否则会出现经典的”NeedIndexError: no matching index found.”错误，附在错误后面的信息就是需要建立的索引，你可以复制下来，然后粘帖到index.yaml文件，并上传。上传后并不能马上使用，gae需要一个build的过程，这个时间长短要看数据量的大小，索引状态变成Serving时就意味着索引已创建成功。
2. Gql查询结果排序问题。排序的字段要有值，不能为None，否则结果集可能不是你所需要的。如:SELECT * FROM Feeds ORDER BY LastPubDate DESC，如果此时的LastPubDate都没有值，即使有10条数据，这条查询无法返回记录的。
3. 对于GMT(rfc822)时间格式的解析。按rss标准，PubDate正确格式应该是Sat, 20 Feb 2010 07:04:52 +0000，直接用datetime模块解析不是很方便，可以用rfc822模块中的parsedate_tz函数进行转换。对于非标准GMT(rfc822)格式的时间，只能配合正则进行解析。

最后，臭蛋聚的地址为:http://rss4py.appspot.com/

上传成功后的预览：

前台演示：

http://album4gae.appspot.com

imagespider增加对image.google.cn的搜索支持，图片保存在程序目录/download/搜索关键字下，目录安排更为合理。

album4gae请到这里下载：

http://code.google.com/p/album4gae/downloads/list

imagespider下载：

http://u.115.com/file/f7c8516c94

运行截图：

分析每一页的图片地址：

启动多个线程同时下载：

下载完成：

工具会在当前运行目录生成一个download目录用来存放图片，请确保程序文件不在含有中文字符的路径中。

运行压缩包中的.exe即可。

http://u.115.com/file/f7c8516c94

ps.在西塘逛了一天，好累，谢谢西厢阁客栈的沈姐，谢谢她的接送。相关影像：

http://photo.yibin.us/album/5001/

如果是MySql数据库，请确保目标库已建立，请确保登录用户有建立数据表的权限。

如果是SqLite数据库，库文件会自动在该文件所在的目录下生成，库名为kaixin001.db3

MySql入库结果：

SqLite入库查看：

可执行文件打包下载，解压后直接运行kaixin001.exe即可

注：请确保可执行文件的绝对路径中没有中文字符，否则运行失败

下载已失效，提供MySql脚本

http://yibin.us/upload/kaixin001.sql.gz

开心网中的城市列表及学校列表返回格式是json的，c#中不大好处理json，不能“智能”地将json字符串转换为一个“对象”。

php处理json异常简单，直接用json_decode就行了。

这里是用python实现的，用到了第三方的一个json模块，调用后直接将json转成了list

运行时效果如下：

web上

#!/usr/bin/env python
#coding=utf-8
import sys
import os
import json
import urllib2
import time

provinces = []
citys = []
areas = []

def GetProvince():
    '''获取省及直辖市'''
    url = 'http://www.kaixin001.com/interface/suggestlocation.php?type=0'
    request = urllib2.urlopen(url)
    jsonData = request.read()
    d = json.read(jsonData)
    global provinces

    for a in d:
        provinces.append(a['id'])
        print 'get:'+a['name']
        if int(a['type']) == -1: #获取直辖市
            GetArea(a['id'],3)
        else:
            GetCity(1,a['id'])

def GetCity(typeid,provinceid):
    '''获取城市'''
    url = 'http://www.kaixin001.com/interface/suggestlocation.php?type=%s&id=%s' % (typeid,provinceid)
    global citys
    request = urllib2.urlopen(url)
    jsonData = request.read()
    d = json.read(jsonData)
    for a in d:
        citys.append(a['id'])
        print 'get:'+a['name']
        GetArea(a['id'])

def GetArea(cityid,typeid = 2):
    '''获取区级县级地名'''
    url = 'http://www.kaixin001.com/interface/suggestlocation.php?type=%s&id=%s' % (typeid, cityid)
    global areas
    request = urllib2.urlopen(url)
    jsonData = request.read()
    d = json.read(jsonData)
    for a in d:
        areas.append(a['id'])
        print 'get:'+a['name']

def GetSchool(schooltype,cityid):
    '''获取学校'''
    url = 'http://www.kaixin001.com/interface/suggestlocation.php?type=%s&id=%s' % (schooltype,cityid)
    request = urllib2.urlopen(url)
    jsonData = request.read()
    d = json.read(jsonData)
    for a in d:
        print 'get'+a['name']

if __name__=='__main__':

    GetProvince()
    print u'共有省份或直辖市: %d ' %  len(provinces)
    print u'共有城市: %d ' % len(citys)
    print u'共有区县: %d ' % len(areas)
    citys.extend(areas)

    #大学
    for pid in provinces:
        time.sleep(1)
        GetSchool(4,pid)
    #高中初中及技校
    for cid in citys:
        for i in (5,6,7):
            GetSchool(i,cid)