我们正在开源Lore框架，这个框架可供机器学习研究人员使用。

Lore地址：https://github.com/instacart/lore

机器学习常常给人一种这样的感觉:

论文没有告诉我该如何工作......

常见问题

• 当你在Python或SQL等编写定制代码时，性能瓶颈很容易受到影响。


• 代码复杂性增长的原因在于有价值的模型是多次迭代变化的结果，因此随着代码以非结构化方式演变，使得个人洞察更难以维护和沟通。


• 随着数据和库依赖性不断变化，可重复性受到影响。


• 信息过载使得在尝试试验最新论文，软件包，特征，修改错误时，很容易错过最新可用的轻松实现目标的方法...对于刚进入该领域的人来说，情况更糟糕。

为了解决这些问题，我们将Lore中的机器学习标准化。在Instacart，我们三个团队使用Lore进行所有新的机器学习开发，目前我们正在运行十几种Lore模型。

TLDR

如果你想要一个超级快速的在没有上下文的情况下进行预测的演示服务，你可以从github复制can my_app。如果你想要了解整个过程，请跳至概要（即15分钟概要）。

ip3 install lore

$ git clone https://github.com/montanalow/my_app.git

$ cd my_app 

$ lore install # caching all dependencies locally takes a few minutes the first time

$ lore server & 

$ curl "http://localhost:5000/product_popularity.Keras/predict.json?product_name=Banana&department=produce"

特征参数

了解这些优势的最好方法是在15分钟内将自己的深度学习项目投入生产。如果你想在查看终端与开始编写代码之前查看特征参数，请阅读以下简要概述：

• 模型支持使用数据Pipeline对估计器进行超参数搜索。他们将有效地利用带有两种不同策略的多个GPU（如果可用），并且水平可伸缩性可以保存和分发。


• 支持来自多个软件包的估计器：Keras，XGBoost和SciKit Learn。它们都可以通过build, fit 或 predict覆盖来进行分类，以完全自定义你的算法和架构，同时还可以从其他任何方面受益。


• Pipeline可以避免训练和测试集之间的信息泄漏，一条Pipeline可以用许多不同的估计器进行实验。如果超过了机器的可用RAM，则可使用基于磁盘的Pipeline。


• 变压器标准化先进的特征工程。例如，使用美国人口普查数据将名字转换为其统计年龄或性别。从自由形式的电话号码字符串中提取地理区号。常见的日期，时间和字符串操作通过pandas得到有效支持。


• 编码器为估计器提供强大的输入，并避免常见的缺失和长尾值问题。它们经过了充分测试，可以帮助你将垃圾排除出去。


• 对于流行的（无）sql数据库，通过应用程序以标准方式配置和连接IO连接，对批量数据进行事务管理和读写优化，而不是典型的ORM单行操作。连接共享一个可配置的查询缓存，除了用于分发模型和数据集的加密的S3存储器之外。


• 开发中每个应用程序的依赖管理，可以100％复制到生产环境中。没有打破python的手动激活，魔法环境变量或隐藏的文件。不需要venv，pyenv，pyvenv，virtualenv，virtualenvwrapper，pipenv，conda的知识。


• 模型测试可以在持续集成环境中运行，允许持续部署进行代码和训练更新，而无需增加基础架构团队的工作量。


• 工作流支持你是否喜欢命令行，Python控制台，jupyter notebook或IDE。每个环境都可以为生产和开发配置可读的日志和时序语句。

15分钟概要

基本的python知识是必需的。如果你的机器拒绝学习，你可以在接下来的一年里探索错综复杂的机器学习。

1. 创建一个新的应用程序 (3分钟)


2. 设计一个模型  (1分钟)


3. 生成一个支架(2分钟)


4. 实现一个Pipeline5分钟)


5. 测试代码(1分钟)


6. 训练模型(1分钟)


7. 部署到生产环境(2分钟)

1）创建一个新的应用程序

# On Linux

$ pip install lore

# On OS X use homebrew python 2 or 3

$ brew install python3 && pip3 install lore

$ lore init my_app --python-version=3.6.4 --keras

2）设计一个模型

3）生成一个支架

$ cd my_app

$ lore generate scaffold product_popularity --keras --regression --holdout

每个lore模型都包含一个用来装载和编码数据的Pipeline，以及实现特定机器学习算法的估计器。模型中有趣的部分是生成类的实现细节。

Pipeline从左侧的原始数据开始，并将其编码到右边的期望型式中。然后使用编码的数据对估计器进行训练，在验证集中进行早期停止，并在测试集上进行评估。所有的东西都可以序列化到模型存储中，然后再加载一个liner进行部署。

通过它的生命周期剖析一个模型

# my_app/pipelines/product_popularity.py part 1



import os



from lore.encoders import Token, Unique, Norm

import lore.io

import lore.pipelines

import lore.env



import pandas





class Holdout(lore.pipelines.holdout.Base):

    # You can inspect the source data csv's yourself from the command line with:

    # $ wget https://s3.amazonaws.com/instacart-datasets/instacart_online_grocery_shopping_2017_05_01.tar.gz

    # $ tar -xzvf instacart_online_grocery_shopping_2017_05_01.tar.gz



    def get_data(self):

        url = 'https://s3.amazonaws.com/instacart-datasets/instacart_online_grocery_shopping_2017_05_01.tar.gz'



        # Lore will extract and cache files in lore.env.data_dir by default

        lore.io.download(url, cache=True, extract=True)

        

        # Defined to DRY up paths to 3rd party file hierarchy

        def read_csv(name):

            path = os.path.join(

                lore.env.data_dir,

                'instacart_2017_05_01',

                name + '.csv')

            return pandas.read_csv(path, encoding='utf8')

        

        # Published order data was split into irrelevant prior/train

        # sets, so we will combine them to re-purpose all the data.

        orders = read_csv('order_products__prior')

        orders = orders.append(read_csv('order_products__train'))



        # count how many times each product_id was ordered

        data = orders.groupby('product_id').size().to_frame('sales')



        # add product names and department ids to ordered product ids

        products = read_csv('products').set_index('product_id')

        data = data.join(products)



        # add department names to the department ids

        departments = read_csv('departments').set_index('department_id')

        data = data.set_index('department_id').join(departments)

        

        # Only return the columns we need for training

        data = data.reset_index()

        return data[['product_name', 'department', 'sales']]

# my_app/pipelines/product_popularity.py part 2



    def get_encoders(self):

        return (

            # An encoder to tokenize product names into max 15 tokens that

            # occur in the corpus at least 10 times. We also want the 

            # estimator to spend 5x as many resources on name vs department

            # since there are so many more words in english than there are

            # grocery store departments.

            Token('product_name', sequence_length=15, minimum_occurrences=10, embed_scale=5),

            # An encoder to translate department names into unique

            # identifiers that occur at least 50 times

            Unique('department', minimum_occurrences=50)

        )



    def get_output_encoder(self):

        # Sales is floating point which we could Pass encode directly to the

        # estimator, but Norm will bring it to small values around 0,

        # which are more amenable to deep learning.

        return Norm('sales')

# my_app/estimators/product_popularity.py



import lore.estimators.keras





class Keras(lore.estimators.keras.Regression):

    pass

# my_app/models/product_popularity.py



import lore.models.keras



import my_app.pipelines.product_popularity

import my_app.estimators.product_popularity





class Keras(lore.models.keras.Base):

    def __init__(self, pipeline=None, estimator=None):

        super(Keras, self).__init__(

            my_app.pipelines.product_popularity.Holdout(),

            my_app.estimators.product_popularity.Keras(

                hidden_layers=2,

                embed_size=4,

                hidden_width=256,

                batch_size=1024,

                sequence_embedding='lstm',

            )

        )

5)测试代码

当你生成过渡支架时，会自动为该模型创建一个烟雾测试。第一次运行需要一些时间来下载200MB的测试数据集。一个好的做法是减少./tests/data中的缓存的文件，并在你的repo中检查它们，以删除网络依赖项并加速测试运行。

$ lore test tests.unit.test_product_popularity

6) 训练模型

训练一个模型将在./data中缓存数据，并在 ./models中保存文件。

$ lore fit my_app.models.product_popularity.Keras --test --score

$ tail -f logs/development.log

检查模型的特性

你可以在lore环境中运行jupyter notebooks。Lore将会安装一个定制的jupyter内核，它将会为你的lore notebook和lore console，引用你的应用程序的虚拟环境。

$ lore notebook

“生产”部门编码为“20”

你可以看到模型的预测(蓝色)是如何跟踪测试集(金色)的，并对特定的特征进行聚合。在这种情况下，有21个部门有相当好的重叠，除了“生产”，模型没有完全解释异常值是多少。

你还可以看到笔记本电脑上运行笔记本产生的深度学习架构notebooks/product_popularity/architecture.ipynb。

媒体不支持svg，所以这是不可读的，但notebooks可以

在左边的LSTM中，有15个标记化的部分，而department name被输入到右侧的嵌入中，然后通过隐藏的层。

服务你的模型

Lore应用程序可以作为一个HTTP API在本地运行。默认情况下，模型将通过HTTP GET端点公开他们的“预测”方法。

$ lore server &

$ curl "http://localhost:5000/product_popularity.Keras/predict.json?product_name=Banana&department=produce"

$ curl "http://localhost:5000/product_popularity.Keras/predict.json?product_name=Organic%20Banana&department=produce"

$ curl "http://localhost:5000/product_popularity.Keras/predict.json?product_name=Green%20Banana&department=produce"

$ curl "http://localhost:5000/product_popularity.Keras/predict.json?product_name=Brown%20Banana&department=produce"

7）部署到生产

$ git init .

$ git add .

$ git add -f models/my_app.models.product_popularity/Keras/1 # or your preferred fitting number to deploy

$ git commit -m "My first lore app!"

• 指南地址：https://devcenter.heroku.com/articles/getting-started-with-python#introduction

$ heroku login

$ heroku create

$ heroku config:set LORE_PROJECT=my_app

$ heroku config:set LORE_ENV=production

$ git push heroku master

$ heroku open



$ curl “`heroku info -s | grep web_url | cut -d= -f2`product_popularity.Keras/predict.json?product_name=Banana&department=produce”

现在你可以用你的heroku应用程序名称替换http://localhost:5000/，然后你可以从任何地方访问你的预测!

*或者，你可以和我的heroku应用互动。

• 应用地址：https://myloreapp.herokuapp.com/product_popularity.Keras/predict.json?product_name=Banana&department=produce

下一个步骤

我们认为0.5版本是与社区一起构建为1.0的坚实基础。修补程序版本将避免重大更改，但次要版本可能会根据社区需求更改功能。我们将弃用并发布警告，以保持现有应用程序的清晰升级路径。

下面是我们想在1.0之前添加的一些特性:

• 用于模型/估计器/特性分析的可视化Web UI；


• 在模型训练和数据处理期间集成分布式计算支持，即job queuing；


• 测试不良数据或体系结构，而不仅仅是损坏的代码；


• 更多的文档，估计器，编码器和变压器；


• 完整的Windows支持。